TensorFlow

2021-06-13

【HF Transformers 4.6 : ノートブック : Getting Started トークナイザー】今回はノートブックから「Getting Started トークナイザー」です。transformers ラ […]

2021-06-12

【HF Transformers 4.6 : 上級ガイド : 事前訓練モデル】 HF Transformers の上級ガイドに入ります。今回は「事前訓練モデル」です。ここでは代表的な利用可能な事前訓練モデルが簡潔な説明と […]

2021-06-05

【HF Tokenizers 0.10 : コンポーネント (python)】今回は「コンポーネント (python)」です。トークナイザーを構築するとき、その動作をカスタマイズするためにトークナイザーに様々なタイプの […]

2021-06-01

【HF Tokenizers 0.10 : メモリから訓練 (python)】クイックツアーではテキストファイルを使用してトークナイザーをどのように構築して訓練するかを見ましたが、実際には任意の Python Iter […]

2021-05-31

【HF Tokenizers 0.10 : トークン化パイプライン (python)】 HF Transformers のトークナイザーは HF Tokenizers に依存しています。切り捨て、パディングやモデルが必要 […]