Transformers
HuggingFace Tokenizers 0.10 : メモリから訓練 (python) (翻訳/解説)
2021-06-01
【HF Tokenizers 0.10 : メモリから訓練 (python)】 クイックツアーではテキストファイルを使用してトークナイザーをどのように構築して訓練するかを見ましたが、実際には任意の Python Iter […]
HuggingFace Tokenizers 0.10 : トークン化パイプライン (python) (翻訳/解説)
2021-05-31
【HF Tokenizers 0.10 : トークン化パイプライン (python)】 HF Transformers のトークナイザーは HF Tokenizers に依存しています。切り捨て、パディングやモデルが必要 […]
HuggingFace Tokenizers 0.10 : Quicktour (python) (翻訳/解説)
2021-05-27
【HF Tokenizers 0.10 : Quicktour (python)】 HuggingFace Transformers のトークナイザーは HuggingFace Tokenizers に依存しています。切 […]
HuggingFace Tokenizers 0.10 : 概要 | Python バインディング概要 (翻訳/解説)
2021-05-21
【HF Tokenizers 0.10 : 概要 | Python バインディング概要】 HF Transformers のトークナイザーは HF Tokenizers に依存しています。切り捨て、パディングやモデルが必 […]
HuggingFace Transformers 4.5 : 利用方法 : 多言語モデル (翻訳/解説)
2021-05-20
【HF Transformers 4.5 : 利用方法 : 多言語モデル】 今回は「多言語モデル」です。利用可能な殆どのモデルは単一言語モデルですが、幾つかの多言語モデルが利用可能で、単一言語モデルとは異なるメカニズムを […]