自然言語処理

2021-05-21

【HF Tokenizers 0.10 : 概要 | Python バインディング概要】 HF Transformers のトークナイザーは HF Tokenizers に依存しています。切り捨て、パディングやモデルが必 […]

2021-05-20

【HF Transformers 4.5 : 利用方法 : 多言語モデル】今回は「多言語モデル」です。利用可能な殆どのモデルは単一言語モデルですが、幾つかの多言語モデルが利用可能で、単一言語モデルとは異なるメカニズムを […]

2021-05-19

【HF Transformers 4.5 : 利用方法 : トークナイザーの要点】今回は「トークナイザーの要点」です。テキストのトークン化はそれを単語や部分単語に分割します、これらは検索テーブルを通して id に変換さ […]

2021-05-18

【HF Transformers 4.5 : 利用方法 : 訓練と再調整】今回は「訓練と再調整」です。HuggingFace Transformers のモデル・クラスは PyTorch と TensorFlow 2 […]

2021-05-17

【HF Transformers 4.5 : 利用方法 : モデルの要点】今回は「モデルの要点」です。これは利用可能なモデルの概要を説明します。モデルは以下のカテゴリーに分類されます : 自己回帰モデル、オートエンコー […]