強化学習

PyTorch
HuggingFace Tokenizers 0.10 : Quicktour (python) (翻訳/解説)
2021-05-27

【HF Tokenizers 0.10 : Quicktour (python)】 HuggingFace Transformers のトークナイザーは HuggingFace Tokenizers に依存しています。切 […]

続きを読む
イベント
【2021年06月23日(水)：ウェビナー】人工知能テクノロジーを実ビジネスで活用するには？Vol.106
2021-05-26

人工知能テクノロジーを実ビジネスで活用するには？Vol.106 ～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～ 【特別講演】Microsoft Azure Machine Learning アップデートと最新事例 […]

続きを読む
PyTorch
HuggingFace Tokenizers 0.10 : 概要 | Python バインディング概要 (翻訳/解説)
2021-05-21

【HF Tokenizers 0.10 : 概要 | Python バインディング概要】 HF Transformers のトークナイザーは HF Tokenizers に依存しています。切り捨て、パディングやモデルが必 […]

続きを読む
PyTorch
HuggingFace Transformers 4.5 : 利用方法 : 多言語モデル (翻訳/解説)
2021-05-20

【HF Transformers 4.5 : 利用方法 : 多言語モデル】 今回は「多言語モデル」です。利用可能な殆どのモデルは単一言語モデルですが、幾つかの多言語モデルが利用可能で、単一言語モデルとは異なるメカニズムを […]

続きを読む
PyTorch
HuggingFace Transformers 4.5 : 利用方法 : トークナイザーの要点 (翻訳/解説)
2021-05-19

【HF Transformers 4.5 : 利用方法 : トークナイザーの要点】 今回は「トークナイザーの要点」です。テキストのトークン化はそれを単語や部分単語に分割します、これらは検索テーブルを通して id に変換さ […]

続きを読む