HuggingFace Transformers 4.17 : Tutorials : トークナイザーの概要 (翻訳/解説)

【HuggingFace Transformers 4.17 : トークナイザーの概要】
今回は『Tutorials』から「トークナイザーの概要」です。テキストのトークン化はそれを単語や部分単語に分割します、これらは検索テーブルを通して id に変換されます。単語や部分単語を id に変換することは簡単ですので、テキストを単語や部分単語を分割することにフォーカスします。

HuggingFace Transformers は、テキスト, ビジョン, そして音声のような多様なタスクを遂行する数千の事前訓練済みモデルを提供しています。HuggingFace Transformers は 3 つの最もポピュラーな深層学習ライブラリ – Jax, PyTorch と TensorFlow により、シームレスな統合によって支援されます。 [More]