HuggingFace Transformers 4.5 : 利用方法 : トークナイザーの要点 (翻訳/解説)

【HF Transformers 4.5 : 利用方法 : トークナイザーの要点】
今回は「トークナイザーの要点」です。テキストのトークン化はそれを単語や部分単語に分割します、これらは検索テーブルを通して id に変換されます。単語や部分単語を id に変換することは簡単ですので、テキストを単語や部分単語を分割することにフォーカスします。

HuggingFace Transformers は最先端の自然言語処理を可能にする PyTorch と TensorFlow 2.0 のためのエコシステムです。両者はシームレスに統合され、一方で訓練してから推論のために他方でロードすることも可能です。モデルハブにより数千の事前訓練モデルが提供されています。
最近リリースされた 4.5 をベースにドキュメントを幾つか翻訳しています。 [詳細]

★ 無料セミナー開催中 ウェビナー(WEBセミナー)

【2021年05月26日(水)：ウェビナー】15:30-17:30 [詳細]
人工知能テクノロジーを実ビジネスで活用するには？Vol.104
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～
[特別講演]日本FLOWが提供している「AIデータアノテーションサービス」を紹介

【2021年06月03日：ウェビナー】11:00-12:00 [詳細]
AIの首都シアトルとイノベーション
～ シリコンバレーからの移住先No.1都市のDX＆働き方の最新動向 ～
ビジネス変革応援隊 Vol.4

【2021年06月09日(水)：ウェビナー】16:00-17:30 [詳細]
人工知能テクノロジーを実ビジネスで活用するには？Vol.105
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～