HuggingFace Tokenizers 0.10 : Quicktour (python) (翻訳/解説)

【HF Tokenizers 0.10 : Quicktour (python)】
HuggingFace Transformers のトークナイザーは HuggingFace Tokenizers に依存しています。切り捨て、パディングやモデルが必要な特殊トークンの追加など、前処理の総てを行ないます。

最新版の 0.10 ベースで幾つかドキュメントを翻訳しています。今回は「Quicktour (python)」です。Tokenizers ライブラリの機能を素早く見てみます、このライブラリは使いやすく超高速な今日最も利用されているトークナイザーの実装を提供しています。
HuggingFace Transformers は最先端の自然言語処理を可能にする PyTorch と TensorFlow 2.0 のためのエコシステムです。両者はシームレスに統合され、一方で訓練してから推論のために他方でロードすることも可能です。モデルハブにより数千の事前訓練モデルが提供されています。 [詳細]

★ 人工知能研究開発支援 [詳細]

★ PoC(概念実証)を失敗させないための支援 [詳細]

★ 無料セミナー開催中 ウェビナー(WEBセミナー)

【2021年06月03日：ウェビナー】11:00-12:00 [詳細]
AIの首都シアトルとイノベーション
～ シリコンバレーからの移住先No.1都市のDX＆働き方の最新動向 ～
ビジネス変革応援隊 Vol.4

【2021年06月09日(水)：ウェビナー】16:00-17:30 [詳細]
人工知能テクノロジーを実ビジネスで活用するには？Vol.105
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～

【2021年06月23日(水):ウェビナー】15:30-17:30 [詳細]
人工知能テクノロジーを戦略的に実ビジネスで活用するには？Vol.106
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～
【特別講演】Microsoft Azure Machine Learningアップデートと最新事例を紹介