HuggingFace Transformers 4.6 : ノートブック : Getting Started トークナイザー (翻訳/解説)

【HF Transformers 4.6 : ノートブック : Getting Started トークナイザー】
今回はノートブックから「Getting Started トークナイザー」です。transformers ライブラリとともに、@huggingface は一般的なマルチコアマシン上で数十 Gb/s でテキストを訓練、トークン化そしてデコードできる非常に高速なトークン化ライブラリを提供しています。

HuggingFace Transformers は最先端の自然言語処理を可能にする PyTorch と TensorFlow 2.0 のためのエコシステムです。両者はシームレスに統合され、一方で訓練してから推論のために他方でロードすることも可能です。モデルハブにより数千の事前訓練モデルが提供されています。
最近リリースされた 4.6 をベースにドキュメントを幾つか翻訳しています。 [詳細]

★ 人工知能研究開発支援 [詳細]

★ PoC(概念実証)を失敗させないための支援 [詳細]

★ 無料セミナー開催中 ウェビナー(WEBセミナー)

【2021年06月23日(水):ウェビナー】15:30-17:30
人工知能テクノロジーを戦略的に実ビジネスで活用するには？Vol.106
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～
【特別講演】Microsoft Azure Machine Learningアップデートと最新事例を紹介 [詳細]

【2021年07月07日(水)：ウェビナー】15:30-17:30
人工知能テクノロジーを実ビジネスで活用するには？Vol.107
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～
[特別講演]日本FLOWが提供している「AIデータアノテーションサービス」を紹介 [詳細]