HuggingFace Tokenizers 0.10 : コンポーネント (python) (翻訳/解説)

【HF Tokenizers 0.10 : コンポーネント (python)】
今回は「コンポーネント (python)」です。トークナイザーを構築するとき、その動作をカスタマイズするためにトークナイザーに様々なタイプのコンポーネントをアタッチできます。このドキュメントは提供されるコンポーネントの殆どをリストアップします。
HF Transformers のトークナイザーは HF Tokenizers に依存しています。切り捨て、パディングやモデルが必要な特殊トークンの追加など、前処理の総てを行ないます。Rust 実装のため非常に高速で Python と Node.js のバインディングも持ちます。
最新版の 0.10 ベースで幾つかドキュメントを翻訳しています。 [詳細]

【2021年06月09日(水)：ウェビナー】16:00-17:30
人工知能テクノロジーを実ビジネスで活用するには？Vol.105
～ 具体的な導入プロセスと運用の考慮ポイントを解説 ～
[詳細]