HuggingFace Transformers 4.17 : Tutorials : 前処理 (翻訳/解説)

【HuggingFace Transformers 4.17 : Tutorials : 前処理】
今回は『Tutorials』から「前処理」です。このチュートリアルでは、以下を行ないます :
(1) トークナイザーでテキストデータを前処理する
(2) 特徴抽出器で画像や音声データを前処理する
(3) プロセッサでマルチモーダル・タスクのためのデータを前処理する

HuggingFace Transformers は、テキスト, ビジョン, そして音声のような多様なタスクを遂行する数千の事前訓練済みモデルを提供しています。HuggingFace Transformers は 3 つの最もポピュラーな深層学習ライブラリ – Jax, PyTorch と TensorFlow により、シームレスな統合によって支援されます。
4.17 をベースにドキュメントを幾つか翻訳しています。 [More]