HuggingFace Transformers 3.4 : データを前処理する (翻訳/解説)

【HuggingFace Transformers 3.4 : データを前処理する】

今回は「データを前処理する」です。このチュートリアルでは、 Hugging Transformers を使用して貴方のデータをどのように前処理するかを探求します。このための主要ツールは tokenizer と呼ぶものです。

HuggingFace Transformers は最先端の自然言語処理を可能にする PyTorch と TensorFlow 2.0 のためのエコシステムです。両者はシームレスに統合され、一方で訓練してから推論のために他方でロードすることも可能です。モデルハブにより数千の事前訓練モデルが提供されています。

最近リリースされた 3.4 をベースにドキュメントを幾つか翻訳しています。[詳細]

【2020年12月02日(水)：ウェビナー】人工知能やデータ分析テクノロジーを戦略的にビジネスに取り込むには？ Vol.92 ～ ポストコロナのニューノーマル 日本はチャンスに変えられるか？ ～ [詳細]