HuggingFace Transformers 4.17 : Notebooks : ゼロからの新しい言語モデルの訓練 (翻訳/解説)

【HF Transformers 4.17 : Notebooks : 新しい言語モデルの訓練】
今回は『Notebooks』から「ゼロからの新しい言語モデルの訓練」です。
この投稿では、Esperanto 上で “small” モデル (84 M パラメータ = 6 層, 768 隠れサイズ, 12 アテンションヘッド) を訓練する方法を実演します– それは DistilBERT と同じ数の層 & ヘッドです。そして品詞タギングの下流タスクでモデルを再調整します。

HuggingFace Transformers は、テキスト, ビジョン, そして音声のような多様なタスクを遂行する数千の事前訓練済みモデルを提供しています。HuggingFace Transformers は 3 つの最もポピュラーな深層学習ライブラリ – Jax, PyTorch と TensorFlow により、シームレスな統合によって支援されます。[More]