HuggingFace Transformers 4.17 : ガイド : 下流タスク用の再調整 – 言語モデリング (翻訳/解説)

【HF Transformers 4.17 : 下流タスク用の再調整 – 言語モデリング】
今回は『ガイド : 下流タスク用の再調整」から「言語モデリング」です。

言語モデリングはセンテンスの単語を予測します。言語モデリングには 2 つの形式があり、このガイドでは Causal 言語モデリング用の DistilGPT2 と Masked 言語モデリング用の DistilRoBERTa を ELI5 データセットの r/askscience サブセットで再調整する方法を示します。

HuggingFace Transformers は、テキスト, ビジョン, そして音声のような多様なタスクを遂行する数千の事前訓練済みモデルを提供しています。HuggingFace Transformers は 3 つの最もポピュラーな深層学習ライブラリ – Jax, PyTorch と TensorFlow により、シームレスな統合によって支援されます。 [More]