PyTorch 1.5 Tutorials : テキスト : Sequence to Sequence ネットワークと Attention で翻訳 (翻訳/解説)
【PyTorch 1.5 Tutorials : Seq2Seq ネットワークと Attention で翻訳】
今回は「テキスト」カテゴリーから、アテンションつきの Seq2Seq による機械翻訳を扱うチュートリアルです。ベースとなるモデルは Sequence to Sequence モデルでこれはエンコーダとデコーダの 2 つの RNN から成るモデルです。そしてモデルを改良するためにデコーダにアテンション・メカニズムを組み込み、アテンションの重みの可視化も行ないます。訓練時には “Teacher forcing” の手法も確率的に用います。
PyTorch は TensorFlow とともにポピュラーな深層学習フレームワークです。PyTorch 1.5 が 4 月にリリースされてドキュメントも再構成されていますので再翻訳しています。
チュートリアルは「PyTorch の学習」「画像/ビデオ」「音声」「テキスト」「強化学習」等のカテゴリーに分かれています。
人工知能研究開発支援