PyTorch 1.3 Tutorials : テキスト : Sequence to Sequence ネットワークと Attention で翻訳 (翻訳/解説)
sales-info【PyTorch 1.3 Tutorials : テキスト】
◆ Sequence to Sequence ネットワークと Attention で翻訳
PyTorch は TensorFlow とともに多く利用されている深層学習フレームワークです。1.3 では機能が大幅に追加されてドキュメントも追加・修正が入っていますので、順次再翻訳しています。
今回は「テキスト」カテゴリーから、アテンションつきの Seq2Seq による機械翻訳を扱うチュートリアルです。ベースとなるモデルは Sequence to Sequence モデルでこれはエンコーダとデコーダの 2 つの RNN から成るモデルです。そしてモデルを改良するためにデコーダにアテンション・メカニズムを組み込み、アテンションの重みの可視化も行ないます。訓練時には “Teacher forcing” の手法も確率的に用います。
チュートリアルは「Getting Started」「画像」「音声」「テキスト「強化学習」「分散訓練」等々のカテゴリーに分かれています。
