PyTorch 1.0 Tutorials : テキスト : Sequence to Sequence ネットワークと Attention で翻訳 (翻訳/解説)

【PyTorch 1.1 Tutorials: Seq2Seq とアテンションでニューラル機械翻訳】
PyTorch 1.1 リリースのチュートリアルの再翻訳を進めています。
今回は「テキスト」カテゴリーから「フランス語 to 英語」の翻訳をニューラルネットに学習させることに挑戦してみます。基本モデルは Sequence to Sequence モデルで、これはエンコーダとデコーダの 2 つの RNN から成るモデルです。そしてモデルを改良するためにデコーダにアテンション・メカニズムを組み込み、そしてアテンションの重みの可視化も行ないます。訓練時には “Teacher forcing” の手法も確率的に用います。
PyTorch は TensorFlow とともに多く利用されている深層学習フレームワークです。5 月に PyTorch 1.1 がリリースされ 1.0 のドキュメントから追加や修正が入っていますので、順次再翻訳しています。PyTorch 1.x では JIT コンパイラ等のプロダクション・サポートのための機能が追加され、大規模スケールでモデルを効率的に実行することが可能になりました。