PyTorch 1.0 Tutorials : テキスト : Sequence to Sequence ネットワークと Attention で翻訳 (翻訳/解説)
sales-info【PyTorch 1.0 Tutorials: Seq2Seq と Attention で機械翻訳】
PyTorch は NLP や確率的プログラミングで特に利用されている深層学習フレームワークです。PyTorch 1.0 ではプロダクション・サポート機能が追加され大規模なスケールでモデルを実行することが可能になりました。
クラスキャットは PyTorch 1.0 の無償サポートを開始しその一環としてドキュメントの日本語翻訳を提供しています。
今回は「フランス語 to 英語」翻訳をニューラルネットワークに学習させることに挑戦してみます。基本モデルは Sequence to Sequence モデルで、これはエンコーダとデコーダの 2 つの RNN から成るモデルです。
モデルを改良するためにデコーダにアテンション・メカニズムを組み込み、そしてアテンションの重みの可視化も行ないます。訓練時には “Teacher forcing” の手法も確率的に用います。
