PyTorch : Tutorial 初級 : データ並列 (翻訳/解説)

【PyTorch: Tutorial 初級: データ並列 (マルチ GPU)】
PyTorch のドキュメントが改訂されていますので、再翻訳しています。最新の PyTorch 0.4.0 リリースにも対応しています。今回は PyTorch のデータ並列のチュートリアルの翻訳です。
本ドキュメントでは、DataParallel を使用して複数の GPU をどのように使用するかを説明します。
forward, backward 伝播を複数の GPU 上で実行することは自然ですが、PyTorch はデフォルトでは一つの GPU を使用するだけです。DataParallel を使用して貴方のモデルを並列に実行させることにより複数の GPU 上で演算を簡単に実行できます。

http://caffe.classcat.com/2018/04/23/pytorch-tutorial-data-parallel/