PyTorch : Tutorial 中級 : PyTorch で分散アプリケーションを書く (翻訳/解説)

【PyTorch Tutorial 中級: PyTorch 分散アプリケーション】
PyTorch の中級チュートリアルを翻訳しています。最新の PyTorch 0.4.0 リリースにも対応しています。
今回は分散アプリケーションの作成に必要な PyTorch の分散パッケージを見ていきます。
分散環境のセットアップからはじめて、異なる通信ストラテジー : ポイント・ツー・ポイント通信と集合的通信をどのように利用するかについてサンプル・スクリプトを用いて説明されます。
そして、通信バックエンドと初期化メソッドについて詳述されます。通信バックエンドとしては TCP, MPI そして Gloo が利用できます。パッケージ内部の流れについても説明されます。

http://caffe.classcat.com/2018/05/16/pytorch-tutorial-intermediate-dist-tuto/