MXNet How To : MXNet をデータ並列で複数の CPU/GPU で実行する (翻訳/解説)

How to train with multiple CPU/GPUs with data parallelism – 複数の GPU を使用するための MXNet のデフォルトを提供します。そしてまた、(GPU の数と個々の GPU 負荷のような)GPU データ並列性設定をカスタマイズし、複数の GPU でトレーニングし、GPU 接続オプションを設定し、GPU 間でディレクトリを同期し、ネットワークインターフェイスを選択し、そして接続をデバッグするための説明とコマンドも提供します。

http://mxnet.classcat.com/2017/02/28/mxnet-howto-multi_devices/