PyTorch 1.8 チュートリアル : 並列と分散訓練 : 単一マシン並列ベストプラクティス (翻訳/解説)

【PyTorch 1,8 : 並列と分散訓練 : 単一マシン並列ベストプラクティス】
今回は「単一マシン並列ベストプラクティス」です。モデル並列は分散訓練テクニックで広く利用されます。DataParallel はマルチ GPU 上でニューラルネットワークを訓練するために利用できますが、それは幾つかのユースケースについては機能しません。例えばモデルが大規模過ぎて単一 GPU に収まらない場合です。このチュートリアルはモデル並列を使用してその問題をどのように解くかを示します。
PyTorch 1.8 ドキュメントの「並列と分散訓練」カテゴリーの翻訳を行なっています。 [詳細]

★ 人工知能研究開発支援 [詳細]

★ PoC(概念実証)を失敗させないための支援 [詳細]