PyTorch デザインノート : CUDA セマンティクス (翻訳/解説)
【PyTorch デザインノート: CUDA セマンティクス】
PyTorch のデザインノートの翻訳をしています。最新の PyTorch 0.4.0 リリースにも対応しています。
今回は CUDA 演算を扱います。デフォルトでは GPU 演算は非同期ですが、同期の強制や CUDA ストリームにおける注意点を説明します。またメモリ管理の説明の後、ベストプラクティスとしてデバイス不可知なコードの書き方やマルチプロセス処理についても詳述されます。