目的：

1、加快計算速度
2、緩解大數據壓力

使用方式：

詳見：【分布式訓練】單機多卡的正確打開方式（三）：PyTorch
注意：
1、選擇 DistributedDataParallel 要比 DataParallel 好

2、可能需要在parser中添加 parser.add_argument("--local_rank", type=int, help="") 如果你出現下面這種錯誤的話：

• argument for training: error: unrecognized arguments: --local_rank=2
• subprocess.CalledProcessError: Command ‘[…]’ returned non-zero exit status 2.

3、如果你的model要加載預訓練的參數的話，那么，加載參數的代碼需要放在第五步封裝之前。比如下面的例子：

# 4) 封裝之前要把模型移到對應的gpu model = model.to(device) model.load_state_dict(checkpoint["model"]) # 加載預訓練參數 if torch.cuda.device_count() > 1:print("Let's use", torch.cuda.device_count(), "GPUs!")# 5) 封裝model = torch.nn.parallel.DistributedDataParallel(model,device_ids=[local_rank],output_device=local_rank)

4、里面沒提到的細節：
在執行命令的時候，參數nproc_per_node的值是你使用的gpu的數量，例如這里使用了gpu0和1，所以數量是2。

CUDA_VISIBLE_DEVICES=0,1 python -m torch.distributed.launch --nproc_per_node=2 torch_ddp.py

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的【分布式训练】单机多卡—PyTorch的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。