分布式深度學(xué)習(xí)計算框架（MindSpore, PyTorch）依賴環(huán)境——NCCL， NCCL提供多顯卡之間直接進(jìn)行數(shù)據(jù)交互的功能（可以跨主機(jī)進(jìn)行）。

注意：

本文環(huán)境為 Ubuntu18.04

以mindspore1.2.1-gpu計算框架為示范

NCCL的官方主頁：

https://developer.nvidia.com/nccl

NCCL的下載地址：

https://developer.nvidia.com/nccl/nccl-download

（注意：下載需要進(jìn)行會員注冊，這里推薦使用微信或QQ登錄）

====================================================

由于mindspore1.2.1-gpu 官方給出的版本要求：

確認(rèn)安裝NCCL 2.7.6-1版本（可選，單機(jī)多卡/多機(jī)多卡訓(xùn)練需要）

確認(rèn)安裝CUDA 10.1。

因此，我們需要安裝nccl版本為：

Download NCCL 2.7.6, for CUDA 10.1, July 6,2020

安裝對應(yīng)版本的nccl之前請注意：

參考nccl 安裝官方手冊：

https://docs.nvidia.com/deeplearning/nccl/install-guide/index.html

正確的 nccl 安裝步驟：

1. In the following commands, please replace<architecture>with your CPU architecture:x86_64,ppc64le, orsbsa, and replace<distro>with the Ubuntu version, for exampleubuntu1604,ubuntu1804, orubuntu2004.

根據(jù)剛才給出的軟硬件平臺， <architecture> 為 x86_64 ， <distro> 為ubuntu1804 。

于是需執(zhí)行命令：

sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub

2. 安裝剛才下載的 deb 文件：

sudo dpkg -i nccl-repo-ubuntu1804-2.7.6-ga-cuda10.1_1-1_amd64

3. 更新 apt

sudo apt update

4. Install thelibnccl2package with APT. Additionally, if you need to compile applications with NCCL, you can install thelibnccl-devpackage as well

安裝 libnccl2 、 libnccl-dev

從剛才的官方nccl下載頁面可以知道，對應(yīng)的 libnccl2 、 libnccl-dev 版本。

即：

sudo apt install libnccl2=2.7.6-1+cuda10.1 libnccl-dev=2.7.6-1+cuda10.1

安裝結(jié)束。

配置環(huán)境變量：

這里nccl都是安裝在默認(rèn)路徑下，因此不需要再格外配置路徑。

===============================================================

nccl 安裝結(jié)束后可以使用 nccl-test 來測試是否安裝成功， 具體的測試方法參看前文：

https://www.cnblogs.com/devilmaycry812839668/p/15023221.html

本博客是博主個人學(xué)習(xí)時的一些記錄，不保證是為原創(chuàng)，個別文章加入了轉(zhuǎn)載的源地址還有個別文章是匯總網(wǎng)上多份資料所成，在這之中也必有疏漏未加標(biāo)注者，如有侵權(quán)請與博主聯(lián)系。

總結(jié)

以上是生活随笔為你收集整理的分布式深度学习计算框架依赖环境——NCCL的安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。