SCC(超級計算集群)簡介 SCC概述 超級計算集群(Super Computing Cluster，SCC)使用高速RDMA網絡互聯的CPU以及GPU等異構加速設備，面向高性能計算、人工智能/機器學習、科學/工程計算、數據分析、音視頻處理等應用，提供極致計算性能和并行效率的計算集群服務。

SCC實例類型 類型 CPU Memory 網絡 存儲 適用場景 ecs.scch5.16xlarge 64核 Skylake Xeon Gold 6149 3.1GHz 192GB 50 Gbps RDMA 高效云盤(容量可選) + SSD云盤(容量可選) CPU主頻高，單核計算能力強，適用于多數計算密集型應用場景 ecs.sccg5.24xlarge 96核 Skylake Xeon Platinum 8163 2.5GHz 384GB 50 Gbps RDMA 高效云盤(容量可選) + SSD云盤(容量可選) CPU核數多，內存容量大，適用于內存需求較高、擴展性好的科學計算場景以及高并發的批處理場景 使用SCC實例創建E-HPC集群 創建過程 目前配備有SCC實例的可用區主要有：華東1可用區H、華東2可用區B、華北1可用區C、華北3可用區A。考慮到庫存的變化，用戶在創建集群之前可以通過ECS管理控制臺查看SCC實例在不同可用區的分布情況。 從E-HPC管理控制臺進入集群創建頁面，在計算節點下劃欄中勾選SCC實例。 勾選SCC注意：上圖中SCC實例的CPU核數是按照vCPU數目來顯示的，而實際交付的SCC實例為超線程關閉(HT off)狀態，即scch5.16xlarge和sccg5.24xlarge的CPU核數分別為32物理核和48物理核。

后續創建過程請參考E-HPC集群創建與配置 硬件信息 相比于普通ECS實例，SCC實例的核心硬件升級之一在于配備了50Gbps的RoCE(RDMA over Converged Ethernet)網絡，故網絡信息與普通ECS實例相比有明顯差異。

網絡硬件信息 相比于普通ECS實例，SCC實例同時擁有10Gbps VPC網絡和50Gbps RoCE網絡的網口，因此在會ECS管理控制臺上會同時顯示兩個IP地址。 SCC IP

正常的SCC實例會顯示如下網口信息，其中bond0為RoCE網口，eth0為VPC網口。 SCC網口信息

網絡連通性驗證 同一個E-HPC集群下的SCC實例間的VPC網絡IP和RoCE網絡IP均可以相互ping通 同一個E-HPC集群下的SCC實例間可以通過VPC網絡IP和RoCE網絡IP進行ssh登陸 RoCE網絡性能測試 測試RoCE網絡的峰值帶寬與延遲 帶寬測試樣例 ##讀帶寬測試 ib_read_bw -a -q 20 --report_gbits ##服務端compute0執行 ib_read_bw -a -q 20 --report_gbits compute0 ##用戶端compute1執行 ##寫帶寬測試 ib_write_bw -a -q 20 --report_gbits ##服務端compute0執行 ib_write_bw -a -q 20 --report_gbits compute0 ##用戶端compute1執行 延遲測試樣例 ##讀延遲測試 ib_read_lat -a ##服務端compute0執行 ib_read_lat -F -a compute0 ##用戶端compute1執行 ##寫延遲測試 ib_write_lat -a ##服務端compute0執行 ib_write_lat -F -a compute0 ##用戶端compute1執行 監測RoCE網絡的實際帶寬利用情況 在SCC實例root用戶下執行rdma_monitor -s實時獲取RoCE網絡信息 rdma_monitor

使用E-HPC性能監控與分析引擎集諦來監測各SCC實例RoCE網絡帶寬隨時間的變化情況。 集諦監測RoCE

在SCC集群上編譯和運行MPI程序 由于SCC實例同時支持50Gbps RoCE網絡和10Gbps VPC網絡，用戶在執行跨節點MPI程序時可能會遇到節點間數據流量默認走VPC網口的情況，這里我們推薦用戶在SCC集群上使用IntelMPI來編譯和運行跨節點MPI程序。

編譯跨節點MPI程序 安裝IntelMPI E-HPC集成了IntelMPI 2018版本，用戶只需在E-HPC控制臺集群創建或軟件管理功能界面中勾選IntelMPI 2018進行安裝即可。

intelmpi

配置MPI環境變量 方法一：使用E-HPC集成的Module管理工具 $ module avail --------------------------------- /opt/ehpcmodulefiles -------------------------------- intel-mpi/2018 $ module load intel-mpi/2018 $ which mpicc /opt/intel/impi/2018.3.222/bin64/mpicc 方法二：執行IntelMPI自帶的環境變量配置腳本 $ source /opt/intel/compilers_and_libraries/linux/bin/compilervars.sh intel64 $ which mpicc /opt/intel/impi/2018.3.222/bin64/mpicc 設置MPI編譯參數 完成MPI環境變量配置后，需要在軟件Makefile或預編譯腳本中指定MPI編譯器的相對/絕對路徑，然后執行編譯過程。

-DCMAKE_C_COMPILER=mpicc -DCMAKE_CXX_COMPILER=mpicxx 運行跨節點MPI程序 對于在E-HPC軟件環境中采用IntelMPI編譯的軟件，提交任務時無需額外指定網口參數，便可以直接通過RoCE網絡進行跨節點數據通信。 #!/bin/sh #PBS -j oe #PBS -l select=:ncpus=:mpiprocs= module load intel-mpi/2018 mpirun 對于在用戶本地環境編譯的軟件或預編譯的商用軟件，可以在提交MPI任務時指定RoCE網卡信息來避免可能出現的數據流量不走RoCE網絡或網卡設備not found等問題。 #!/bin/sh #PBS -j oe #PBS -l select=:ncpus=:mpiprocs= export I_MPI_FABRICS=shm:dapl module load intel-mpi/2018 mpirun -genv I_MPI_DAPL_PROVIDER ofa-v2-mlx5_bond_0 用戶可以使用集諦性能監測功能對SCC實例的CPU利用率、訪存帶寬、RoCE網絡帶寬等性能數據進行實時監測。 SCC性能

總結

以上是生活随笔為你收集整理的linux中bond网卡是什么意思,linux 网卡bond的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。