并行計算（Parallel Computing）是指同時使用多個計算資源解決計算問題。并行 計算的主要目的是快速解決大型復雜的計算問題，或者節約成本——使用多臺“廉價” 計算機取代昂貴的大型機，以下測試啟動兩個節點（win10），每個節點使用8個內核參與計算。管理節點即頭節點系統為windows server 2019，COMSOL Multiphysics 安裝版本為5.4

1 部署Windows并行環境

1.1準備工作

首先，集群中的每臺機器應該能夠相互通過網絡相互訪問，而在 Windows 中，缺省打開的防火墻將限制彼此之間的訪問。建議如下圖所示分別新建連接安全規則、入站規則、出站規則（名字任意，本例為comsol，免除身份驗證ip段為192.168.0.1~192.168.0.255）

在所有的節點上執行以上操作，使得各節點之間可以相互連接。

?

1.2配置server 2019

首先需要為管理節點指定一個 IP 地址，本例：192.168.0.109

開始設定Active Directory，打開服務器管理器，點擊添加角色，在添加角色向導對話框點擊下一步，在服務器角色列表中選擇Active Directory域服務：

?

點擊下一步，閱讀一下簡介，然后點擊下一步，點擊安裝。

安裝完成如圖點擊部署后配置：

?

打開Active Directory域服務配置向導，選擇添加新林，根域名：cluster.ultralab.com（可自定義）：

?

點擊下一步，林功能級別和域功能級別選擇 Windows Server 2016，自動勾選域名系統（DNS）服務器和全局編錄，自定義密碼：

?

點擊下一步，其他選項--NetBIOS域名：CLUSTER（自定義）

?

下一步，一般會提示無法創建該DNS服務器的委派，無需理會，安裝完成后會提示即將注銷重啟計算機：

?

重啟后即可使用Active Directory角色的服務，接著添加域用戶。點擊服務管理器--工具--Active Directory用戶和計算機：

cluster.ultralab.com--Users右鍵，新建--用戶：

?

如下圖（用戶名可自定義）：

?

點擊下一步，設置密碼，如圖設置：

?

下一步完成添加用戶。為方便操作，可以給此用戶賦予域管理員的權限。雙擊新建的用戶（comsol）:

?

點擊隸屬于標簽，點擊添加:

?

在選擇組對話框中，點擊高級按鈕，在展開的對話框中，點擊立即查找，在搜索

結果中找到Domain Admins

?

點擊確定，繼續點擊確定，如下圖列表所示，再點擊確定關閉窗口

?

還需要把這個新增的用戶添加到當前計算機中，點擊控制面板--管理用戶和賬戶

添加用戶對話框中輸入用戶名：comsol，域：cluster.ultralab.com

?

下一步，如下圖選管理員，下一步

?

如下圖點擊確定，將comsol添加到當前計算機的管理員帳號：

?

以上步驟完成了在server 2019上的Active Directory、用戶帳號等設定。

?

1.3安裝Microsoft HPC Pack 2016

安裝向導中，選擇：新建安裝

?

選擇通過創建頭節點來新建一個HPC集群

?

安裝規則測試完成無誤后點擊下一步開始向計算機中安裝所需的數據庫、服務等各種程序

?

1.4部署頭節點（管理節點）

安裝完成，打開集群管理器，首先點擊配置網絡，在網絡配置向導對話框中選擇

5.僅在企業網絡上的所有節點：

依次點擊下一步，最后點擊配置。等候管理器完成網絡的配置工作，然后點擊完

成。

然后在集群管理器對話框中點擊提供安裝帳號，用戶名：cluster.ultralab.com\comsol，設置密碼：

?

接著在集群管理器中點擊配置新節點的命名規則：

?

最后在集群管理器里面點擊節點模板--新建

?

在新建節點模板向導中選擇工作站節點和非托管服務器節點模板

依次點擊下一步，最后點擊創建。

至此完成 HPC 的安裝和頭節點的設定。

?

1.5部署計算節點

首先，頭節點的IP地址作為計算節點的DNS。

然后修改計算機名：node01，隸屬于-域為：cluster.ultralab.com

點擊確定，輸入域中的用戶名 comsol 及相應的密碼

點擊確定，稍等片刻，可以看到歡迎對話框，點擊確定，再點擊確定，點擊關閉，點擊立即重啟計算機。

重啟后就要更換登錄方式了，現在應該使用域用戶的方式來登錄。按照提示按下

鍵盤中的 Ctrl+Alt+Del，然后點擊切換用戶，在用戶名中輸入 comsol，輸入正確的密

碼，然后登錄。

?

運行HPC pack安裝目錄 setup.exe。選擇通過創建新的工作站節點或非托管服務器節點加入現有 HPC 群集

?

下一步，在下拉列表中選擇頭節點的名稱，下一步，繼續下一步，選擇一個更新方法，點擊下一步，然后點擊安裝。這個時候會將相關的數據庫等程序安裝在計算節點上。

安裝完畢后回到頭節點，在集群管理器中，點擊添加節點，選擇添加已經配置的工作站節點和非托管服務器節點。

?

點擊下一步，再點擊下一步，在選擇新節點對話框中選擇所要加入集群的節點，例如，NODE01

?

點擊添加，點擊完成。這時我們可以看到管理器開始執行正在添加節點的工作，它會向計算節點中添加一些必要的密鑰、管理程序等，完成了集群的節點添加工作，我們就可以在這個集群上進行并行計算了。

?

2 COMSOL Multiphysics并行計算設置

啟動COMSOL Multiphysics

調度程序選擇HPCS 2008/2012/2016，其他根據需要自定義設置。

?

經測試：

測試1： 算例（瞬態，約58萬自由度）測試，在多核（4核、6核、8核、16核、28核）測試結果看到，Comsol Multiphysics多物理場耦合，8核并行計算加速比最高，也是性價比最高，CPU核數再提升，性能提升幅度很低

測試2：算力（穩態，600萬自由度）測試，8核還是最佳，單機計算時間過長，承受太重，建議用集群方式求解

以下是Comsol Multiphysics單機以及集群硬件配置方案

（1）基于單機架構多物理場耦合仿真計算硬件配置推薦
求解規模：小于300萬自由度

NO	型號	主要配置	報價	備注
1	UltraLAB H380 14864-SAA	Intel?第9代高頻處理器（8核@4.8Ghz）/64GB?DDR4 3000/Quadro P620 2GB?/960GB SSD+4TB SATA企業級/塔式(750W)/23寸圖顯	28000	高性價比
2	UltraLAB H380??150128-SAA	Intel?第10代高頻處理器（10核@5.0Ghz）/128GB?DDR4 3000/Quadro P620 2GB/960GB SSD+6TB SATA企業級/塔式(750W)/23寸圖顯	39000	小規模高速計算型
3	UltraLAB AX410 142384-SAB	Intel?第10代至尊處理器（18核@4.2Ghz）/192GB?DDR4 3000/Quadro P1000?/1.9TB SSD +10TB SATA企業級/塔式(750W)/23寸圖顯	54500	小規模計算多任務型
4	UltraLAB EX630i??234192-SBA	2顆Xeon 金6226R處理器（32核@3.4Ghz）/192GB?DDR4 2933/Quadro P620?/1.9TB SSD +6TB SATA企業級/塔式(750W)/23寸圖顯	58000	中等規模
5	UltraLAB EX630i??237192-SBA	2顆Xeon 金6242R處理器（40核@3.7Ghz）/192GB?DDR4 2933/Quadro P620?/1.9TB SSD +6TB SATA企業級/塔式(750W)/23寸圖顯	79000	中等規模
6	UltraLAB EX630i??240320-SBA	2顆Xeon 金6246R處理器（32核@4.0Ghz）/320GB?DDR4 2933/Quadro P620?/1.9TB SSD +8TB SATA企業級/塔式(750W)/23寸圖顯	97000	中大規格
7	UltraLAB Alpha730??443384-SCC	4顆Xeon 金6244處理器（共計32核@4.3Ghz）?/384GB?DDR4 2933/Quadro M4000/3.84TB SSD +10TB SATA企業級/雙塔式(1600W冗余，靜音級)/27寸-4K圖顯	179000	大規模高速計算型 高頻+多核+高IO
8	UltraLAB Alpha730 441768-SCB	4顆Xeon 金6246處理器（48核@4.1Ghz）/768GB?DDR4 2933?/Quadro P2000/3.84TB SSD +12TB SATA企業級/雙塔式(1600W冗余,靜音級)/27寸-4K圖顯	226000	大規模計算高速計算完美 高頻+多核+高IO
9	UltraLAB Alpha730 443768-PCC	4顆Xeon 金6256處理器（48核@4.3Ghz）/768GB?DDR4 2933?/RTX4000/4TB PcieSSD +20TB SATA企業級/雙塔式(1600W冗余,靜音級)/27寸-4K圖顯	275000	超大規模計算極致完美型 高頻+多核+高IO
10	UltraLAB Alpha730 4391T-PDC	4顆Xeon 金6254處理器（72核@3.9Ghz）/1.5TB?DDR4 2933?/RTX4000/1.9TB SSD/6TB PcieSSD /30TB SATA企業級/雙塔式(1600W冗余,靜音級)/27寸-4K圖顯	295000	多任務多用戶團隊超算型

（2）基于集群架構多物理場耦合仿真計算硬件配置推薦
推薦方案1?
集群型號：UltraLAB CT400 50C46-960
集群規模：5個計算節點（50核*4.6GHz ，960GB DDR4）
求解規模：150萬~500萬自由度
配置明細：

NO	貨物名稱	型號	數量	單價	小計
（一）硬件設備
1.1	? 計算服務器	10核@4.6Ghz+水冷散熱/192GB DDR4 /QK420/960GB SSD企業級/4U機架式(750W)/56Gbps IB網卡/無顯示器	5套	37000	185000
1.2	主控服務器	2顆Xeon 銀4214（24核@2.6GHz）/192GB /Quadro P1000/960GB+6.4TB高速緩存盤/42TB并行存儲/4U機架式（1500w）/雙56GB IB網卡/23寸圖顯	1套	93500	93500
1.4	計算交換機	邁絡思IB交換機12口@56Gbps	1臺	35000	35000
1.5	管理交換機	24口千兆電口	1臺	1100	1100
1.6	KVM切換器	8口，HDMI接口	1臺	2350	2350
1.7	機柜	42U，服務器級，插排，托盤	1臺	5500	5500
?	?	?	?	?	?
（二）集群系統
2.1	操作系統	?	?	?	?
2.2	作業調度軟件	UltraLAB PSS作業調度軟件（5節點）	1套	50000	50000?
2.3	求解器	?	?	?	?
?	?	?	?	?	?
合計：￥372,450元

推薦方案2?
集群型號：UltraLAB CT400 100C47-2T
集群規模：10個計算節點（100核*4.6GHz ，1.92TB DDR4）
求解規模：600萬~1000萬自由度
配置明細：

NO	貨物名稱	型號	數量	單價	小計
（一）硬件設備
1.1	計算節點	10核@4.6Ghz+水冷散熱/192GB DDR4 /QK420/960GB SSD企業級/4U機架式(750W)/56Gbps IB網卡/無顯示器	10套	37000	370000
1.2	存儲節點	2顆Xeon 銀4214（24核@2.6GHz）/192GB /Quadro P1000/960GB+6.4TB高速緩存盤/42TB并行存儲/4U機架式（1500w）/雙56GB IB網卡/23寸圖顯	1套	93500	93500
1.4	計算交換機	邁絡思IB交換機12口@56Gbps	1臺	35000	35000
1.5	管理交換機	24口千兆電口	1臺	1100	1100
1.6	KVM切換器	16口，HDMI接口	1臺	4800	4800
1.7	機柜	42U，服務器級，插排，托盤	2臺	5500	11000
?	?	?	?	?	?
（二）集群系統
2.1	操作系統	?	?	?	?
2.2	作業調度軟件	UltraLAB PSS作業調度軟件（10節點） ?	1套	100000	100000?
2.3	求解器	?	?	?	?
?	?	?	?	?	?
合計：￥615,400元

常見問題
1）為什么Comsol Multiphysics運行CPU使用率只能到4%
答：很多求解是單線程的，或求解過程的某個階段，是單線程的，這是正常的

2）Comsol Multiphysics怎樣選擇CPU
答：不同求解器有不同的多核并行計算特點，具體情況具體分析，參考測試數據

3）Comsol Multiphysics運行為什么會內存不夠
答：網格劃分過細過大，造成數據計算規模大，超出內存容量，通過優化或簡化模型可以降低計算量，少占用內存

4）Comsol Multiphysics求解速度為什么這么慢
答：可能原因CPU核數、頻率不合理，也可能是內存容量不夠，如果是集群，網絡延遲大，另外跟網格劃分過細有關系，計算量太大，算不動，具體情況具體分析

5）為什么在超級計算機系統上運行求解計算，還不如單機快
答：多核并行有限度，超級計算機cpu核數多，但頻率普遍太低（通常不超過3GHz），某些計算需要有限多核和高頻（越高越好），才是最理想的計算架構，另外也可能軟件授權的核數有限制
?

歡迎測試驗證

總結

以上是生活随笔為你收集整理的Microsoft HPC Pack 2016部署Comsol Multiphysics多物理场耦合并行计算以及超大规模仿真计算集群硬件配置推荐的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。