為什么80%的碼農(nóng)都做不了架構(gòu)師？>>> ??

摘要：?如今，高性能計(jì)算已在不知不覺中滲透到人類生活的方方面面。從材料科學(xué)到石油勘探、金融市場、應(yīng)急管理、醫(yī)學(xué)和互聯(lián)網(wǎng)等領(lǐng)域，高性能計(jì)算無一不大顯身手，幫助快速攻克各種疑難問題。

HPC（High Performance Computing，高性能計(jì)算）通常指將計(jì)算能力積聚，用并行計(jì)算方式解決更大規(guī)模的科學(xué)、工程和商業(yè)問題。如今，高性能計(jì)算已在不知不覺中滲透到人類生活的方方面面。從材料科學(xué)到石油勘探、金融市場、應(yīng)急管理、醫(yī)學(xué)和互聯(lián)網(wǎng)等領(lǐng)域，高性能計(jì)算無一不大顯身手，幫助快速攻克各種疑難問題。

?

針對日益增長的?HPC?計(jì)算能力需求，阿里云在現(xiàn)有基礎(chǔ)設(shè)施之上推出了彈性高性能計(jì)算E-HPC產(chǎn)品，為用戶提供一站式的高性能計(jì)算服務(wù)的云平臺，即HPCaaS公有云服務(wù)。2017年10月12日，產(chǎn)品正式發(fā)布公測上線，截止到目前，已有三百多家來自國內(nèi)外的高性能計(jì)算用戶在使用E-HPC公測資源，測試的應(yīng)用主要集中在科學(xué)計(jì)算，AI／機(jī)器學(xué)習(xí)，設(shè)計(jì)／仿真／渲染等領(lǐng)域。

項(xiàng)目背景

由于高性能計(jì)算集群昂貴，緩慢的初期建設(shè)投資，包括集群的維護(hù)、升級，管理和一次性購買昂貴的軟件許可證的困難，如何“不用排隊(duì)，申請任意規(guī)模，有豐富可共享的計(jì)算軟件環(huán)境”成為高性能用戶普遍的訴求。另一方面，高性能計(jì)算用戶對計(jì)算性能，擴(kuò)展性和并行效率的追求，使得他們無法快速擁抱云計(jì)算虛擬化的計(jì)算資源。

隨著云計(jì)算技術(shù)的逐漸成熟，高性能計(jì)算用戶對HPCaaS的需求變得越來越實(shí)際和迫切，HPCaaS包括使用集群服務(wù)器和存儲作為資源池的功能，用戶提交其作業(yè)請求的Web界面，以及可以在給定集群上并行調(diào)度大規(guī)模并行應(yīng)用的能力，調(diào)度多個(gè)不同并行應(yīng)用程序的智能調(diào)度機(jī)制，同時(shí)考慮到不同的應(yīng)用程序性能特征以達(dá)到最大總體生產(chǎn)力。

為此，阿里云開發(fā)了自身IaaS云產(chǎn)品之上的高性能計(jì)算PaaS平臺，基于阿里云彈性計(jì)算ECS實(shí)例、異構(gòu)計(jì)算EGS實(shí)例、超級計(jì)算集群SCC、虛擬專用網(wǎng)VPC、高可靠高可用的NAS存儲等組件，構(gòu)建了一整套HPC用戶熟悉的并行計(jì)算軟件環(huán)境，用戶在阿里云公共云上申請集群資源，快速構(gòu)建和安裝部署HPC需要的并行調(diào)度管理軟件、通訊庫、性能庫和一系列常用高性能計(jì)算應(yīng)用，用戶通過熟悉的阿里云服務(wù)界面，不但得到了一個(gè)“獨(dú)享式”的云端超算中心資源，還同時(shí)繼承了阿里云產(chǎn)品的穩(wěn)定，安全的品質(zhì)和與其它阿里云產(chǎn)品打通的能力——這意味著用戶可以將HPC和阿里云大數(shù)據(jù)分析、數(shù)據(jù)可視化和AI產(chǎn)品結(jié)合使用，激發(fā)出更多的創(chuàng)新。

技術(shù)解析

阿里云彈性高性能計(jì)算E-HPC與傳統(tǒng)超算中心以及自建集群相比，提供了一種快捷、彈性、安全以及互通的公共云高性能計(jì)算服務(wù)。

?

• 快捷：快速創(chuàng)建基于阿里云ECS/EGS/SCC/VPC/NAS等資源的計(jì)算集群，根據(jù)用戶選擇快速構(gòu)建運(yùn)行時(shí)環(huán)境和豐富的支撐軟件棧；
• 彈性：根據(jù)計(jì)算負(fù)荷，時(shí)間和性能要求增減和釋放計(jì)算節(jié)點(diǎn)，存儲等資源，節(jié)約大量的CAPEX費(fèi)用，包括但不限于硬件系統(tǒng)費(fèi)用，永久軟件許可證費(fèi)用，機(jī)房維護(hù)費(fèi)用，運(yùn)維人工費(fèi)用等。由于使用的是阿里云彈性計(jì)算資源，可以是實(shí)現(xiàn)即買即用的任意規(guī)模組合和節(jié)點(diǎn)自動(dòng)縮容擴(kuò)容的功能；
• 安全：E-HPC是構(gòu)建在阿里云IaaS產(chǎn)品之上的PaaS平臺，所以集成了阿里云產(chǎn)品的組合安全性，如VPC保證的網(wǎng)絡(luò)安全，ECS保證的計(jì)算安全和NAS保證的高可用高可靠存儲等；
• 互通：由于構(gòu)建在阿里云IaaS資源之上，E-HPC和其它云產(chǎn)品可全面打通，例如通過云盤，共享存儲和VPC網(wǎng)絡(luò)安全交換數(shù)據(jù)，并可以和其它數(shù)據(jù)分析，可視化產(chǎn)品互通完成復(fù)雜的數(shù)值仿真和數(shù)據(jù)分析閉環(huán)。

?

此外在技術(shù)層面，阿里云彈性高性能計(jì)算E-HPC與傳統(tǒng)超算中心、自建物理?HPC集群、自建云服務(wù)器集群等相比較，可以分析得出其具有獨(dú)特的競爭優(yōu)勢。

?

• E-HPC相比傳統(tǒng)超算中心：E-HPC按需要使用的規(guī)模購買，無需排期，即買即用；E-HPC機(jī)型種類多，可根據(jù)應(yīng)用需求購置最適合的計(jì)算資源配比（如EGS實(shí)例）；E-HPC充分復(fù)用阿里云產(chǎn)品，大大提高了數(shù)據(jù)安全性和高可用性。
• E-HPC相比自建物理HPC集群：E-HPC可節(jié)約巨量CAPEX投入，包括但不限于硬件系統(tǒng)費(fèi)用/軟件許可證費(fèi)用（多核，多節(jié)點(diǎn)）、服務(wù)器機(jī)房建設(shè)/電力和制冷費(fèi)用、平日運(yùn)作的維護(hù)支持費(fèi)用；使用E-HPC無需顧慮硬件升級換代；E-HPC打通阿里云全系列產(chǎn)品，可擴(kuò)展性極強(qiáng)。
• E-HPC相比自建云服務(wù)器集群：E-HPC提供方便的軟件管理服務(wù)，覆蓋HPC應(yīng)用全部支撐軟件棧功能，并隨HPC共同體（OEM/OSV/ISV/用戶/開發(fā)者/開源社區(qū)）版本升級；E-HPC提供云端Elastic License的按需付費(fèi)的軟件許可證調(diào)度機(jī)制，為用戶節(jié)約一次性購買成本，同時(shí)為ISV軟件廠商和個(gè)人軟件開發(fā)者提供了阿里云市場的新途徑，E-HPC還能夠提供集群節(jié)點(diǎn)根據(jù)負(fù)荷變化的自動(dòng)伸縮服務(wù)。

?

阿里云彈性高性能計(jì)算E-HPC架構(gòu)圖

場景應(yīng)用

E-HPC是一個(gè)組合型產(chǎn)品，其計(jì)算節(jié)點(diǎn)有普通ECS實(shí)例、GPU加速EGS實(shí)例、超級計(jì)算集群SCC實(shí)例可供選擇。ECS實(shí)例地域覆蓋面廣，適合在全球各地域部署；EGS實(shí)例適合深度學(xué)習(xí)等支持并行加速應(yīng)用的客戶使用；SCC實(shí)例提供RDMA網(wǎng)絡(luò)互聯(lián)，適合大規(guī)模集群，提高加速比。時(shí)下，有越來越多的中小企業(yè)和大企業(yè)需要普惠高性能計(jì)算來提供HPCaaS服務(wù)：

?

• 在季節(jié)性工作負(fù)載或?qū)︻~外資源的彈性需求時(shí)；
• 在將IT業(yè)務(wù)云化，無需投資額外的基礎(chǔ)架構(gòu)或增加等待工作隊(duì)列的時(shí)間時(shí)；
• 在希望通過統(tǒng)一平臺獲取行業(yè)應(yīng)用軟件許可證資源時(shí)；
• 在需要支持多用戶隔離運(yùn)行多個(gè)應(yīng)用程序且快速獲得資源時(shí)。

?

阿里云的彈性高性能計(jì)算產(chǎn)品E-HPC構(gòu)筑了HPCaaS的青藏高原。

市場解讀

阿里云E-HPC是建構(gòu)于飛天系統(tǒng)上的原生云超級計(jì)算平臺，對底層計(jì)算，網(wǎng)絡(luò)和存儲的調(diào)用完全基于阿里云的飛天系統(tǒng)，采用OpenAPI接口，隨其它云產(chǎn)品功能和性能一起升級進(jìn)化。

更為突出的是，E-HPC系統(tǒng)可以和阿里云神龍?jiān)品?wù)器/SCC產(chǎn)品無縫對接，基于自研硬件的虛擬化2.0技術(shù)，同時(shí)具備物理機(jī)的性能和穩(wěn)定性，并提供和ECS，EGS虛擬化異構(gòu)資源的靈活對接，具備完全云特性，這一點(diǎn)是目前國內(nèi)外云廠商都沒有的優(yōu)勢，是真正的“云超算”。。

產(chǎn)品正在集成基于阿里云存儲的Lustre高性能并行文件系統(tǒng)， 接入更多主流高性能計(jì)算商業(yè)軟件彈性許可證管理，增強(qiáng)PaaS的云監(jiān)控，性能優(yōu)化和豐富的計(jì)費(fèi)體系，正在對接各個(gè)細(xì)分領(lǐng)域的SaaS合作伙伴，真正打造普惠和專業(yè)的云上超算平臺。

彈性高性能計(jì)算E-HPC基于多年積累的阿里云飛天系統(tǒng)，其功能，性能和體感將隨各飛天產(chǎn)品的升級而普惠超算用戶，基于阿里云飛天架構(gòu)開發(fā)的HPC軟件棧具有和云組間緊耦合，針對云平臺優(yōu)化的特性，和在物理超算平臺上增加“云體驗(yàn)”的所謂“超算云”相比，真正釋放了云計(jì)算的威力，可以說是毫無疑問地國內(nèi)第一“云超算”產(chǎn)品。

轉(zhuǎn)載于:https://my.oschina.net/yunqi/blog/1585762

總結(jié)

以上是生活随笔為你收集整理的阿里云弹性高性能计算E-HPC强势来袭，全新打造一站式云超算的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。