點(diǎn)擊上方藍(lán)字關(guān)注我們

高性能計(jì)算環(huán)境是支撐國(guó)家科技創(chuàng)新、經(jīng)濟(jì)發(fā)展的核心基礎(chǔ)設(shè)施。目前國(guó)家高性能計(jì)算環(huán)境的總計(jì)算能力已突破200 PFlops，總存儲(chǔ)容量超過160 PB。但是各節(jié)點(diǎn)廣域分散，計(jì)算與存儲(chǔ)資源難以統(tǒng)籌使用。本專題從虛擬數(shù)據(jù)空間系統(tǒng)構(gòu)建、分布式系統(tǒng)高效緩存、國(guó)家高性能計(jì)算環(huán)境對(duì)虛擬數(shù)據(jù)空間的運(yùn)行支撐以及面向非易失內(nèi)存的MPI-IO接口優(yōu)化等多個(gè)角度出發(fā)，探索了構(gòu)建高性能計(jì)算虛擬數(shù)據(jù)空間的過程中面臨的機(jī)遇和挑戰(zhàn)以及相應(yīng)的解決方案，希望能夠引起廣大讀者的興趣，并起到拋磚引玉的作用。

秦廣軍等人撰寫的《面向國(guó)家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間系統(tǒng)》建立了一套可用于構(gòu)建廣域全局虛擬數(shù)據(jù)空間的完整技術(shù)體系，并研發(fā)了一個(gè)可運(yùn)行于國(guó)家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間軟件系統(tǒng)。該系統(tǒng)在國(guó)家高性能計(jì)算環(huán)境中進(jìn)行了實(shí)驗(yàn)性部署，通過3類典型大型應(yīng)用的驗(yàn)證結(jié)果表明，該系統(tǒng)可有效地聚合廣域分散存儲(chǔ)資源，滿足大型應(yīng)用的數(shù)據(jù)空間需求。

肖利民等人撰寫的《GVDS：面向廣域高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間》提出了虛擬數(shù)據(jù)空間構(gòu)建方法及數(shù)據(jù)訪問性能優(yōu)化方法，并實(shí)現(xiàn)了一個(gè)面向廣域高性能計(jì)算環(huán)境的全局虛擬數(shù)據(jù)空間GVDS。測(cè)試結(jié)果表明，與當(dāng)時(shí)最優(yōu)的面向廣域高性能計(jì)算環(huán)境的存儲(chǔ)系統(tǒng)相比，GVDS在實(shí)現(xiàn)了相當(dāng)功能的同時(shí)，數(shù)據(jù)訪問性能明顯提升。

楊青霖等人撰寫的《分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)高效緩存方法》針對(duì)典型分布式存儲(chǔ)系統(tǒng)存在的寫放大、I/O路徑過長(zhǎng)、響應(yīng)時(shí)延較高等問題，提出了一種基于SSD的分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)高效緩存方法。該方法采用讀寫旁路和懶惰緩存的緩存管理策略、兼顧最近訪問時(shí)間和歷史訪問頻率的緩存替換策略，并自適應(yīng)地調(diào)整主動(dòng)回刷臟數(shù)據(jù)的速率，從而顯著提升了存儲(chǔ)系統(tǒng)的讀寫性能。

牛北方等人撰寫的《國(guó)家高性能計(jì)算環(huán)境的虛擬數(shù)據(jù)空間運(yùn)行支撐技術(shù)研究》研究了國(guó)家高性能環(huán)境節(jié)點(diǎn)部署技術(shù)。該技術(shù)通過模塊化方式將虛擬數(shù)據(jù)空間系統(tǒng)與國(guó)家高性能計(jì)算環(huán)境進(jìn)行深度融合，將其功能補(bǔ)充到國(guó)家高性能計(jì)算環(huán)境中，并通過統(tǒng)一的虛實(shí)空間用戶管理框架，實(shí)現(xiàn)跨域統(tǒng)一、透明安全的存儲(chǔ)服務(wù)和對(duì)大型計(jì)算應(yīng)用的支撐。

鄧鎮(zhèn)龍等人撰寫的《面向非易失內(nèi)存的MPI-IO接口優(yōu)化》針對(duì)非易失內(nèi)存對(duì)MPI-IO接口進(jìn)行了優(yōu)化，從分布式緩存、持久性元數(shù)據(jù)以及進(jìn)程間數(shù)據(jù)傳輸策略三方面著手，使應(yīng)用可以被有效管理，利用非易失內(nèi)存設(shè)備保持緩存數(shù)據(jù)的一致性。實(shí)驗(yàn)結(jié)果證明，優(yōu)化后的接口為應(yīng)用帶來了數(shù)十倍的讀寫性能提升。

由于篇幅有限，本專題無法涵蓋高性能計(jì)算虛擬數(shù)據(jù)空間建設(shè)的各個(gè)核心方法和關(guān)鍵技術(shù)，希望本專題收錄的研究和探索能夠引起學(xué)術(shù)界和工業(yè)界的關(guān)注，共同推動(dòng)國(guó)家高性能計(jì)算環(huán)境的完善和發(fā)展。

作者簡(jiǎn)介

張廣艷（1976-），男，博士，清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘副教授、博士生導(dǎo)師，主要從事大數(shù)據(jù)存儲(chǔ)與分析的理論和方法研究，包括大數(shù)據(jù)計(jì)算、存儲(chǔ)系統(tǒng)與分布式處理等方面。研究得到了國(guó)家杰出青年科學(xué)基金項(xiàng)目、國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目、國(guó)家973項(xiàng)目和國(guó)家863項(xiàng)目等的支持。近年來提出了大規(guī)模存儲(chǔ)系統(tǒng)構(gòu)建及訪問的方法與關(guān)鍵技術(shù)，有效提高了存儲(chǔ)系統(tǒng)的性能、擴(kuò)展性和可用性。發(fā)表學(xué)術(shù)論文40余篇，其中在FAST、USENIXATC、ACMTOS、IEEETC、IEEETPDS等計(jì)算機(jī)系統(tǒng)領(lǐng)域高水平國(guó)際會(huì)議和期刊發(fā)表論文20余篇。近五年以第一發(fā)明人獲得美國(guó)發(fā)明專利授權(quán)1項(xiàng)、中國(guó)發(fā)明專利授權(quán)7項(xiàng)。

大數(shù)據(jù)期刊

《大數(shù)據(jù)（Big Data Research，BDR）》雙月刊是由中華人民共和國(guó)工業(yè)和信息化部主管，人民郵電出版社主辦，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)學(xué)術(shù)指導(dǎo)，北京信通傳媒有限責(zé)任公司出版的期刊，已成功入選中文科技核心期刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)刊、中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦中文科技期刊，并被評(píng)為2018年國(guó)家哲學(xué)社會(huì)科學(xué)文獻(xiàn)中心學(xué)術(shù)期刊數(shù)據(jù)庫(kù)“綜合性人文社會(huì)科學(xué)”學(xué)科最受歡迎期刊。

關(guān)注《大數(shù)據(jù)》期刊微信公眾號(hào)，獲取更多內(nèi)容

總結(jié)

以上是生活随笔為你收集整理的专题导读：高性能计算虚拟数据空间的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。