日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

CESM2笔记——porting-新机器移植

發布時間:2024/1/8 编程问答 61 豆豆
生活随笔 收集整理的這篇文章主要介紹了 CESM2笔记——porting-新机器移植 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

CESM2相比CESM1_2_2更新了很多,尤其是我要用的CAM-chem,所以打算重新porting。一開始一點也不懂自己瞎搞,一直理不清頭緒,網頁太多,自己看來看去抓不到重點。后來請教了一位師姐,磕磕絆絆各種弄環境、debug,弄了好久,終于測試通了第一個case,哇哇哭出來。。。這會兒來做些筆記,就記錄一下最核心的流程。

我這里是在曙光機器LASG上移植。


step1:下載CESM2 code

官方網址:https://escomp.github.io/CESM/release-cesm2/downloading_cesm.html

用git clone就可以

checkout_externals這個步驟一定要的,否則下載下來的包是不完整的。

這里有個需要注意的地方:如果在windows環境中git clone下來的CESM2再上傳到LINUX下,很多文件下下來是dos文本文件(用vi編輯器打開:set ff查看;:set ff=unix可以改為unix文件),在linux下讀文件就會報錯。用:set ff=unix可以把文件類型改過來,但指不定哪個讀取又有問題。

所以最好是找個linux系統再git clone。真的這樣會少很多bug!


step2: 設置環境變量: 修改.bashrc

CESM需要很多庫和環境支持。http://esmci.github.io/cime/versions/master/html/users_guide/porting-cime.html

1. 一個MPI運行環境

2. 編譯工具:gmake,cmake

3.netcdf庫4.3版或更高版本

因為CIME是基于python的框架,python當然是必不可少的。

編譯器intel或gnu,hdf5…這些最基本的服務器配置就不用說了。

不過在超算中心大部分庫可以用module load,下面是曙光為例我load的庫。其中perl很重要,很多bug問題可能就是perl沒裝對。

如果是個人機器或組內服務器,恕我不才,這些庫估計我也搞不定。。。也許可以參考下這個:https://blog.csdn.net/qq_37512669/article/details/87915996


step3: 改3個xml文件:config_machines.xml,config_compilers.xml,config_batch.xml

tutorial里面有個special talk可以參考:http://www.cesm.ucar.edu/events/tutorials/2019/files/Specialized-edwards.pdf

CESM2包如果已經安裝到自己機器上的話,這三個xml文件位于~/cesm2/cime/config/e3sm/machines路徑下

官方文件可在這里查看:http://esmci.github.io/cime/versions/master/html/xml_files/cesm.html#cimeroot-config-cesm-machines

config_machines.xml:用戶自定義的機器描述。

config_compilers.xml:用戶自定義的編譯器介紹。

config_batch.xml:用戶批處理系統介紹。

這三個文件根據機器不同,設置也不同。需要按機器的配置來設置和多次調試(就是先進行step4,發現哪兒報錯了又回來改這幾個文件)。


step4: 運行四個步驟:create case(生成), setup(設置), build(編譯), run(運行)

官方網址:https://escomp.github.io/CESM/release-cesm2/quickstart.html

step4就到模式工作流了,流程和之前寫的CESM1_2_2(https://blog.csdn.net/qq_27984679/article/details/107099940)基本是一樣的,但是一些compset的名稱變了,以及*.xml中的設置有變化。

舉個例子:

./create_newcase --case /public1/home/pku_jingli2/CESM/cesm2/cime/scripts/FCHIST --compset FCHIST --res f19_g17 --mach hpccube --compiler intel --run-unsupportedcd FCHIST/./case.setup./case.build

(這里先去下inputdata,看step5)

./case.submit

step5: 下載inputdata

因為大部分的機器不能連外網,所以check_inputdata --download的功能一般用不了,需要自己去重新下載這些inputdata。

inputdata數據網址:https://svn-ccsm-inputdata.cgd.ucar.edu/trunk/inputdata/

在./case.build之后,在$case/Buildconf下會生成各個模塊需要的input文件,在*list里面。

用python把all_list.txt轉成all_list-short.txt(去掉等號“=”和等號前面的字符)就可以得到文件網址列表

f = open('all_list.txt', 'r') f1 = open('all_list-short.txt','w') for (num,value) in enumerate(f):print ("line number", num+1, "is:", value)head,sq,tail=value.partition('=')print ("line number", num+1, "is:", tail)f1.write(tail) f1.close() f.close()

在linux下用wget下載比較方便:

wget --no-check-certificate -c -i all_list-short.txt

下完之后再上傳到inputdata目錄下,由于inputdata下面子目錄太多,手動太麻煩而且容易出錯。下面的代碼就是移動文件到對應正確的目錄,如果該目錄不存在就先創建一個。

f = open('all_list-short.txt', 'r') for (num,value) in enumerate(f):print ("line number", num+1, "is:", value)head,sq,tail=value.partition('inputdata/')list0=tail.strip().split('/')list1=list0[0:-1]str0='/'directory='./'+str0.join(list1)print(directory)if not os.path.exists(directory):os.makedirs(directory)filename=list0[-1].strip()if not os.path.exists(filename):print(filename+' do not exist')continueprint(filename+' do exist, begin move')os.popen('mv '+filename+' '+directory) f.close()

核心流程就是上面幾個步驟,step2,3是最重要的,不過我講的有點少,因機器而異,主要我自己也是半桶水,就是記錄一下核心流程,有個概念。

相關教程指路:

1.?CESM移植方法-記錄:https://blog.csdn.net/qq_37512669/article/details/87915996(這個有記錄安裝各種庫)

2.CESM1.2.2移植攻略:http://bbs.06climate.com/forum.php?mod=viewthread&tid=49077(這個有推薦一個startman來安裝各種庫,看著蠻好的,雖然我沒用過)

總結

以上是生活随笔為你收集整理的CESM2笔记——porting-新机器移植的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。