整理|網(wǎng)易科技 孟倩

特別鳴謝 部分編輯校對(duì)：

-游培廷，北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院計(jì)算數(shù)學(xué)博士生

-方林，深圳大學(xué)光電工程學(xué)院光學(xué)碩士生

2020年5月9日，未來(lái)論壇青創(chuàng)聯(lián)盟發(fā)起的YOSIA Webinar特別推出了“AI+X”科學(xué)系列主題，第二期主題為“AI+科學(xué)計(jì)算”，主要針對(duì)科學(xué)計(jì)算的現(xiàn)狀和挑戰(zhàn)、科學(xué)計(jì)算與人工智能融合的價(jià)值、研究的路徑和案例以及科學(xué)計(jì)算與人工智能融合的未來(lái)發(fā)展方向進(jìn)行了分享。

本次參與者有六位嘉賓，他們分別是來(lái)自北京大學(xué)的李若教授、中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院研究員明平兵、清華大學(xué)數(shù)學(xué)科學(xué)系副教授史作強(qiáng)、北京大學(xué)教授楊超、聯(lián)科集團(tuán)創(chuàng)辦人兼首席執(zhí)行官，美國(guó)華盛頓大學(xué)終身教授孫緯武和廈門大學(xué)數(shù)學(xué)學(xué)院教授熊濤。主持人為未來(lái)論壇青創(chuàng)聯(lián)盟成員，北京大學(xué)北京國(guó)際數(shù)學(xué)研究中心長(zhǎng)聘副教授董彬。

過(guò)去10年，人工智能（AI）技術(shù)深刻影響了人類社會(huì)，也在逐漸改變?cè)S多學(xué)科的研究范式。在科學(xué)計(jì)算的諸多領(lǐng)域存在待求解的問(wèn)題機(jī)理不清楚，或者雖然問(wèn)題具有明確的機(jī)理，但由于過(guò)于復(fù)雜以至于傳統(tǒng)算法難以求解的困難。AI技術(shù)，特別是機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)方法，基于實(shí)驗(yàn)或者計(jì)算產(chǎn)生的數(shù)據(jù)對(duì)所求解的問(wèn)題進(jìn)行可計(jì)算建模，從而得到復(fù)雜問(wèn)題的有效解決方式，這對(duì)當(dāng)今科學(xué)計(jì)算領(lǐng)域的研究范式已經(jīng)產(chǎn)生了巨大影響。

與此同時(shí)，以深度學(xué)習(xí)為代表的AI在內(nèi)部機(jī)理、數(shù)學(xué)理論、基礎(chǔ)算法等方面尚不清楚、不完善，AI方法的穩(wěn)健性、精確度等尚缺乏嚴(yán)格的數(shù)學(xué)論證，這正對(duì)其進(jìn)一步發(fā)展造成嚴(yán)重阻礙。然而，結(jié)合機(jī)理的思維方式將有可能對(duì)面向數(shù)據(jù)的AI技術(shù)，提供新的洞見(jiàn)與研究途徑。因此，AI與科學(xué)計(jì)算的結(jié)合，勢(shì)必會(huì)推動(dòng)兩個(gè)領(lǐng)域的共同發(fā)展。

李若分享了《智能時(shí)代的科學(xué)計(jì)算：低維表達(dá)與高維問(wèn)題的自然融合》，他表示經(jīng)典的科學(xué)計(jì)算在過(guò)去的半個(gè)多世紀(jì)徹底改變了科學(xué)研究和科學(xué)本身的面貌，這些成就激勵(lì)人們不斷去挑戰(zhàn)更為本質(zhì)的困難，其中一個(gè)典型的代表就是高維問(wèn)題的求解，基于計(jì)算技術(shù)本身所發(fā)展起來(lái)的大數(shù)據(jù)相關(guān)技術(shù)為高維問(wèn)題的求解提供了新的契機(jī)。

從逼近論的角度來(lái)看，各種神經(jīng)網(wǎng)絡(luò)從大圖景上就是為高維的函數(shù)給了一種低維的表達(dá)方式。種種跡象表明，此種表達(dá)方式具有極高的有效性和逼真度，竟可以使人們模糊地對(duì)其產(chǎn)生智能的感覺(jué)。

通過(guò)機(jī)器學(xué)習(xí)的手段，運(yùn)用神經(jīng)網(wǎng)絡(luò)給出表象高維函數(shù)函數(shù)的低維逼近形式，在技術(shù)上是完全可以實(shí)現(xiàn)的。把近似的低維逼近形式代入到高維的物理模型中，則可以通過(guò)程式化的手段推導(dǎo)出低維的約化模型，并能夠通過(guò)不斷地細(xì)化逐漸改善其逼近精度。

李若說(shuō)相信我們都樂(lè)見(jiàn)在不久的將來(lái)可以實(shí)現(xiàn)高維問(wèn)題的求解技術(shù)和智能的低維表達(dá)技術(shù)的自然融合。

楊超在《淺論超級(jí)計(jì)算、人工智能與科學(xué)計(jì)算的融合發(fā)展：以偏微分方程求解為例》的分享中闡述了人工智能與超級(jí)計(jì)算和科學(xué)計(jì)算的融合發(fā)展趨勢(shì)。

近年來(lái)，超級(jí)計(jì)算機(jī)的計(jì)算能力不斷突飛猛進(jìn)，為科學(xué)計(jì)算和人工智能領(lǐng)域的諸多難題的解決提供了強(qiáng)大的算力支撐。與此同時(shí)，科學(xué)計(jì)算和人工智能的發(fā)展也對(duì)超級(jí)計(jì)算機(jī)的研制產(chǎn)生了深刻影響。

科學(xué)計(jì)算一般以準(zhǔn)確的數(shù)學(xué)模型為根基，以嚴(yán)謹(jǐn)?shù)挠?jì)算方法為手段，對(duì)應(yīng)用領(lǐng)域中氣候氣象、能源材料、航空航天、生物醫(yī)藥等問(wèn)題進(jìn)行模擬。而人工智能則往往依賴于以神經(jīng)網(wǎng)絡(luò)為代表的具有“萬(wàn)能逼近”性質(zhì)的數(shù)學(xué)工具從數(shù)據(jù)中挖掘規(guī)律，從而在圖像處理等類型的任務(wù)上實(shí)現(xiàn)超越人類水準(zhǔn)的突破。超級(jí)計(jì)算、人工智能與科學(xué)計(jì)算這三個(gè)蓬勃發(fā)展的領(lǐng)域是否可能實(shí)現(xiàn)某種程度的結(jié)合甚至融合？

他表示無(wú)論是科學(xué)計(jì)算、超級(jí)計(jì)算還是人工智能，都可以視為連接真實(shí)世界和數(shù)字世界的工具。真實(shí)世界就是人們不斷設(shè)法去了解、改造的客觀世界，而數(shù)字世界指的是我們能夠操作、能夠任意實(shí)驗(yàn)的基于計(jì)算機(jī)的數(shù)字化虛擬世界。銜接真實(shí)世界和數(shù)字世界，人工智能至少在模型、算法、軟件和硬件四個(gè)角度可以與科學(xué)計(jì)算和超級(jí)計(jì)算結(jié)合并發(fā)揮重要作用。

明平兵分享了《多尺度問(wèn)題：科學(xué)計(jì)算+人工智能Crack the Multiscale Problem: Scientific Computing + Artificial Intelligence》的主題，自然界中諸多現(xiàn)象如材料損傷與破壞、流體湍流、核爆炸過(guò)程、生物大分子等均呈現(xiàn)出巨大的尺度效應(yīng), 并伴隨著不同尺度上的物理多樣性和強(qiáng)耦合性以及多個(gè)時(shí)間與空間尺度的強(qiáng)關(guān)聯(lián)。這些典型的多尺度問(wèn)題的求解一直是非常有挑戰(zhàn)性的課題。科學(xué)計(jì)算曾經(jīng)并正在為求解多尺度問(wèn)題發(fā)揮重要作用，人工智能為解決多尺度問(wèn)題提出了新的思路。

多尺度建模提供了一種建模精確化的途徑。多尺度建模主要基于物理定律，物理定律和數(shù)學(xué)來(lái)解決。科學(xué)計(jì)算在每個(gè)尺度上的計(jì)算方法發(fā)揮了很大作用，而且為多尺度算法提供了概念性的東西。在人工智能、深度學(xué)習(xí)對(duì)多尺度計(jì)算已經(jīng)提供了一些新的思路，它有希望破除這里面的瓶頸，現(xiàn)在還在繼續(xù)發(fā)展，但發(fā)展的不迅速。

史作強(qiáng)則在《基于流形和偏微分方程的機(jī)器學(xué)習(xí)數(shù)學(xué)模型》中分享了從微分流形的角度對(duì)數(shù)據(jù)流形進(jìn)行建模，然后用相應(yīng)不同的偏微分方程也有不同的數(shù)學(xué)方法來(lái)來(lái)解。他表示機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)近年來(lái)取得了巨大的成功，這是用科學(xué)計(jì)算的角度幫助和理解AI就是機(jī)器學(xué)習(xí)里面的一些模型和方法。

總的思路是，對(duì)機(jī)器學(xué)習(xí)建立數(shù)學(xué)模型，嘗試建立可解釋、具有內(nèi)在魯棒性的數(shù)學(xué)模型和理論，并發(fā)展相應(yīng)的計(jì)算方法。

主題分享一：《智能時(shí)代的科學(xué)計(jì)算：低維表達(dá)與高維問(wèn)題的自然融合》

李若北京大學(xué)教授

李若，博士畢業(yè)于北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院，現(xiàn)為該院教育部長(zhǎng)江特聘教授，博士生導(dǎo)師，副院長(zhǎng)。研究方向?yàn)槠⒎址匠虜?shù)值解，具體是網(wǎng)格自適應(yīng)方法和流體力學(xué)數(shù)值方法，解決了已經(jīng)存在了六十余年的Grad矩模型雙曲性缺失的問(wèn)題。他是第九屆國(guó)際工業(yè)與應(yīng)用數(shù)學(xué)大會(huì)報(bào)告人，獲得第十二屆馮康科學(xué)計(jì)算獎(jiǎng)、國(guó)家杰出青年基金、全國(guó)百篇優(yōu)秀博士論文獎(jiǎng)，入選教育部新世紀(jì)人才計(jì)劃。他曾經(jīng)或正在擔(dān)任SISC、NMTMA、AAMM編委，《數(shù)值計(jì)算與計(jì)算機(jī)應(yīng)用》副主編，北京計(jì)算數(shù)學(xué)學(xué)會(huì)理事長(zhǎng)、監(jiān)事長(zhǎng)，中國(guó)數(shù)學(xué)會(huì)計(jì)算數(shù)學(xué)分會(huì)副主任委員，教育部數(shù)學(xué)類專業(yè)教指委副主任，北京大學(xué)科學(xué)與工程計(jì)算中心主任、應(yīng)用物理與技術(shù)中心副主任。

李若：各位朋友們好！我的研究領(lǐng)域是傳統(tǒng)的科學(xué)計(jì)算，今天我想和大家探討的是一種新的可能性。，維數(shù)的概念，對(duì)于學(xué)過(guò)數(shù)學(xué)的人是一個(gè)非常標(biāo)準(zhǔn)而熟悉的詞匯。我們做科學(xué)計(jì)算，比如做偏微分方程數(shù)值解，其常常目標(biāo)是為了逼近一個(gè)函數(shù)，這個(gè)函數(shù)從一個(gè)m維空間映射到n維空間，m和n如果非常大，就是所謂的高維的問(wèn)題。

盡管很高的維數(shù)對(duì)于學(xué)數(shù)學(xué)的人來(lái)說(shuō)感覺(jué)非常自然，但是在歷史上對(duì)于普羅大眾，大家開(kāi)始接受比直觀的三維空間更高的維數(shù)概念是在狹義相對(duì)論的時(shí)候，那時(shí)候伴隨狹義相對(duì)論所提出的四維時(shí)空的概念，使得高維的概念進(jìn)入大眾視野。對(duì)于數(shù)學(xué)家和物理學(xué)家來(lái)說(shuō)，維數(shù)本質(zhì)上只是變量的個(gè)數(shù)。對(duì)于科學(xué)計(jì)算來(lái)說(shuō)，我們要想表達(dá)一個(gè)高維函數(shù)，這個(gè)維數(shù)m-就是自變量的維數(shù)-非常要命，這個(gè)數(shù)大了以后很難辦，但是n這個(gè)維數(shù)帶來(lái)的困難要小得多。

狹義相對(duì)論出現(xiàn)以前，大概更早三四十年，就有了氣體動(dòng)理學(xué)的玻爾茲曼方程。這個(gè)方程中就會(huì)涉及到一個(gè)高維的所謂分布函數(shù)，這個(gè)函數(shù)是時(shí)間、空間的函數(shù)。與此同時(shí)，它居然把速度量作為自變量，使得這個(gè)函數(shù)變成一個(gè)七維函數(shù)，它滿足這樣一個(gè)方程（圖）。這個(gè)f的自變量維數(shù)一旦高上去之后，當(dāng)時(shí)大家沒(méi)有感覺(jué)，等到我們真想解這個(gè)方程的時(shí)候，才發(fā)現(xiàn)面對(duì)著巨大的困難。

其實(shí)七維并不是顯得特別高，我們平時(shí)覺(jué)得時(shí)空是四維的，事實(shí)上可以在建模的時(shí)候，將維數(shù)從日常的四維，升高到幾乎不可能的維數(shù)，這是所謂的量子多體問(wèn)題。這是一個(gè)薛定諤方程，薛定諤方程里面的波函數(shù)依賴于非常非常多個(gè)自變量，每個(gè)自變量都是普通的三維空間中的一個(gè)向量。這里的N會(huì)大到什么程度呢？它會(huì)大到像阿伏伽德羅常數(shù)這樣的數(shù)，這個(gè)維數(shù)一下子變得高不可攀了。通過(guò)這個(gè)例子可以看到，維數(shù)我們是可以把它玩的非常大的。

在物理的歷史上，維數(shù)是從日常的維數(shù)逐漸一步一步的加上去，這件過(guò)程大約可以從廣義相對(duì)論的時(shí)候開(kāi)始算起。在理解廣義相對(duì)論的時(shí)候，大家發(fā)現(xiàn)它本質(zhì)上是把相互作用幾何化，把引力解釋成為空間曲率。大家發(fā)現(xiàn)可以享受引入新的自變量的好處，把各種相互左右都解釋為新加入的維數(shù)的幾何結(jié)構(gòu)。比如說(shuō)為了解釋磁鐵的磁力，可以為電子硬生生的引進(jìn)自旋這個(gè)自變量，物理書(shū)上叫做“內(nèi)稟屬性”，在數(shù)學(xué)看來(lái)就是一個(gè)自變量，引進(jìn)這個(gè)就可以解釋磁鐵的磁性。吃了這種甜頭以后，物理學(xué)家們逐漸就把四種基本的作用力，比如核里面的強(qiáng)相互作用、弱相互作用，逐漸都想把它統(tǒng)一起來(lái)使用，加自變量維數(shù)的方式，然后把它統(tǒng)一起來(lái)，就發(fā)展成了現(xiàn)在的各種弦的理論、m理論這些。大致上看來(lái)，物理學(xué)家把各種各樣的相互作用最終變成了新的自變量，從而導(dǎo)致了函數(shù)自變量維數(shù)的增長(zhǎng)，這種增長(zhǎng)為我們求解這些方程帶來(lái)了非常巨大的困難。

科學(xué)研究的目標(biāo)第一步是理解，就是所謂認(rèn)識(shí)自然，第二步是控制，這是希望通過(guò)獲得的理解來(lái)改造自然。當(dāng)我們想做科研的時(shí)候，一個(gè)被研究的客體放在面前，我們可以把我們研究的客體，首先可以看成是一個(gè)黑盒子，我們通過(guò)觀察它的輸入，測(cè)量它的輸出，然后猜測(cè)到底這個(gè)黑盒子里發(fā)生了什么事。輸入和輸出從表象上常常是非常高維的，但是需要注意的是，我們能夠觀察、測(cè)量和控制的關(guān)于輸入和輸出中的信息都是非常低維的數(shù)據(jù)。這是因?yàn)槲覀儗?duì)所能夠觀察和控制的所有這些因素，只有低維的表達(dá)能力造成的。我們翻來(lái)覆去的做輸入和輸出的觀察，有一天終于給出這個(gè)客體的方程，這就是物理的模型。所以這些模型，或者說(shuō)方程，就是照亮黑盒子的光，使得黑盒子變成了亮盒子。我們的問(wèn)題在于這些方程中自變量的維數(shù)太高，計(jì)算量太大，我們就會(huì)很難對(duì)其進(jìn)行求解。

這個(gè)盒子和現(xiàn)在熱門的神經(jīng)網(wǎng)絡(luò)長(zhǎng)得非常像，給它一個(gè)輸入，輸入從表象上非常高維，它就給一個(gè)輸出。神經(jīng)網(wǎng)絡(luò)和剛才我們說(shuō)的這個(gè)盒子比較，其特點(diǎn)在于它是天生就是一個(gè)亮盒子，里面所有的連接結(jié)構(gòu)、參數(shù)都是設(shè)定好的。現(xiàn)在大家做神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，就是反復(fù)地匹配這些輸入和輸出的數(shù)據(jù)，然后把盒子里面的參數(shù)給確定下來(lái)。一提到這個(gè)大家馬上會(huì)非常興奮的去討論大家非常感興趣的一些問(wèn)題，比如怎么樣調(diào)參和訓(xùn)練，還有關(guān)于所謂的泛化和解釋性的問(wèn)題，這些討論很容易就會(huì)把科學(xué)問(wèn)題和哲學(xué)聯(lián)系在一起，我們就不展開(kāi)了。

最近這幾年，利用神經(jīng)網(wǎng)絡(luò)去表達(dá)過(guò)去我們覺(jué)得很難的一些問(wèn)題的解的時(shí)候，往往給我們非常神奇的感覺(jué)，訓(xùn)練出來(lái)的神經(jīng)網(wǎng)絡(luò)常常可以捕獲我們過(guò)去覺(jué)得絕對(duì)不能表達(dá)的特征，準(zhǔn)確度非常高，這讓我們覺(jué)得這個(gè)好像是一種智能，我們說(shuō)它是人工智能的意思是覺(jué)得它和人的智能多少還是有一些區(qū)別的。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)天然和我們研究科學(xué)問(wèn)題的解構(gòu)這么相像，我們可能馬上會(huì)覺(jué)得它們之間會(huì)有一些競(jìng)爭(zhēng)，但是今天我想討論的是，我們其實(shí)可以利用它們的相似性，把神經(jīng)網(wǎng)絡(luò)的這種表達(dá)形式，以非常自然的形式應(yīng)用到求解高維科學(xué)計(jì)算的問(wèn)題上來(lái)。

我特地構(gòu)造了一個(gè)看上去很抽象，但事實(shí)上又相當(dāng)具體的例子，來(lái)說(shuō)明這種可能性。我們考慮時(shí)間發(fā)展的方程，左邊是一個(gè)函數(shù)，這個(gè)解函數(shù)u是時(shí)間和空間的函數(shù)，空間可以是非常高維的，右邊是不包含時(shí)間導(dǎo)數(shù)的算子，具有初值。為了解這樣一個(gè)方程，原則上n非常大的時(shí)候，現(xiàn)在的科學(xué)計(jì)算是很難解決這樣一個(gè)問(wèn)題的。但是請(qǐng)注意到剛才我們說(shuō)過(guò)的一個(gè)重要的事實(shí)，我們所關(guān)心的初值或者說(shuō)我們所能夠給出的初值，這種U0，它的整個(gè)集合是非常低維的，每個(gè)U0本身有非常高維的表象，但是所有的U0放在一起的集合是一個(gè)低維的結(jié)構(gòu)。所有的這種函數(shù)所形成的集合，這個(gè)集合形成了一個(gè)流形，它的維數(shù)是很低的，我們把它記作K，這個(gè)是和1差不多一樣大的一個(gè)數(shù)。

由于這個(gè)方程是個(gè)時(shí)間發(fā)展方程，以U0作為初值時(shí)候的的解，就會(huì)在所有可能的解空間里面形成一條單參數(shù)的曲線。所有這種單參數(shù)的曲線，形成了這樣一個(gè)集合（圖），單參數(shù)是t，其他的維數(shù)是K維的。對(duì)于所有的解形成的在解空間中的流形，構(gòu)成了以U0作為底的K+1維的流形，整個(gè)流形的維數(shù)是不高的。這樣，原則上來(lái)說(shuō)我們就可以用下面的形式對(duì)這個(gè)流形做參數(shù)化，我們利用t是其中一個(gè)顯式的參數(shù)，可以把其中每一個(gè)函數(shù)都寫(xiě)成x的函數(shù)，依賴于參數(shù)ω，這個(gè)ω是只依賴于t的一個(gè)K維向量。這樣的解的形式代入到方程里面去，我們會(huì)發(fā)現(xiàn)這樣的等式，拿u對(duì)所有的ω求導(dǎo)數(shù)，這是一個(gè)廣義導(dǎo)數(shù)，每一個(gè)ω對(duì)t求一個(gè)導(dǎo)數(shù)，會(huì)發(fā)現(xiàn)這個(gè)對(duì)所有x都成立。我們可以使用u對(duì)ω的導(dǎo)數(shù)做檢驗(yàn)函數(shù)，這個(gè)東西是一個(gè)內(nèi)積。總而言之，我們最后可以轉(zhuǎn)化為一個(gè)常微分方程組，以ω作為變量的常微分方程組，前面這個(gè)東西就是由這些東西所做出來(lái)的矩陣，這個(gè)矩陣是對(duì)稱正定的，右邊是右端項(xiàng)。我們獲得了只有K個(gè)變量的常微分方程組，這個(gè)方程組我們是可以非常高效的求解的。

在這個(gè)過(guò)程中，我們可以看到其中最大的困難是，如何獲得這個(gè)解流形的結(jié)構(gòu)，因?yàn)檫@意味著我們要給出解的參數(shù)表達(dá)式。如果能夠做出這一點(diǎn)，一個(gè)非常困難的問(wèn)題，就會(huì)變成一個(gè)非常非常簡(jiǎn)單的問(wèn)題。但是我們基本上可以說(shuō)，想精確給出這個(gè)表達(dá)式是沒(méi)有可能的，一旦有這個(gè)可能，這個(gè)問(wèn)題我想也不是一個(gè)非常值得做的問(wèn)題，因?yàn)樘?jiǎn)單了。這個(gè)時(shí)候我們有沒(méi)有可能通過(guò)機(jī)器學(xué)習(xí)的手段，運(yùn)用神經(jīng)網(wǎng)絡(luò)給出一個(gè)“u hat”（音）的逼近形式呢？這件事情完全是可以操作的！神經(jīng)網(wǎng)絡(luò)天然就可以表達(dá)這種函數(shù)，我們可以獲得一些數(shù)據(jù)，這些數(shù)據(jù)可能來(lái)源于一些測(cè)量或者一些精細(xì)的、局部的解，這可以我們的計(jì)算能力可以獲取的解。獲得大量這樣的數(shù)據(jù)后，然后它形式上長(zhǎng)得像這樣的數(shù)據(jù)，我們用這些點(diǎn)，用一個(gè)神經(jīng)網(wǎng)絡(luò)然后去構(gòu)造某些損失函數(shù)訓(xùn)練出一個(gè)東西。然后我們就可能用這樣一個(gè)網(wǎng)絡(luò)來(lái)代替我們剛才“u hat”的形式，具體怎么操作有大量的可能性。其中比較關(guān)鍵的一點(diǎn)，我認(rèn)為這種點(diǎn)云數(shù)據(jù)的維數(shù)怎么確定，我們確定了以后將會(huì)確定K到底是多少。以及中間的這些參數(shù)，就是ω怎么選擇。經(jīng)過(guò)進(jìn)一步的思考，我們其實(shí)知道這些參數(shù)的選擇并不是非常關(guān)鍵，有非常豐富的余地。

于是我們把近似的形式解代入到剛才的方程中。由于這是一個(gè)近似的形式，這個(gè)方程不可能等于零，有余項(xiàng)。于是我們依然可以使用剛才的套路，我們做一個(gè)檢驗(yàn)函數(shù)寫(xiě)到這里面去，構(gòu)造一個(gè)模型。這個(gè)模型將會(huì)是一個(gè)近似模型，無(wú)論如何它的計(jì)算量徹底小下來(lái)了。特別的一點(diǎn)，對(duì)于這樣一個(gè)模型我們可以很輕松的給出這樣一個(gè)形式的（圖）后驗(yàn)誤差估計(jì)。這個(gè)后驗(yàn)的形式說(shuō)明，原則上我們可以對(duì)于精確的解流形什么都不知道，但是可以發(fā)展出技術(shù)手段，通過(guò)不斷地減少這個(gè)誤差，使得它的精度逐漸得到改進(jìn)。

由于時(shí)間的關(guān)系我就講到這里，謝謝大家！

主題分享二：《淺論超級(jí)計(jì)算、人工智能與科學(xué)計(jì)算的融合發(fā)展：以偏微分方程求解為例》

楊超北京大學(xué)教授

楊超，北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院教授，博士生導(dǎo)師。主要從事與超大規(guī)模并行計(jì)算相關(guān)的模型、算法、軟件和應(yīng)用研究，研究領(lǐng)域涉及計(jì)算數(shù)學(xué)、計(jì)算機(jī)科學(xué)與應(yīng)用領(lǐng)域的交叉。研究成果曾先后獲2012年中國(guó)科學(xué)院盧嘉錫青年人才獎(jiǎng)、2016年美國(guó)計(jì)算機(jī)學(xué)會(huì)“戈登·貝爾”獎(jiǎng) (ACM Gordon Bell Prize)、2017年中國(guó)科學(xué)院杰出科技成就獎(jiǎng)、2017年CCF-IEEE CS青年科學(xué)家獎(jiǎng)等，2019年入選北京智源人工智能研究院“智源學(xué)者”。目前擔(dān)任北京大學(xué)科學(xué)與工程計(jì)算中心副主任，中國(guó)科學(xué)院軟件研究所學(xué)術(shù)/學(xué)位委員會(huì)委員，中國(guó)工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)“高性能計(jì)算與數(shù)學(xué)軟件”專業(yè)委員會(huì)副主任兼秘書(shū)長(zhǎng)，中國(guó)新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟“AI指令集與開(kāi)發(fā)接口”標(biāo)準(zhǔn)專題組組長(zhǎng)等職務(wù)。

楊超：非常高興參加這次活動(dòng)，借此機(jī)會(huì)我想結(jié)合偏微分方程求解的一些經(jīng)驗(yàn)，分享一下關(guān)于超級(jí)計(jì)算、人工智能和科學(xué)計(jì)算融合發(fā)展的觀點(diǎn)。

從主流的科研范式來(lái)看，人們認(rèn)識(shí)客觀世界的三種最主要的科研手段是實(shí)驗(yàn)、理論和計(jì)算，最近十來(lái)年隨著數(shù)據(jù)科學(xué)的興起，基于數(shù)據(jù)的科學(xué)發(fā)現(xiàn)被認(rèn)為是第四種重要的科研范式。而圍繞計(jì)算和數(shù)據(jù)有三個(gè)非常獨(dú)立但又相互關(guān)聯(lián)很大的方向，超級(jí)計(jì)算、科學(xué)計(jì)算和人工智能。

從計(jì)算科學(xué)誕生之初，超級(jí)計(jì)算和科學(xué)計(jì)算的關(guān)系已經(jīng)建立起來(lái)。它們之間的關(guān)系可以概括為：超級(jí)計(jì)算是支撐科學(xué)計(jì)算發(fā)展的重要工具，科學(xué)計(jì)算作為需求牽引、拉動(dòng)超級(jí)計(jì)算機(jī)性能不斷提升。事實(shí)上，早在電子計(jì)算機(jī)誕生之前，超級(jí)計(jì)算的思想萌芽就已產(chǎn)生，其中一個(gè)代表性的工作是英國(guó)數(shù)學(xué)家理查德森1922年提出來(lái)“預(yù)報(bào)工廠”的概念，這個(gè)概念被稱為“理查德森之夢(mèng)”。為什么說(shuō)是一個(gè)夢(mèng)？因?yàn)?922年當(dāng)時(shí)沒(méi)有電子計(jì)算機(jī)，他提出的“預(yù)報(bào)工廠”主要用于預(yù)報(bào)天氣。眾所周知，天氣預(yù)報(bào)是科學(xué)計(jì)算領(lǐng)域最有代表性的一類應(yīng)用。預(yù)算工廠包括64000臺(tái)Human Computers，每臺(tái)“計(jì)算機(jī)”由一個(gè)人完成相關(guān)計(jì)算。預(yù)報(bào)工廠中還有專人用信號(hào)燈指揮不同的“計(jì)算機(jī)”進(jìn)行數(shù)據(jù)交換。“預(yù)報(bào)工廠”的計(jì)算目標(biāo)是大氣，把計(jì)算區(qū)域分成64000個(gè)部分，每個(gè)人負(fù)責(zé)一塊，大家分別計(jì)算，并有人去協(xié)調(diào)指揮，這其實(shí)體現(xiàn)了早期人們暢想超級(jí)計(jì)算的一種樸素思想。

隨著世界第一臺(tái)電子計(jì)算機(jī)ENIAC的問(wèn)世，理查德森之夢(mèng)終于得以實(shí)現(xiàn)，ENIAC重達(dá)幾十噸，占地面積非常大，并且耗電驚人。據(jù)說(shuō)每當(dāng)ENIAC開(kāi)機(jī)的時(shí)候，整個(gè)費(fèi)城的燈都暗了。1950年，馮諾伊曼和他的助手改造了ENIAC的可編程性，并在這個(gè)基礎(chǔ)上編寫(xiě)了世界上第一個(gè)天氣預(yù)報(bào)程序，成功完成了24小時(shí)預(yù)報(bào)，實(shí)現(xiàn)了理查德森之夢(mèng)，也成為了科學(xué)計(jì)算的蓬勃發(fā)展的一個(gè)重要開(kāi)端。

如今，歷經(jīng)幾十年的發(fā)展，超算已經(jīng)在科學(xué)計(jì)算的方方面面，例如航空、航天、氣候、能源、材料、安全、天文等領(lǐng)域中發(fā)揮了不可取代的支撐作用。2013年美國(guó)能源部曾經(jīng)統(tǒng)計(jì)過(guò)一些典型的科學(xué)計(jì)算應(yīng)用中的計(jì)算需求，這些計(jì)算需求即便放在今天來(lái)看仍然是很大。在科學(xué)計(jì)算巨大需求的牽引之下，超級(jí)計(jì)算機(jī)的計(jì)算性能按照“十年千倍”的速度迅猛攀升。我們都知道摩爾定律，摩爾定律的是說(shuō)個(gè)人計(jì)算機(jī)的性能提升速度是每18到24個(gè)月性能翻一番，而超級(jí)計(jì)算機(jī)可以達(dá)到每年性能翻一番，“十年千倍”的發(fā)展速度。

現(xiàn)在超算發(fā)展的一個(gè)重要趨勢(shì)是：異構(gòu)眾核，即同一個(gè)系統(tǒng)有不同類型的計(jì)算核心，而且每個(gè)芯片上要集成大量的計(jì)算核心。為什么會(huì)沿著異構(gòu)眾核趨勢(shì)發(fā)展？其實(shí)這與計(jì)算需求關(guān)系不大，更多的是超級(jí)計(jì)算發(fā)展本身的技術(shù)條件限制造成的。現(xiàn)在所有的超級(jí)計(jì)算機(jī)都是基于馮諾伊曼體系結(jié)構(gòu)，馮諾伊曼體系結(jié)構(gòu)的“算”-“存“分離特性會(huì)導(dǎo)致現(xiàn)有工藝下，為了滿足計(jì)算需求，能夠選擇的設(shè)計(jì)方案十分有限。這樣的系統(tǒng)現(xiàn)在越來(lái)越多，同一個(gè)系統(tǒng)有很多計(jì)算核心，而且計(jì)算核心還不一樣，從設(shè)計(jì)算法和研究軟件角度來(lái)說(shuō)面臨很大挑戰(zhàn)。

例如求解偏微分方程的經(jīng)典并行算法——區(qū)域分解算法，該算法一般假定每個(gè)子區(qū)域應(yīng)該是大致相同，而且滿足一些數(shù)學(xué)上的條件，例如子區(qū)域應(yīng)具有凸性和的單連通性等。在異構(gòu)系統(tǒng)上，這些前提假定已經(jīng)難以成立，需要從思想上突破傳統(tǒng)算法的約束。對(duì)此，我們提出了一套異構(gòu)區(qū)域分解算法，在傳統(tǒng)的區(qū)域分解思想基礎(chǔ)上，對(duì)每個(gè)子區(qū)域進(jìn)行第二次切分，切分時(shí)排除掉之前理論上的假定，包括凸區(qū)域、單聯(lián)通區(qū)域之類的約束，目標(biāo)就是要與現(xiàn)有的異構(gòu)系統(tǒng)硬件配置相適配。

雖然理論上很難分析這種異構(gòu)區(qū)域分解算法的收斂性，但是在實(shí)際應(yīng)用中，這種算法達(dá)到很好的應(yīng)用效果。HPCG是基于偏微分方程求解的高性能計(jì)算機(jī)的排名標(biāo)準(zhǔn)，我們把這個(gè)算法應(yīng)用于HPCG優(yōu)化里，取得了很好的效果，收斂性非常好，幫助天河2號(hào)拿到2016年的HPCG世界排名第一。

如前所述，科學(xué)計(jì)算和超級(jí)計(jì)算之間相互促進(jìn)、共同發(fā)展的閉環(huán)已經(jīng)形成了幾十年了。最近十來(lái)年隨著大數(shù)據(jù)興起，人工智能技術(shù)得到復(fù)興并呈爆發(fā)式發(fā)展。此時(shí)，人工智能作為一個(gè)“新”角色進(jìn)來(lái)之后又起什么作用呢？至少兩個(gè)方面的作用，首先從超算角度來(lái)看，超算原本主要用來(lái)支撐科學(xué)計(jì)算，現(xiàn)在有了人工智能這種新需求，超算必然也要為人工智能提供強(qiáng)大算力支撐。反過(guò)來(lái)由于人工智能的本身特性又會(huì)改變超算的發(fā)展趨勢(shì)。第二，人工智能和科學(xué)計(jì)算的關(guān)系。人工智能有一些好的數(shù)學(xué)工具和思想方法可以作為新思路、新方法、新工具提供給科學(xué)計(jì)算，科學(xué)計(jì)算又有多年發(fā)展的基礎(chǔ)和較為完善的理論框架，可能幫助我們實(shí)現(xiàn)可解釋性的人工智能。

AlphaGo和AlphaGo Zero作為人工智能最近幾年非常著名的突破，先后打敗了人類的圍棋冠軍。像AlphaGo Zero這種大型的AI應(yīng)用，如果想一天之內(nèi)完成它的訓(xùn)練，我們所需要的計(jì)算能力已經(jīng)超過(guò)1E ops，事實(shí)上過(guò)去6年訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算力需求已經(jīng)增長(zhǎng)了30萬(wàn)倍，這遠(yuǎn)遠(yuǎn)超出超級(jí)計(jì)算機(jī)“十年千倍”的計(jì)算性能提升速度。所以現(xiàn)在有觀點(diǎn)認(rèn)為計(jì)算能力是人工智能發(fā)展的非常重要的基礎(chǔ)，甚至有人認(rèn)為算力常勝。

與此同時(shí)，人工智能的發(fā)展深刻改變了超算發(fā)展趨勢(shì)，尤其是在2017年前后，隨著大規(guī)模AI應(yīng)用的涌現(xiàn)，新型超級(jí)計(jì)算機(jī)設(shè)計(jì)也逐漸開(kāi)始考慮人工智能這類應(yīng)用，最有代表性的機(jī)器就是美國(guó)的Summit，計(jì)算性能世界排名第一的系統(tǒng)，這臺(tái)機(jī)器科學(xué)計(jì)算的雙精度浮點(diǎn)計(jì)算性能是148Pflops/s，但是它還通過(guò)配備特殊的Tensor Core計(jì)算單元，可以實(shí)現(xiàn)3.4 Eops/s的AI計(jì)算性能。與此同時(shí)國(guó)際上谷歌、IBM、寒武紀(jì)、華為等大廠也都先研發(fā)了各種AI處理器。最近，谷歌Jeff Dean等人發(fā)展了采用AI設(shè)計(jì)芯片的新技術(shù)，大幅度提升芯片數(shù)據(jù)效率。毫不夸張地說(shuō)，AI已經(jīng)對(duì)硬件設(shè)計(jì)產(chǎn)生方方面面的深刻影響。

在超級(jí)計(jì)算機(jī)系統(tǒng)設(shè)計(jì)方面，舉個(gè)例子，牛津大學(xué)2018年出版了一個(gè)白皮書(shū)《解碼中國(guó)的AI夢(mèng)》，其中有一個(gè)觀點(diǎn)：“中國(guó)建設(shè)超級(jí)計(jì)算機(jī)方面的成功表明，它有可能趕上AI硬件領(lǐng)域世界領(lǐng)先的企業(yè)……如果其他國(guó)家專門開(kāi)發(fā)針對(duì)AI新型超級(jí)計(jì)算機(jī)，中國(guó)在制造傳統(tǒng)超級(jí)計(jì)算機(jī)方面的卓越表現(xiàn)可能并不重要“。順著這個(gè)思路我們?nèi)ニ伎迹苍S有一天，可能很快我們會(huì)看到專門用于AI計(jì)算的大型超級(jí)計(jì)算機(jī)。

現(xiàn)在讓我們回到偏微分方程求解。借助神經(jīng)網(wǎng)絡(luò)這類數(shù)學(xué)工具，我們是不是可以解一些之前難以求解的問(wèn)題呢？（圖）在這里，我列出了三個(gè)比較有特色的方程，它們都有強(qiáng)烈的非線性，并且計(jì)算區(qū)域具有不規(guī)則和高維的特點(diǎn)。比如第一個(gè)方程的計(jì)算區(qū)域雖然是二維，但是區(qū)域邊界非常復(fù)雜。中間是三維的例子，其計(jì)算區(qū)域是一個(gè)扭曲的torus形成，采用經(jīng)典方法很難準(zhǔn)確的刻劃。第三個(gè)是100維的超立方體，它高維的性質(zhì)決定了經(jīng)典的方法很難去求解。

通過(guò)神經(jīng)網(wǎng)絡(luò)的方法可以很好地求解這類問(wèn)題，我們提出了一套新方法——PFNN，這一方法的最大特點(diǎn)是只需要求解無(wú)約束優(yōu)化問(wèn)題，不需要引入任何懲罰項(xiàng)。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)求解方法或多或少會(huì)引入懲罰項(xiàng)，但是通過(guò)采用一些手段去重新構(gòu)造解空間，可以設(shè)法避免這個(gè)事情。把一個(gè)約束優(yōu)化問(wèn)題變成完全沒(méi)有約束的優(yōu)化問(wèn)題，數(shù)值計(jì)算結(jié)果表明，PFNN方法可以很好的改善問(wèn)題的求解精度和計(jì)算效率。

下面考慮如何實(shí)現(xiàn)并行求解。一個(gè)很自然的思路是直接做分布式訓(xùn)練，但這樣的處理沒(méi)有很好的利用問(wèn)題本身的性質(zhì)。偏微分方程的求解，在經(jīng)典的科學(xué)計(jì)算領(lǐng)域，有一個(gè)非常好的并行算法——區(qū)域分解。我們將區(qū)域分解的思想用在神經(jīng)網(wǎng)絡(luò)求解偏微分方程中。比如可把一個(gè)方形的區(qū)域一分為四之后，增加一點(diǎn)重疊度，就可以把單個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練問(wèn)題分成子區(qū)域網(wǎng)絡(luò)的訓(xùn)練。通過(guò)實(shí)測(cè)發(fā)現(xiàn)，這樣的手段不但能夠提供很好的并行加速，同時(shí)問(wèn)題的計(jì)算精度也同時(shí)得到改善，實(shí)現(xiàn)了計(jì)算精度和計(jì)算速度的雙重收益。

從未來(lái)的發(fā)展趨勢(shì)來(lái)看，人工智能、超級(jí)計(jì)算、科學(xué)計(jì)算會(huì)怎樣發(fā)展？三個(gè)方向共同目的是通過(guò)某種手段連接真實(shí)世界和數(shù)字世界。真實(shí)世界就是人類在不斷設(shè)法了解、改造的客觀世界。數(shù)字世界是我們能夠操作、能夠任意實(shí)驗(yàn)的基于計(jì)算機(jī)的數(shù)字化虛擬世界。從真實(shí)世界到數(shù)字世界，至少存在四個(gè)角度，人工智能可以與科學(xué)計(jì)算和超級(jí)計(jì)算結(jié)合，發(fā)揮作用。

第一，模型角度。經(jīng)典的科學(xué)計(jì)算方面，很多問(wèn)題是建模方面很困難，或者模型很準(zhǔn)確但是不可計(jì)算或者很難計(jì)算，或者是模型可以計(jì)算但不夠準(zhǔn)確。這時(shí)候基于人工智能的手段也許可以構(gòu)造更好的模型，比如現(xiàn)在湍流模型，分子力場(chǎng)模型，天氣預(yù)報(bào)領(lǐng)域的物理過(guò)程參數(shù)化等都有成功案例。

第二，算法角度。剛才舉的PFNN的例子就是算法角度，人工智能的發(fā)展有很多的很好的數(shù)學(xué)工具，思考問(wèn)題的視角。借鑒里面好的數(shù)學(xué)工具，比如神經(jīng)網(wǎng)絡(luò)，可以應(yīng)用在一些科學(xué)計(jì)算領(lǐng)域的經(jīng)典問(wèn)題，比如線性方程求解、微分方程組求解、最優(yōu)化問(wèn)題求解等。

第三，軟件角度。光有算法和模型是不夠的，還需要在計(jì)算機(jī)上實(shí)現(xiàn)，寫(xiě)成軟件，實(shí)現(xiàn)出來(lái)。這個(gè)過(guò)程涉及到大量的編程工作，而且很容易出錯(cuò)。這時(shí)候如果借助機(jī)器學(xué)習(xí)等手段，可以在編譯優(yōu)化，自適應(yīng)調(diào)優(yōu)，自動(dòng)代碼生成等方面把人們從繁重的體力勞動(dòng)中釋放出來(lái)。

最后就是硬件角度。AI事實(shí)上已經(jīng)深刻改變了超算硬件的發(fā)展，而且未來(lái)還會(huì)有更多改變，比如計(jì)算單元的設(shè)計(jì)、芯片的設(shè)計(jì)、處理器的設(shè)計(jì)、超算系統(tǒng)的設(shè)計(jì)等。

最后我想利用這個(gè)機(jī)會(huì)介紹一下我們課題組正在招新，感興趣的歡迎到這個(gè)網(wǎng)站(https://scholar.pku.edu.cn/chaoyang/news)。謝謝大家。

主題分享三：《多尺度問(wèn)題：科學(xué)計(jì)算+人工智能Crack the Multiscale Problem: Scientific Computing + Artificial Intelligence》

明平兵中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院研究員

2000年博士畢業(yè)于中國(guó)科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院，目前是該院研究員并擔(dān)任科學(xué)與工程計(jì)算國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任。主要從事計(jì)算數(shù)學(xué)及科學(xué)計(jì)算的研究，特別是固體多尺度建模、模擬及多尺度算法的研究。他預(yù)測(cè)了石墨烯的理想強(qiáng)度并在Cauchy-Born法則的數(shù)學(xué)理論、擬連續(xù)體方法的穩(wěn)定性方面有較為系統(tǒng)的工作。他在JAMS, CPAM, ARMA, PRB, SINUM, Math. Comp. Numer. Math, SIAM MMS. 等國(guó)際著名學(xué)術(shù)期刊上發(fā)表學(xué)術(shù)論文五十余篇。他曾應(yīng)邀在SCADE2009，The SIAM Mathematics Aspects of Materials Science 2016等會(huì)議上作大會(huì)報(bào)告。他于2014年獲得國(guó)家杰出青年基金，2019年入選北京智源人工智能研究院“智源學(xué)者”。

明平兵：今天非常高興有機(jī)會(huì)和大家分享我們?cè)谶@些問(wèn)題的觀點(diǎn)和體會(huì)，今天主要從科學(xué)計(jì)算和人工智能角度談?wù)勎夜ぷ鞫嗄甑囊粋€(gè)領(lǐng)域：多尺度建模與計(jì)算。

首先簡(jiǎn)單給大家介紹一下多尺度現(xiàn)象以及多尺度模型，這里面涉及到比較多的物理。然后從傳統(tǒng)科學(xué)計(jì)算的角度來(lái)討論一下如何求解多尺度模型，求解的過(guò)程以及面臨的問(wèn)題，以及多尺度建模與計(jì)算有哪些困難和挑戰(zhàn)。最后談?wù)勗谥悄軙r(shí)代，人工智能會(huì)不會(huì)對(duì)多尺度模型模擬或者多尺度問(wèn)題的求解帶來(lái)一些新的思路、新途徑。

多尺度顧名思義，就是時(shí)間尺度和空間尺度，這是大家都可以理解的。事實(shí)上多尺度是一個(gè)一般性概念，比如下面這個(gè)圖像就可以看作一個(gè)多尺度模型，大尺度是圖像的邊，小尺度就是圖像的紋理，這個(gè)圖像在數(shù)學(xué)上可以用Fourier級(jí)數(shù)以及小波來(lái)表示，下面這幅圖表示一個(gè)多尺度函數(shù)，仔細(xì)區(qū)分可以看到有六個(gè)尺度，最大尺度上的圖形其實(shí)是非常簡(jiǎn)單的正弦函數(shù)的疊加。

下面這張片子講講湍流，這是非常著名的多尺度問(wèn)題。湍流可以用Navier-Stokes方程來(lái)描述。這個(gè)問(wèn)題之所以很困難，就是因?yàn)樗泻芏唷皽u”，這些渦在數(shù)學(xué)上就是非常不光滑的解，它們?cè)诓煌叨壬舷嗷プ饔茫@是多尺度最為困難的一個(gè)問(wèn)題：完全無(wú)尺度分離問(wèn)題。

下面再給大家介紹一個(gè)典型的多尺度問(wèn)題。這個(gè)圖片展示的就是著名的Titanic號(hào)游船斷裂的情形。斷裂是從原子鍵的斷裂開(kāi)始，發(fā)生在納米尺度。斷裂聚集演變成微損傷，一般發(fā)生在微米尺度。微損傷的聚集演變成裂紋，最后裂紋就可以擴(kuò)展成為在宏觀層面上可見(jiàn)的物體的斷裂。

下面給大家看看在能源、環(huán)境里的一個(gè)重要問(wèn)題：碳捕捉和碳封存。這相當(dāng)于把二氧化碳采用某種技術(shù)捕捉起來(lái)，再找一個(gè)安全的廢棄礦井把它封存起來(lái)，這里面有一個(gè)很重要的問(wèn)題，就是把二氧化碳直接排放到地下，會(huì)不會(huì)對(duì)地下水、土壤產(chǎn)生不良影響，這是個(gè)非常典型的多尺度問(wèn)題。在連續(xù)尺度，就是從10厘米到100米，我們會(huì)看到，二氧化碳的輸運(yùn)對(duì)地下多孔介質(zhì)性會(huì)產(chǎn)生重要影響，這個(gè)層次上主要是求解反應(yīng)輸運(yùn)方程。在下一個(gè)尺度，也就是所謂的孔隙尺度，這個(gè)尺度上它的模型就是Lattice Boltzmann模型。在更小的納米尺度，我們要研究二氧化碳與礦物質(zhì)的化學(xué)反應(yīng)，需要求解量子力學(xué)方程，這是屬于地球化學(xué)的范疇。在碳捕捉和碳封存這個(gè)問(wèn)題里面，多尺度、多物理特征異常明顯。此外數(shù)據(jù)的不確定性對(duì)于模型及求解方法也有很大的影響。

實(shí)際上我們可以看到在不同尺度上具有不同的物理模型，傳統(tǒng)的科學(xué)計(jì)算對(duì)單個(gè)尺度的模型發(fā)展了很多高效的求解方法，在宏觀尺度上，差分方法和有限元方法、間斷Galerkin方法以及譜方法都是非常通用的方法；在微觀尺度也有分子動(dòng)力學(xué)、Monte-Carlo模擬方法以及各種電子結(jié)構(gòu)計(jì)算方法。宏觀尺度上的方法，前面幾位老師講得比較多了，我下面談?wù)勔环N微觀模擬方法：分子動(dòng)力學(xué)方法。 分子動(dòng)力學(xué)方法看起來(lái)是求解一個(gè)大型非線性常微分方程組，但實(shí)際上它是一種用計(jì)算機(jī)來(lái)做實(shí)驗(yàn)的方法，就是用計(jì)算機(jī)來(lái)模擬粒子的真實(shí)運(yùn)動(dòng)軌跡。分子動(dòng)力學(xué)模擬必須要考慮溫度、壓力以及粒子數(shù)等因素的影響。下面講一個(gè)例子，這是去年4月公開(kāi)報(bào)道的一個(gè)大規(guī)模分子動(dòng)力學(xué)模擬實(shí)例，Los Alamos國(guó)家實(shí)驗(yàn)室的研究人員模擬了一個(gè)DNA的一個(gè)全基因序列，當(dāng)時(shí)用了10億個(gè)原子，轟動(dòng)一時(shí)。

下面講一個(gè)我們自己做過(guò)的分子動(dòng)力學(xué)模擬例子，這個(gè)例子只是想說(shuō)基于第一性原理的分子動(dòng)力學(xué)模擬（就是所謂的從頭計(jì)算）在某些時(shí)候是非常關(guān)鍵的。我們預(yù)測(cè)了石墨烯的理想強(qiáng)度，我們的預(yù)測(cè)比實(shí)驗(yàn)還要早一點(diǎn)。做這樣的模擬是非常昂貴的。 我們模擬用的計(jì)算機(jī)是科學(xué)與工程計(jì)算國(guó)家重點(diǎn)實(shí)驗(yàn)室的二號(hào)集群，當(dāng)時(shí)是能夠進(jìn)入世界前500強(qiáng)的機(jī)器。

前面講了針對(duì)單個(gè)尺度上模型的計(jì)算方法，你當(dāng)然可以把不同尺度的模型進(jìn)行耦合求解，這是我們通常所說(shuō)的多尺度耦合方法，這個(gè)方法原理上并不新，上個(gè)世紀(jì)70年代、80年代已經(jīng)涌現(xiàn)出來(lái)了這樣的方法，這些工作產(chǎn)生了重大的影響。比如Warshrel 和Levitt因?yàn)樗麄冊(cè)?975年提出的量子力學(xué)與分子動(dòng)力學(xué)耦合算法獲得了2014年的諾貝爾化學(xué)獎(jiǎng)。正如美國(guó)加州理工的Ortiz教授所說(shuō)，多尺度模型及模擬是一個(gè)一般性概念，它貫穿了科學(xué)技術(shù)乃至工程的全部領(lǐng)域，不同尺度的模型已經(jīng)非常清楚，剩下的就是一個(gè)計(jì)算問(wèn)題。下面這兩幅圖是多尺度耦合方法的基本示意圖，一個(gè)基于區(qū)域分裂，一個(gè)基于多重網(wǎng)格，這正好對(duì)應(yīng)多尺度耦合方法的兩種設(shè)計(jì)思路，而這兩個(gè)方法都是我們?cè)趥鹘y(tǒng)科學(xué)計(jì)算中非常經(jīng)典的算法。

現(xiàn)在談?wù)劧喑叨冉Ｅc計(jì)算的挑戰(zhàn)，一個(gè)挑戰(zhàn)就是前面說(shuō)的維數(shù)災(zāi)難。 Schrodinger方程是個(gè)非線性特征值問(wèn)題，這個(gè)方程維數(shù)非常高，難以求解。一個(gè)挑戰(zhàn)是分子動(dòng)力學(xué)的模擬時(shí)間問(wèn)題。一個(gè)典型的分子動(dòng)力學(xué)模擬在時(shí)間上是數(shù)百個(gè)納秒，但是一般我們感興趣的問(wèn)題發(fā)生的時(shí)間尺度都在秒這個(gè)量級(jí)，所以二者還有非常大的差距。另外一個(gè)很實(shí)際的問(wèn)題，比如極端條件下的多尺度模型問(wèn)題，在多尺度模擬中，我們?cè)趺幢３謽O端物理?xiàng)l件是非常困難的。另一個(gè)挑戰(zhàn)是前面我提到過(guò)的完全沒(méi)有尺度分離的問(wèn)題。

講完了挑戰(zhàn)，我們?cè)倏纯慈斯ぶ悄堋C(jī)器學(xué)習(xí)會(huì)給多尺度建模與計(jì)算帶來(lái)什么新思路。前面幾位老師已經(jīng)介紹了機(jī)器學(xué)習(xí)現(xiàn)在已經(jīng)有了非常成功的應(yīng)用實(shí)例了，但是背后的機(jī)理其實(shí)并不清楚，比較公認(rèn)的成功原因如Poggio所說(shuō)是如下幾個(gè)方面：靈活的網(wǎng)絡(luò)架構(gòu)和萬(wàn)有逼近性質(zhì)、強(qiáng)有力的隨機(jī)梯度法以及良好的泛化能力。多尺度模型、模擬基本都是基于物理定律，而機(jī)器學(xué)習(xí)基于數(shù)據(jù)，它們兩個(gè)是可以互補(bǔ)互助的。一方面，基于機(jī)器學(xué)習(xí)，可以高效地處理多尺度模擬產(chǎn)生的海量數(shù)據(jù)，從而可以進(jìn)行可預(yù)測(cè)模擬。另外一方面可以利用多尺度模型去優(yōu)化機(jī)器學(xué)習(xí)模型，后者往往是不適定的。這個(gè)非常關(guān)鍵的，當(dāng)然互補(bǔ)的東西還可以更多。

我們現(xiàn)在問(wèn)一問(wèn)反映分子間相互作用的勢(shì)函數(shù)為什么取這樣的形式？另外勢(shì)函數(shù)的參數(shù)是怎么來(lái)的。我們當(dāng)然可以從物理定律、定理分析得到得到部分信息。機(jī)器學(xué)習(xí)方法第一步是構(gòu)造對(duì)稱函數(shù)，這些對(duì)稱函數(shù)可以刻畫(huà)勢(shì)能函數(shù)的一些基本不變性。對(duì)稱函數(shù)里面包含大量的未知參數(shù)。然后利用一個(gè)典型的二次損失函數(shù)可以把對(duì)稱函數(shù)里面的未知參數(shù)“學(xué)習(xí)“出來(lái)，當(dāng)然需要大量可靠的數(shù)據(jù)，這些數(shù)據(jù)一方面可以從諸多現(xiàn)有的數(shù)據(jù)庫(kù)里面得到，另一方面，也可以做一個(gè)on-the-fly的電子結(jié)構(gòu)模擬來(lái)提供我們需要的數(shù)據(jù)。一般來(lái)說(shuō)，數(shù)據(jù)越多越精確，得到的勢(shì)能函數(shù)就越精確。

基于機(jī)器學(xué)習(xí)的勢(shì)函數(shù)，最早是Behler和Parrinello提出來(lái)的，之前也許有別的方法，但是目前公認(rèn)的就是這個(gè)工作。這方面已經(jīng)有很多工作，發(fā)展也非常快。對(duì)于沒(méi)有精確勢(shì)函數(shù)的材料，特別是一些新的復(fù)合材料，這個(gè)方法特別有效，大家如果有興趣的話可以看看最近這兩篇綜述論文。

最后總結(jié)一下，多尺度建模提供了一種建模精確化的途徑。多尺度建模主要基于物理定律。科學(xué)計(jì)算在單個(gè)尺度上的計(jì)算方法發(fā)揮了很大作用，而且為多尺度耦合算法的設(shè)計(jì)提供了概念性的東西。目前人工智能、深度學(xué)習(xí)對(duì)多尺度計(jì)算已經(jīng)提供了一些新的思路，有望破除這里面的瓶頸。謝謝大家。

主題分享四：《基于流形和偏微分方程的機(jī)器學(xué)習(xí)數(shù)學(xué)模型》——史作強(qiáng)

史作強(qiáng)清華大學(xué)數(shù)學(xué)科學(xué)系副教授

從事偏微分方程數(shù)值方法的研究，對(duì)于基于偏微分方程的機(jī)器學(xué)習(xí)的數(shù)學(xué)模型、理論和算法有深入的研究。在國(guó)內(nèi)外知名學(xué)術(shù)期刊發(fā)表文章40余篇，2019年入選北京智源人工智能研究院"智源學(xué)者"。

史作強(qiáng)：謝謝主持人的介紹，今天非常高興有這個(gè)機(jī)會(huì)給大家分享我們最近做的一點(diǎn)工作。今天的主題是AI+科學(xué)計(jì)算。前面三位老師做了非常精彩的分享。前面三位老師的分享中更多是關(guān)注于AI怎么樣來(lái)幫助我們更好地進(jìn)行科學(xué)計(jì)算。下面我的介紹中，我從另外一個(gè)角度，我們用科學(xué)計(jì)算的角度怎么幫助和理解AI就是機(jī)器學(xué)習(xí)里面的一些模型和方法。

這是我們的一個(gè)思路，是框架性的思路。首先我們發(fā)現(xiàn)很多數(shù)據(jù)，大家都知道很多數(shù)據(jù)都可以很方便地轉(zhuǎn)化成高維空間度的點(diǎn)云，如果是100×100的一幅圖像，可以看作是一萬(wàn)維空間中的一個(gè)點(diǎn)，有一堆這樣的圖像，（圖）這就是一個(gè)點(diǎn)云。一維信號(hào)可以很方便的轉(zhuǎn)化成這樣的點(diǎn)云。甚至文本，如果有一篇文章，我們從新華字典里挑選出五千個(gè)常用字，然后統(tǒng)計(jì)文章中每個(gè)字出現(xiàn)的頻率，然后把這篇文章轉(zhuǎn)化成五千維的向量，如果有很多這樣的文章，我們就可以轉(zhuǎn)化成五千維中間的一堆點(diǎn)。各種各樣不同的數(shù)據(jù)都可以轉(zhuǎn)化成這樣的高維空間中的點(diǎn)、高維空間中的點(diǎn)云。這里的維數(shù)非常高，相對(duì)傳統(tǒng)科學(xué)計(jì)算處理的維數(shù)，這個(gè)維數(shù)可以輕松到幾萬(wàn)、幾十萬(wàn)、上百萬(wàn)。現(xiàn)在我們老是說(shuō)海量數(shù)據(jù)，，在這樣的高維空間中，再大量的數(shù)據(jù)都是小數(shù)據(jù)。

比如維數(shù)是一百，我們?nèi)绻朐诿總€(gè)維數(shù)上只放兩個(gè)點(diǎn)，就需要2的100次方的點(diǎn)，這已經(jīng)是天文數(shù)字了。現(xiàn)在世界上所有計(jì)算機(jī)加起來(lái)也處理不了這么大量的數(shù)據(jù)。所以在前面尤其是李若老師的分享中特別強(qiáng)調(diào)數(shù)據(jù)的表象，表觀上看起來(lái)維數(shù)非常高，但實(shí)際上肯定是有某種低維結(jié)構(gòu)存在在里面的。數(shù)據(jù)實(shí)際的維數(shù)是比較低的。處理這種低維的結(jié)構(gòu)，在數(shù)學(xué)上有一個(gè)非常有力的工具就是流形。流形可以認(rèn)為是高維空間中的低維曲面，數(shù)學(xué)上把這個(gè)東西定義成用流形進(jìn)行描述和刻劃。我們可以假設(shè)這一堆點(diǎn)云在高維空間構(gòu)成了低維的流形，但是這個(gè)低維的流形結(jié)構(gòu)肯定是非常復(fù)雜的，我們也很難想象在很高維的空間中這個(gè)流形的結(jié)構(gòu)到底是什么樣的，也就是我們很難通過(guò)直接參數(shù)化的手段對(duì)這個(gè)流形結(jié)構(gòu)進(jìn)行刻劃。只能進(jìn)行間接的手段來(lái)幫助我們刻劃流形的結(jié)構(gòu)。我們想采用的手段是偏微分方程PDE作為一個(gè)工具，在流形上解，首先建立一個(gè)偏微分方程模型，然后求解這個(gè)模型，這個(gè)偏微分方程的解，反過(guò)來(lái)告訴我們這個(gè)流形是什么樣的結(jié)構(gòu)。利用偏微分方程研究這個(gè)流形也不是特別新的想法，實(shí)際上在純數(shù)學(xué)里面，在微分幾何的研究里面，這已經(jīng)被大家研究的非常多。但是在我們想處理的問(wèn)題里面，如果想把這個(gè)想法付諸實(shí)現(xiàn)就需要面臨兩個(gè)問(wèn)題。一個(gè)問(wèn)題是我們要用什么樣的PDE，我們用什么樣的偏微分方程比較適合我們要研究的這個(gè)問(wèn)題，這是數(shù)學(xué)建模的問(wèn)題。另一個(gè)問(wèn)題，假設(shè)這個(gè)偏微分方程已經(jīng)確定好了，我們需要怎么樣求解這個(gè)偏微分方程，我們現(xiàn)在面臨的這個(gè)偏微分方程構(gòu)建高維空間上的一堆點(diǎn)云上，我們需要在點(diǎn)云上離散這個(gè)偏微分方程，來(lái)求解它，我們就需要搞一些數(shù)字方法來(lái)達(dá)到這個(gè)目的。

下面看一些具體的例子。首先，我們用非常常見(jiàn)的一類偏微分方程對(duì)流形建模，我們發(fā)現(xiàn)拉普拉斯方程，我們?yōu)槭裁从美绽狗匠虒?duì)它進(jìn)行建模，是因?yàn)槲覀儼l(fā)現(xiàn)拉普拉斯方程對(duì)應(yīng)了流形的維數(shù)，我們?cè)跇O小化流形的維數(shù)。大家普遍認(rèn)為流形的維數(shù)應(yīng)該是比較低的，相對(duì)于嵌入的高維空間，數(shù)據(jù)真實(shí)所在的流形的維數(shù)應(yīng)該是比較低的。我們發(fā)現(xiàn)拉普拉斯方程對(duì)應(yīng)極小化流形維數(shù)，所以我們用拉普拉斯方程進(jìn)行建模。我們也發(fā)展一套方法，叫做就是PIM，在高維空間的點(diǎn)云上求解拉普拉斯方程，這個(gè)方法在一些問(wèn)題里取得了不錯(cuò)的效果。

再看另外一個(gè)例子，這是這兩年非常常用的一個(gè)網(wǎng)絡(luò)ResNet，這個(gè)網(wǎng)絡(luò)主要的特征是加入了shortcut。 ，從模型的結(jié)構(gòu)上來(lái)看，殘差網(wǎng)絡(luò)可以建模為對(duì)流方程。對(duì)于對(duì)流方程，沿著特征線進(jìn)行求解，用向前歐拉的方法離散它的特征線方程，就可以得到殘差網(wǎng)絡(luò)的結(jié)構(gòu)，反過(guò)來(lái)說(shuō)殘差網(wǎng)絡(luò)背后對(duì)應(yīng)了偏微分方程模型，就是對(duì)流方程的控制問(wèn)題。我們給定了一個(gè)對(duì)流方程的初值、終值，實(shí)際上我們想找速度場(chǎng)v，可以把初值變成我們想要的終值。對(duì)流方程，這樣一類的偏微分方程也可以用來(lái)處理機(jī)器學(xué)習(xí)里面的問(wèn)題。

我們還有沒(méi)有其他方程也可以做這樣的事情呢？我們考慮深度學(xué)習(xí)里大家非常關(guān)心的一個(gè)問(wèn)題，對(duì)抗樣本的問(wèn)題。深度學(xué)習(xí)網(wǎng)絡(luò)有非常好的效果，比如做分類問(wèn)題的時(shí)候，我們訓(xùn)練一個(gè)網(wǎng)絡(luò)，對(duì)這樣的圖片可以正確的分類，告訴我們這是一只熊貓，但是加一點(diǎn)小小的擾動(dòng)上去，對(duì)于人類來(lái)講這兩個(gè)圖片基本沒(méi)有區(qū)別，但是同樣的圖片給我們訓(xùn)練好的網(wǎng)絡(luò)再讓它識(shí)別，它會(huì)告訴你這是一個(gè)長(zhǎng)臂猿。這個(gè)神經(jīng)網(wǎng)絡(luò)穩(wěn)定性不是太好，輸入的一點(diǎn)小小的擾動(dòng)會(huì)造成輸出的很大變化。從偏微分方程角度理解這個(gè)現(xiàn)象，它對(duì)應(yīng)的是偏微分方程解的光滑性不是太好。對(duì)應(yīng)前面說(shuō)的對(duì)流方程，這也是可以理解的。對(duì)流方程刻劃的是，比如空氣的流動(dòng)、水的流動(dòng)這樣一個(gè)過(guò)程。大家日常經(jīng)驗(yàn)也知道，空氣流動(dòng)可以是非常復(fù)雜的。剛才明平兵老師的報(bào)告里有湍流的渦的結(jié)構(gòu)非常復(fù)雜，它的解可以是非常不光滑的。解不光滑就造成對(duì)應(yīng)網(wǎng)絡(luò)的穩(wěn)定性不太好。讓從偏微分方程理論告訴我們?nèi)绻由纤^的黏性項(xiàng)或者擴(kuò)散項(xiàng)可以讓解變的比較光滑，這個(gè)方程相應(yīng)就變成了對(duì)流擴(kuò)散方程。對(duì)流擴(kuò)散方程的解，從偏微分方程理論就告訴我們，這個(gè)解會(huì)比較光滑，我們就預(yù)期它的穩(wěn)定性就會(huì)比較好。但是現(xiàn)在在高維空間里，可以用隨機(jī)微分方程的方法來(lái)求解對(duì)流擴(kuò)散流程，求解以后發(fā)現(xiàn)確實(shí)它的穩(wěn)定性得到了改善。

偏微分方程對(duì)于模型壓縮也可以給我們一些思路。剛才是對(duì)流擴(kuò)散方程，我們所有想得到的參數(shù)都是在速度場(chǎng)里面，速度場(chǎng)是在高維空間的高維向量場(chǎng)，比如一萬(wàn)維的一萬(wàn)維向量場(chǎng)，那需要的參數(shù)數(shù)目是非常多的。如果我們能夠把高維的向量場(chǎng)壓縮成一個(gè)標(biāo)量場(chǎng)可以大大降低我們所需要的參數(shù)數(shù)目。這個(gè)思路是可以把對(duì)流擴(kuò)散方程變成Hamiton-Jacobi方程，我們想要計(jì)算的這個(gè)東西就變成了標(biāo)量場(chǎng)，通過(guò)比較少的參數(shù)就可以建模出標(biāo)量場(chǎng)。不太好的地方是Hamiton-Jacobi方程就變成了非線性方程，求解它的時(shí)候就比較困難，但是我們也有一些方法可以求解Hamiton-Jacobi方程。前面就是告訴大家我們不同的偏微分方程都可以幫助我們建立機(jī)器學(xué)習(xí)中的數(shù)學(xué)模型，比如拉普拉斯方程、對(duì)流方程、對(duì)流擴(kuò)散方程等等各種各樣的方程。

從理論上來(lái)講我們想回答這樣一個(gè)問(wèn)題，偏微分方程有無(wú)窮多種，如果一個(gè)一個(gè)的來(lái)試，我們永遠(yuǎn)試不完。理論上講我們希望知道我們能不能建立一套理論幫助我們推導(dǎo)確定偏微分方程，到底應(yīng)該用什么樣的偏微分方程建立數(shù)學(xué)模型。這也對(duì)應(yīng)了某種可解釋性。我們?cè)谖锢砘蛘咴诹W(xué)里有大量的偏微分方程模型，有很多偏微分方程模型也都是非常復(fù)雜的，比如Navier-Stokes方程（音）、麥克斯韋方程，很多的方程也是非常復(fù)雜，不能顯示的求解它。對(duì)于這類方程，基本認(rèn)為這類方程是可以理解的，雖然不能顯式的求解它但是可以理解它，是具有可解釋性的。很大一個(gè)原因是因?yàn)槟切┓匠淌怯梢恍┪锢矶赏瞥鰜?lái)的，比如萬(wàn)有引力、質(zhì)量守恒、能量守恒，這些物理定律我們認(rèn)為是可以理解的，自然而然由物理定律推出來(lái)的偏微分方程，我們也認(rèn)為是可以解釋的。在機(jī)器學(xué)習(xí)里面我們也想做類似的事情，我們希望從基本的假設(shè)出發(fā)，我們認(rèn)為合理的假設(shè)出發(fā)，用一些數(shù)學(xué)方法能夠推出來(lái)我們應(yīng)該用什么樣的偏微分方程。我們借助數(shù)學(xué)的工具能夠推出來(lái)我們應(yīng)該用這樣的，比如不變性的假設(shè)、穩(wěn)定性的假設(shè)，我們可以推出來(lái)我們用的這一類的二階的偏微分方程，如果有更多條件放進(jìn)去可以進(jìn)一步細(xì)化這個(gè)偏微分方程的樣子。

前面和大家分享我們用各種各樣的偏微分方程對(duì)數(shù)據(jù)流形進(jìn)行建模，然后相應(yīng)不同的偏微分方程也有不同的數(shù)學(xué)方法來(lái)來(lái)解。在這個(gè)框架里前兩步也是有很多事情可以做的。比如從這個(gè)點(diǎn)云到這個(gè)流形，如果大家學(xué)過(guò)微分流形的知識(shí)就知道，這個(gè)地方還有一個(gè)非常重要的東西我們剛才忽略了，就是所謂的度量。簡(jiǎn)單來(lái)講度量就是刻劃了點(diǎn)與點(diǎn)之間的關(guān)系，可以幫助點(diǎn)云整合成一個(gè)流形。到底應(yīng)該用什么樣的度量，我們可以通過(guò)一些方法學(xué)一些比較好的度量。第一步從數(shù)據(jù)到點(diǎn)云，怎么把數(shù)據(jù)更好地轉(zhuǎn)化成點(diǎn)云，我們可以借助于質(zhì)點(diǎn)學(xué)習(xí)，可以尋找更好方法把各類數(shù)據(jù)轉(zhuǎn)化成高維空間中的點(diǎn)云。我們希望建立這樣一個(gè)框架，前面的流形和后面的PDE是耦合在一起的。建立一個(gè)反饋網(wǎng)絡(luò)，流形給PDE提供了定義域，我們希望PDE的解可以反過(guò)來(lái)幫助我們更好地構(gòu)建這個(gè)流形。最終這個(gè)結(jié)構(gòu)有點(diǎn)像大家熟知的DNA的雙鏈的結(jié)構(gòu)，一個(gè)鏈?zhǔn)橇餍危粋€(gè)鏈?zhǔn)荘DE，這兩個(gè)糾纏在一起共同演化。DNN深度學(xué)習(xí)和DNA只差一個(gè)字母，這可能也不是一個(gè)巧合。

我今天的分享就到這里，謝謝大家。

討論環(huán)節(jié)

嘉賓介紹

孫緯武聯(lián)科集團(tuán)創(chuàng)辦人兼首席執(zhí)行官，美國(guó)華盛頓大學(xué)終身教授，香港中文大學(xué)榮譽(yù)教授

孫緯武博士，自美國(guó)加州理工學(xué)院博士畢業(yè)后，在海外投身教學(xué)科研二十余載，現(xiàn)為美國(guó)華盛頓大學(xué)理論物理學(xué)終身教授及香港中文大學(xué)榮譽(yù)教授。 2000年創(chuàng)辦聯(lián)科集團(tuán)，任首席執(zhí)行官至今。孫博士在計(jì)算技術(shù)領(lǐng)域有超過(guò)30年經(jīng)驗(yàn)。從90年代開(kāi)始，領(lǐng)導(dǎo)多個(gè)跨國(guó)超級(jí)計(jì)算項(xiàng)目，研究相對(duì)論天體物理學(xué)。在孫博士的領(lǐng)導(dǎo)下，聯(lián)科集團(tuán)迄今已為數(shù)百家國(guó)家級(jí)機(jī)構(gòu)及公司提供高性能計(jì)算、大數(shù)據(jù)基礎(chǔ)設(shè)施和分析、以及人工智能解決方案。

熊濤未來(lái)論壇青創(chuàng)聯(lián)盟成員，廈門大學(xué)數(shù)學(xué)學(xué)院教授

熊濤，廈門大學(xué)數(shù)學(xué)科學(xué)學(xué)院教授，博士生導(dǎo)師，主要從事計(jì)算流體力學(xué)和動(dòng)理學(xué)方程高精度數(shù)值方法的研究。2007年和2012年本科和博士畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)。2015年入職廈門大學(xué)。獲歐盟2015年度瑪麗居里學(xué)者，2016年至2018年在法國(guó)圖盧茲第三大學(xué)從事訪問(wèn)合作研究。

董彬：非常感謝史老師的分享，四位嘉賓分別從機(jī)器學(xué)習(xí)、科學(xué)計(jì)算、人工智能、超級(jí)計(jì)算的角度進(jìn)行了分享。下面進(jìn)入主題討論環(huán)節(jié)，在這里首先簡(jiǎn)要介紹一下參與討論的兩位嘉賓：一位是孫緯武老師，孫老師是聯(lián)科集團(tuán)創(chuàng)辦人兼首席執(zhí)行官、美國(guó)華盛頓大學(xué)終身教授、香港中文大學(xué)的榮譽(yù)教授；另外一位嘉賓是未來(lái)論壇青創(chuàng)聯(lián)盟成員、廈門大學(xué)數(shù)學(xué)學(xué)院教授熊濤老師。首先有請(qǐng)孫緯武老師給我們作一個(gè)分享，也是對(duì)我們這次主題的一個(gè)見(jiàn)解。

孫緯武：剛才主持人說(shuō)我是一位老師，也是一位業(yè)界人士，我現(xiàn)在先簡(jiǎn)單介紹我的工作。

我的教研工作，幾十年來(lái)就是解愛(ài)因斯坦場(chǎng)方程，這是一條看上去非常簡(jiǎn)單的偏微分方程，卻是自然界給我們最復(fù)雜的一套偏微分方程，我做的就是這套方程的數(shù)字解。

現(xiàn)在從這張圖上看到，這套方程，用有限差分的算法做模擬，得出兩個(gè)中子星的雙星系統(tǒng)，碰撞生成一個(gè)黑洞，這樣一個(gè)愛(ài)因斯坦場(chǎng)方程的數(shù)字解，可以模擬出兩個(gè)中子星對(duì)撞放出來(lái)的引力波。大家知道兩年前我們觀察到引力波，從觀察引力波到理解背后的天文現(xiàn)象，倚靠的就是這樣的數(shù)字計(jì)算，數(shù)字解。

兩年前給引力波的發(fā)現(xiàn)頒發(fā)諾貝爾獎(jiǎng)，大家看到照片上我手上拿的是貨真價(jià)實(shí)的諾貝爾獎(jiǎng)，頒發(fā)給引力波發(fā)現(xiàn)者的，只是這個(gè)獎(jiǎng)不是發(fā)給我的，是發(fā)給我的博士導(dǎo)師Kip Thorne 的，沾他的光，拿這個(gè)獎(jiǎng)拍個(gè)照。這件事情想說(shuō)明的是什么？就是說(shuō)大數(shù)據(jù)、AI加上高性能計(jì)算，帶來(lái)的是一個(gè)基礎(chǔ)科學(xué)的突破，這是我所知道的最鮮明的例子，這就是我教研工作的介紹。

對(duì)于業(yè)界角色。我在2000年成立聯(lián)科集團(tuán)，所做的事情就是把高性能計(jì)算與大數(shù)據(jù)、AI連接起來(lái)為各個(gè)行業(yè)提供服務(wù)。我們的服務(wù)領(lǐng)域包括金融工程、商業(yè)智能、環(huán)境科技、智慧城市、互聯(lián)網(wǎng)應(yīng)用、教育與培訓(xùn)，每個(gè)方向都有很多很有趣的服務(wù)與案例，我們的客戶是包括了幾百所國(guó)際級(jí)、國(guó)家級(jí)機(jī)構(gòu)。我們做的事情從預(yù)測(cè)明天股票期權(quán)的上落，到預(yù)測(cè)你所在的城市明天的空氣污染，這些事情都是我們每天用高性能計(jì)算與AI一起解決的問(wèn)題。

我們今天的主題就是聯(lián)科20年來(lái)努力的方向, 有清晰的現(xiàn)實(shí)價(jià)值，而且就在我們身邊每天都在發(fā)生，是我們每天都在使用、都在努力的方向。我就介紹到這里。下面的討論，我希望更多用業(yè)界的角色和各位老師討論。

董彬：下面請(qǐng)廈門大學(xué)的熊濤老師分享，談?wù)剬?duì)今天這個(gè)主題的看法。

熊濤：首先非常感謝未來(lái)論壇的邀請(qǐng)，有機(jī)會(huì)參與這個(gè)活動(dòng)。我來(lái)自廈門大學(xué)數(shù)學(xué)科學(xué)學(xué)院，我的專業(yè)就是計(jì)算數(shù)學(xué)。我的研究方向主要是關(guān)于計(jì)算流體力學(xué)，動(dòng)理學(xué)方程的高精度數(shù)值方法。動(dòng)理學(xué)方程剛才在李若老師和明平兵老師的報(bào)告中都提到了。我的研究興趣、研究?jī)?nèi)容分以下幾個(gè)方面，第一個(gè)是雙曲守恒系統(tǒng)，計(jì)算流體力學(xué)和動(dòng)理學(xué)方程都可以說(shuō)是雙曲系統(tǒng)，我主要關(guān)心它們的高精度的保界算法，比如最大值原理的保界算法、保物理量正性的算法、保能量穩(wěn)定和守恒的算法，動(dòng)理學(xué)方程的時(shí)空一致穩(wěn)定性算法，比如顯式和隱式結(jié)合的高精度漸近保持算法。第三類是關(guān)于守恒型的有限差分半拉格朗日方法，這個(gè)方法主要是介于拉格朗日和歐拉方法中間的方法。我的主要研究是關(guān)于高精度算法，這里簡(jiǎn)單介紹一下高精度算法，為什么研究高精度算法，它有什么好處。

我主要說(shuō)兩個(gè)。第一，它是高效的算法。相對(duì)低精度算法而言，因?yàn)橛懈斓木W(wǎng)格收斂速度。這里的公式對(duì)于高精度算法而言在空間和時(shí)間上的收斂速度，比如p和q次，相比一階算法而言，收斂速度要快得多。（圖）CPU時(shí)間和誤差，對(duì)不同精度算法的比較圖。我們有三條斜線代表一階、二階、三階算法，有一條豎線代表同樣CPU時(shí)間下(CPU時(shí)間和網(wǎng)格尺寸和時(shí)間步長(zhǎng)有關(guān)系)，相同CPU時(shí)間下高精度算法達(dá)到的誤差明顯比一階、二階算法小的多。從另外一個(gè)方面講，如果想達(dá)到同樣的誤差水平，可以看到高精度算法的CPU時(shí)間要小得多。

第二個(gè)是高精度算法的高分辨率。高分辨率對(duì)解的表達(dá)能力好得多。這里比較了二階算法和三階算法。二階算法，如果算這樣一個(gè)問(wèn)題算到后面基本上看不清楚了，但是采用三階算法明顯好得多。通常來(lái)說(shuō)從二階到三階是有本質(zhì)變化的。

這是高精度算法的優(yōu)勢(shì)，但要發(fā)展高精度算法也有一些核心問(wèn)題，主要是魯棒性問(wèn)題，包括算法的穩(wěn)定性、健壯性和高效性，這和設(shè)計(jì)保結(jié)構(gòu)算法、保能量算法非常相關(guān)，這里舉一個(gè)例子，模擬物理上的沖擊波，一個(gè)波從原點(diǎn)往外傳播的過(guò)程，波在藍(lán)色區(qū)域密度非常接近于零，如果沒(méi)有保物理特性密度為正，這個(gè)算法一般是算不過(guò)去的。另外一方面在波前，如果不采用高精度算法是很難捕捉到這個(gè)比較尖銳的波前的峰值的。

我的介紹就到這里，謝謝大家。

問(wèn)題一：怎么用機(jī)器學(xué)習(xí)來(lái)解決科學(xué)計(jì)算，同樣怎么用科學(xué)計(jì)算來(lái)解決機(jī)器學(xué)習(xí)的問(wèn)題，評(píng)價(jià)標(biāo)準(zhǔn)又是怎么樣，兩個(gè)評(píng)價(jià)體系不一樣，關(guān)心的問(wèn)題有相通之處，做交叉的時(shí)候有什么要注意的？

李若：我個(gè)人對(duì)AI方面是不大懂的，幾乎所有的知識(shí)都是各位教給我的。首先就像問(wèn)題里面說(shuō)的，大家現(xiàn)在顯然對(duì)機(jī)器學(xué)習(xí)是有一定的懷疑，我想懷疑的主要可能是認(rèn)為它的可靠性，它在驗(yàn)證中在事實(shí)中是如此可靠，但是我們數(shù)學(xué)上從理論上什么都給不出。我現(xiàn)在想介紹的是關(guān)于做模型優(yōu)化的這個(gè)思路，主要的目標(biāo)也是希望說(shuō)我們到底把科學(xué)計(jì)算的目標(biāo)定在哪兒？過(guò)去我們教科書(shū)上解的每一個(gè)問(wèn)題都是希望解所有問(wèn)題。但是真的面對(duì)科學(xué)問(wèn)題，我們大可不必把自己的目標(biāo)定在解決形式上的我們所寫(xiě)出來(lái)的那個(gè)問(wèn)題的所有問(wèn)題，我們哪怕寫(xiě)了一個(gè)1023維的薛定諤方程，但是事實(shí)上我們真正關(guān)心的還是現(xiàn)實(shí)的世界，我們所制造的藥物分子，它的電子到底是怎么分布的。所以我們面對(duì)這樣一個(gè)特殊的實(shí)際，然后去尋找解，本身真正就有低維的結(jié)構(gòu)，并且把這種結(jié)構(gòu)融合到我們內(nèi)心里認(rèn)為非常可靠的科學(xué)的模型上，有可能使得我們下一步的計(jì)算看到新的機(jī)會(huì)。

史作強(qiáng)：這個(gè)問(wèn)題對(duì)我來(lái)講有點(diǎn)大，因?yàn)榭茖W(xué)計(jì)算也是非常大的領(lǐng)域，有各種不同的問(wèn)題，我個(gè)人稍微了解一點(diǎn)的就是某些具體的偏微分方程的數(shù)值的方法，怎么樣用PDE來(lái)幫助我們理解這個(gè)偏微分方程。如果大的角度來(lái)講，想從做科學(xué)計(jì)算的這些研究人員想做一些機(jī)器學(xué)習(xí)的問(wèn)題，最重要的就是一個(gè)轉(zhuǎn)化的過(guò)程，我們需要把機(jī)器學(xué)習(xí)里面的那些問(wèn)題用我們熟悉的科學(xué)計(jì)算的語(yǔ)言或者這樣的數(shù)學(xué)工具，把機(jī)器學(xué)習(xí)的問(wèn)題轉(zhuǎn)化成我們熟悉的這些東西，這個(gè)是我個(gè)人覺(jué)得非常重要的一步。只有這個(gè)轉(zhuǎn)化了之后，才能用我們科學(xué)計(jì)算的這些人比較熟悉的工具來(lái)研究那樣的問(wèn)題，這對(duì)我們來(lái)講我覺(jué)得是最重要的一步，如果完成這個(gè)轉(zhuǎn)化之后，后面的事情對(duì)我們來(lái)講就比較好辦了。如果變成了我們熟悉的科學(xué)計(jì)算問(wèn)題，我們可以利用各種各樣我們熟悉的東西來(lái)處理它。

剛才我看到主題里還有一個(gè)是什么問(wèn)題是最好的？我覺(jué)得這個(gè)問(wèn)題就因人而異了。一般來(lái)講你能夠轉(zhuǎn)化成你熟悉的問(wèn)題對(duì)你來(lái)說(shuō)就是最好的問(wèn)題，大家背景不一樣，每個(gè)人熟悉的領(lǐng)域不一樣，同樣一個(gè)機(jī)器學(xué)習(xí)里的問(wèn)題，不同人看它的角度是不一樣的，只要你能夠把那個(gè)問(wèn)題轉(zhuǎn)化成你所熟悉的問(wèn)題，那這個(gè)問(wèn)題對(duì)你來(lái)講就是一個(gè)好問(wèn)題。所以“最好的問(wèn)題”這不太好說(shuō)。

我個(gè)人體會(huì)到什么樣的問(wèn)題不太適合我們來(lái)做，這可能有一個(gè)標(biāo)準(zhǔn)，我個(gè)人覺(jué)得這個(gè)標(biāo)準(zhǔn)是機(jī)器學(xué)習(xí)里做的比較好的問(wèn)題不太適合我們科學(xué)計(jì)算的人再去做了。比如舉個(gè)例子，神經(jīng)網(wǎng)絡(luò)如果我們就追求精度，比如在各種數(shù)據(jù)集上刷精度，我覺(jué)得這不太適合我們這樣的人去做，我們肯定拼不過(guò)專門做機(jī)器學(xué)習(xí)的人。反過(guò)來(lái)講，比如說(shuō)神經(jīng)網(wǎng)絡(luò)的魯棒性或者所謂的數(shù)據(jù)隱私這方面的問(wèn)題，我個(gè)人感覺(jué)比較適合我們做科學(xué)計(jì)算的切入角度，比如模型的壓縮。這就是我個(gè)人的一些體會(huì)。

明平兵：機(jī)器學(xué)習(xí)解決科學(xué)計(jì)算問(wèn)題做到何種程度是最好的，這個(gè)很難回答，但是能解決以前工具不能解決的問(wèn)題的工作我認(rèn)為就是好工作。比如德國(guó)Ruhr-Bochum大學(xué)的J. Behler的一個(gè)工作，大概是2016/2017年，他們研究水的特性，在他們研究的那個(gè)問(wèn)題中，沒(méi)有可用的經(jīng)驗(yàn)勢(shì)函數(shù)。然而，Ab-initio的模擬又太昂貴了。他們用機(jī)器學(xué)習(xí)得到了一個(gè)勢(shì)函數(shù)，然后通過(guò)MD模擬揭示了水分子的某種新奇特性。

孫緯武：剛剛幾位老師分享的以及討論, 比較聚焦在用人工智能技術(shù)如何幫助科學(xué)計(jì)算，或者用科學(xué)計(jì)算的手段如何解決人工智能問(wèn)題，都是非常有趣的思路和方向。我想說(shuō)一說(shuō)我在業(yè)界里面見(jiàn)到的，我們面對(duì)現(xiàn)實(shí)世界的問(wèn)題。我們經(jīng)常發(fā)現(xiàn)要把這兩個(gè)手段, 人工智能/大數(shù)據(jù)以及科學(xué)計(jì)算/高性能計(jì)算的手段, 疊加起來(lái)才能解決真實(shí)世界里面的問(wèn)題。這個(gè)疊加的需要幾乎是我們提供過(guò)解決方案的客戶里面都有看到。必須把兩種手段能夠有效地整合起來(lái)才能夠得到真實(shí)世界問(wèn)題的解決的方案。

舉個(gè)例子，剛剛說(shuō)到預(yù)測(cè)股票的升降、預(yù)測(cè)美金對(duì)日元下一秒鐘是升還是降，像這樣的問(wèn)題我們一方面需要人工智能技術(shù)，還需要大數(shù)據(jù)技術(shù)，因?yàn)橐芏虝r(shí)間處理大量數(shù)據(jù)，這些都需要數(shù)據(jù)技術(shù)、高性能計(jì)算的技術(shù)，把這些技術(shù)整合, 還要和客戶的系統(tǒng)配合起來(lái)才能解決真實(shí)的問(wèn)題。剛才說(shuō)到金融的計(jì)算、污染的計(jì)算，天氣的數(shù)據(jù)，衛(wèi)星觀測(cè)的數(shù)據(jù)都要有效儲(chǔ)存/調(diào)動(dòng)/排查/整合，然后才能通過(guò)計(jì)算手段來(lái)解偏微分方程, 才能夠預(yù)測(cè)明天的天氣、污染等等，中間牽涉多方面的技術(shù)。很多我們的日常工作，比如我們目前正在解決的一個(gè)客戶問(wèn)題是, 證監(jiān)會(huì)有大量股票交易的數(shù)據(jù)…P級(jí)的數(shù)據(jù)量，現(xiàn)在要查有沒(méi)有人買賣股票的時(shí)候作弊。這中間就要有大數(shù)據(jù)的需求、人工智能的分析、文本挖掘的分、圖像的分析、數(shù)據(jù)挖掘的分析，高性能計(jì)算的需求，軟件的需要等等，這些都要整合起來(lái)才能真實(shí)的解決世界上的問(wèn)題。所以我看到的不是一個(gè)為另一個(gè)服務(wù)，而是二者要加在一起的時(shí)候是最多的，也是我們從事這個(gè)方向的最大的挑戰(zhàn)。

問(wèn)題二：不管是科學(xué)計(jì)算還是機(jī)器學(xué)習(xí)，目的是為了解決實(shí)際的問(wèn)題，來(lái)自于各種各樣方面的實(shí)際問(wèn)題，只不過(guò)選擇的手段不一樣。科學(xué)計(jì)算多數(shù)基于動(dòng)力學(xué)、方程、原理、機(jī)理去計(jì)算；但機(jī)器學(xué)習(xí)，特別是現(xiàn)在的深度學(xué)習(xí)，大數(shù)據(jù)下的深度學(xué)習(xí)和AI基于的是數(shù)據(jù)，原本我想討論的就是怎么能夠甄別你問(wèn)題里面科學(xué)計(jì)算到底什么時(shí)候適合機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)里面有些東西是不是可以不用去學(xué)習(xí)，可以基于一些原理來(lái)做，最終目標(biāo)為了能夠更好地解決實(shí)際問(wèn)題。我覺(jué)得現(xiàn)在大家可以討論一下我們?nèi)绾伟芽茖W(xué)計(jì)算的手段和機(jī)器學(xué)習(xí)的手段能夠結(jié)合，能夠更好地解決比較實(shí)際的問(wèn)題。各位嘉賓老師可以從比較綜合的層面談一談自己的看法，也可以拿一兩個(gè)具體的例子講一下。

熊濤：剛才幾位主講老師在報(bào)告中也提到了，我覺(jué)得科學(xué)計(jì)算前面實(shí)際上還有一個(gè)很重要的就是數(shù)學(xué)建模的過(guò)程。從我來(lái)看，傳統(tǒng)的科學(xué)計(jì)算，數(shù)學(xué)建模和計(jì)算這兩個(gè)還比較獨(dú)立的東西，但現(xiàn)在因?yàn)槲覀冄芯康膯?wèn)題越來(lái)越復(fù)雜，所以建模和計(jì)算也逐漸地融到一起，這兩個(gè)不是那么獨(dú)立了。建模一方面可以基于物理規(guī)律，另一方面比如說(shuō)社會(huì)模型，像剛才孫老師提到的股票這些東西，這些東西沒(méi)有一個(gè)物理的機(jī)理，可能時(shí)候在數(shù)學(xué)建模過(guò)程中采用一些實(shí)驗(yàn)或者個(gè)人經(jīng)驗(yàn)的數(shù)據(jù)，但個(gè)人經(jīng)驗(yàn)或者通過(guò)做實(shí)驗(yàn)得到的畢竟是在特定場(chǎng)景，它的適用范圍可能沒(méi)有那么廣。所以這部分依據(jù)經(jīng)驗(yàn)和特定場(chǎng)景下總結(jié)出來(lái)的規(guī)律，這部分可以將人工智能、機(jī)器學(xué)習(xí)和科學(xué)計(jì)算結(jié)合到一起來(lái)。

董彬：我自己做的研究也是希望機(jī)器學(xué)習(xí)和科學(xué)計(jì)算能夠搭橋，具體怎么搭橋呢？現(xiàn)在在做模型設(shè)計(jì)、算法設(shè)計(jì)的時(shí)候，其實(shí)模型算法的主體結(jié)構(gòu)大體上是確定的了，比如你研究一個(gè)flow的建模，它的主體可能由某種方程組成的，比如我們做圖像處理，可以設(shè)計(jì)一些PDE，也可以設(shè)計(jì)一些優(yōu)化模型。這些模型雖然對(duì)某個(gè)具體例子不是最優(yōu)的，但總體來(lái)講也都不差。所以在主體結(jié)構(gòu)方面就不用搞黑盒子的神經(jīng)網(wǎng)絡(luò)去學(xué)了，如果去學(xué)也未必能學(xué)到我們?cè)瓉?lái)設(shè)計(jì)的那么好。那么哪些環(huán)節(jié)需要引入神經(jīng)網(wǎng)絡(luò)？我覺(jué)得就是那些之前說(shuō)不清除的地方，比如以前我們做建模的可能只能忍受手動(dòng)調(diào)節(jié)一到三個(gè)超參數(shù)，超參數(shù)少我們還可以通過(guò)不停的觀察我的數(shù)值結(jié)果手動(dòng)來(lái)調(diào)，如果超參數(shù)真的很多，是沒(méi)有辦法人工去調(diào)的。但要有些時(shí)候，想得到更優(yōu)的結(jié)果，我們需要引入更多的超參數(shù)，那么多的超參數(shù)怎么去調(diào)？現(xiàn)在有很多機(jī)器學(xué)習(xí)的方法可以自動(dòng)的去調(diào)這些超參數(shù)。另外，我們?cè)谧鼋５臅r(shí)候，有些時(shí)候大概知道主體方程肯定含有某些項(xiàng)，但還有一些非常微妙的項(xiàng)，大家眾說(shuō)紛紜，你不確定這些微妙的項(xiàng)應(yīng)該怎么去建模。但是，如果我們可以做大量數(shù)值模擬，得到大量的數(shù)據(jù)，我們可以基于這些數(shù)據(jù)，用神經(jīng)網(wǎng)絡(luò)做一個(gè)擬設(shè)，把它嵌入到你的大模型里面，基于數(shù)據(jù)去把那些微妙的環(huán)節(jié)確定下來(lái)。我現(xiàn)在信奉一個(gè)套路，就是你的方法里有哪些原理是你比較清楚的，清楚的就不要去學(xué)了，那些基于經(jīng)驗(yàn)的，基于直覺(jué)，憑手感、靠運(yùn)氣的地方可以用機(jī)器學(xué)習(xí)做建模，然后兩個(gè)揉在一起，再根據(jù)你的問(wèn)題本身的性質(zhì)可以去選擇是用機(jī)器學(xué)習(xí)的哪些方法訓(xùn)練這些環(huán)節(jié)，所以這是我們做搭橋、做融合的套路。

李若：基于數(shù)據(jù)做的所有事兒，目標(biāo)就是為了構(gòu)建那個(gè)解空間的結(jié)構(gòu)。我們做的每一次實(shí)驗(yàn)，做的每一次模擬拿到的那些數(shù)據(jù)，其實(shí)都是在為那個(gè)解空間做一次觀察。每做一次觀察以后，你就會(huì)把你對(duì)解空間的觀察做的更加稍微清晰一點(diǎn)，我們根據(jù)正確的一般性原理到小的解空間去解。

董彬：基于數(shù)據(jù)做微小調(diào)整。

李若：不一定是小調(diào)節(jié)。原則上來(lái)說(shuō)，你把薛定諤方程簡(jiǎn)化了，那你可以去學(xué)勢(shì)函數(shù)，那可不是一個(gè)小調(diào)節(jié)。

楊超：我從應(yīng)用角度補(bǔ)充一個(gè)應(yīng)用案例。實(shí)際應(yīng)用中還有一個(gè)很現(xiàn)實(shí)的情況是很多應(yīng)用領(lǐng)域有實(shí)時(shí)性的要求，比如短臨天氣預(yù)報(bào)，我們要預(yù)測(cè)1-4小時(shí)后的天氣，以便及時(shí)應(yīng)對(duì)天氣的極端變化給生產(chǎn)生活帶來(lái)的影響。從實(shí)時(shí)性角度來(lái)說(shuō)，這樣的問(wèn)題傳統(tǒng)科學(xué)計(jì)算手段處理起來(lái)難度較大，因?yàn)榭茖W(xué)計(jì)算無(wú)論如何還是要解方程，很難在極短時(shí)間內(nèi)完成模擬。機(jī)器學(xué)習(xí)有一個(gè)特點(diǎn)是先訓(xùn)練再預(yù)測(cè)，訓(xùn)練過(guò)程可能開(kāi)銷很大，但它預(yù)測(cè)的過(guò)程往往極快，往往比科學(xué)計(jì)算領(lǐng)域的方法快得多，所以這時(shí)候用機(jī)器學(xué)習(xí)的技術(shù)，可能能夠?qū)崒?shí)在在解決一些實(shí)時(shí)性要求比較高的問(wèn)題。

董彬：以前我們做計(jì)算的問(wèn)題，設(shè)計(jì)的方法是比較普適的，但是實(shí)際問(wèn)題中我們需要反復(fù)解的問(wèn)題非常具體，有很強(qiáng)的低維結(jié)構(gòu)，有時(shí)候不如搞一個(gè)神經(jīng)網(wǎng)絡(luò)就把這個(gè)任務(wù)做的又快又好。雖然這些神經(jīng)網(wǎng)絡(luò)可能不能像傳統(tǒng)計(jì)算方法那樣泛化到別的問(wèn)題，但從解決實(shí)際問(wèn)題角度來(lái)講這個(gè)就夠了。有些時(shí)候，主流科學(xué)計(jì)算希望能設(shè)計(jì)包打天下的算法，現(xiàn)在我們希望針對(duì)具體問(wèn)題把性能推到極致，我覺(jué)得要能達(dá)到這個(gè)目的，我們做科學(xué)計(jì)算可以借鑒機(jī)器學(xué)習(xí)領(lǐng)域的經(jīng)驗(yàn)和技術(shù)。

問(wèn)題三：下面的議題是從產(chǎn)業(yè)界角度，高性能計(jì)算與人工智能計(jì)算融合有什么應(yīng)用路徑和價(jià)值？

孫緯武：現(xiàn)實(shí)世界里出現(xiàn)的、我們需要去解決的問(wèn)題, 正如我剛才強(qiáng)調(diào)的，一般都是大數(shù)據(jù)/人工智能與科學(xué)計(jì)算兩方面都同時(shí)需要的。與科研不相同, 我們不能選擇問(wèn)題，而是問(wèn)題已經(jīng)擺在那里了，我們要的是要整合出一個(gè)最有效的解決方案, 把現(xiàn)實(shí)世界的問(wèn)題解決掉。實(shí)際上需要融合的不僅是人工智能、大數(shù)據(jù)與科學(xué)計(jì)算等科技，還包括軟件、訊息儲(chǔ)存/調(diào)動(dòng)/排查/傳遞、可視化等等技術(shù)，除了技術(shù)之外, 還要有對(duì)現(xiàn)實(shí)世界問(wèn)題的理解(把文字題變?yōu)樗闶?、對(duì)客戶需要的理解等軟能力, 也包括工程能力: 你要解決客戶的問(wèn)題，就需要把你的解決方案與客戶現(xiàn)有的系統(tǒng)融合的工程能力，這些科技和工程能力都要配成一套，然后才能解決真實(shí)世界里出現(xiàn)的問(wèn)題。真實(shí)問(wèn)題的困難經(jīng)常不在于純粹科技因素，而是在于真實(shí)的問(wèn)題常常牽涉的很多方面，這些方面的集成才是最大的挑戰(zhàn)。

董彬：我們聽(tīng)眾中不少的學(xué)生，對(duì)于機(jī)器學(xué)習(xí)+AI+科學(xué)計(jì)算的學(xué)生培養(yǎng)，有什么可以給學(xué)生的建議。我這里拋磚引玉一下，我接觸深度學(xué)習(xí)、機(jī)器學(xué)習(xí)大概2016年底，那時(shí)候跳進(jìn)這個(gè)坑，至今樂(lè)此不疲，那時(shí)候我也是和學(xué)生一起在學(xué)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)，有一些經(jīng)驗(yàn)也有一些教訓(xùn)。我整體覺(jué)得對(duì)于學(xué)生來(lái)講，特別是做計(jì)算數(shù)學(xué)或者做應(yīng)用數(shù)學(xué)的學(xué)生，很多時(shí)候可能要釋放一下思想，有些時(shí)候要勇敢一點(diǎn)，不要對(duì)嚴(yán)謹(jǐn)性有過(guò)度的執(zhí)著。我覺(jué)得我們受數(shù)學(xué)訓(xùn)練出來(lái)的人，都對(duì)嚴(yán)謹(jǐn)性有著不同程度的執(zhí)念，這是學(xué)科特點(diǎn)，這種執(zhí)念既是我們的優(yōu)勢(shì)，有時(shí)也會(huì)是一個(gè)包袱。一般我們有一些想法，一定要能用嚴(yán)謹(jǐn)?shù)倪壿嬐瞥鰜?lái)，證明了，然后才敢去做數(shù)值實(shí)驗(yàn)。但是，很多時(shí)候你推不出來(lái)，并不代表它真的推不出來(lái)，不能被證明，可能是你的假設(shè)過(guò)于嚴(yán)格，定理的設(shè)定不夠合理。所以，我給想去接觸機(jī)器學(xué)習(xí)的數(shù)學(xué)專業(yè)的學(xué)生一個(gè)建議是一定要大膽做嘗試，去學(xué)習(xí)一些機(jī)器學(xué)習(xí)里面經(jīng)常用到的一些你看起來(lái)覺(jué)得好像沒(méi)有什么道理的Trick。我比較信奉的一個(gè)觀點(diǎn)，就是說(shuō)“如果某個(gè)方法數(shù)值上有非常好的性能、能得到非常好的數(shù)值效果，背后一定有它的道理”，如果你發(fā)現(xiàn)了一些Work非常好的東西，再回來(lái)去分析它，用數(shù)學(xué)嚴(yán)格的論證。我覺(jué)得如果剛?cè)胧謾C(jī)器學(xué)習(xí)的話，首先要把機(jī)器學(xué)習(xí)的基礎(chǔ)學(xué)好了，可以看看MIT Press的那本Foundations of Machine Learning，要知道機(jī)器學(xué)習(xí)的問(wèn)題是怎么描述的，它關(guān)注的問(wèn)題都是哪些，一些基本的概念到底是什么，時(shí)刻想著這些概念和你學(xué)的數(shù)值分析、函數(shù)逼近、PDE之間到底有什么聯(lián)系。當(dāng)你能夠把這些概念聯(lián)系到你所學(xué)的科學(xué)計(jì)算的知識(shí)的時(shí)候，你不僅對(duì)這些概念的理解會(huì)更加深刻，甚至還能有科研上的一些新想法。

孫緯武：對(duì)于培養(yǎng)學(xué)生我從兩個(gè)角度講一講。一個(gè)角度是學(xué)生該怎么學(xué)？首先學(xué)生要判斷: 我自己想要走科研的路, 還是想要掌握本領(lǐng)來(lái)跳進(jìn)真實(shí)世界，在業(yè)界發(fā)展。兩條路都是非常有意義的。但是在學(xué)習(xí)的時(shí)候要注意的重點(diǎn)是有不同的。如果是作為科研人員，以科研作為目標(biāo)的，把問(wèn)題、把學(xué)習(xí)從深入的方向去走是首要的; 當(dāng)然也需要有相當(dāng)?shù)钠毡榈恼J(rèn)識(shí)，然后才可以對(duì)大局有了解, 才能找到好的研究題目，但是首要還是要深入鉆研。如果想走的路是要解決真實(shí)世界的問(wèn)題，從業(yè)界做出貢獻(xiàn)的話，我認(rèn)為廣比深更重要。原因其實(shí)我剛才已經(jīng)說(shuō)過(guò), 真實(shí)世界的問(wèn)題常常牽涉很多方面，這些方面的集成才是最大的挑戰(zhàn), 你要和有其他專長(zhǎng)的同事一起合作來(lái)解決這些問(wèn)題, 你起碼要明白人家在說(shuō)什么、人家在想什么，跟你一起想要解決的是什么問(wèn)題，他的痛點(diǎn)在哪里，這些溝通、這些理解是解決真實(shí)問(wèn)題非常重要的。沒(méi)有一個(gè)比較廣闊的知識(shí)背景, 就會(huì)連溝通也溝通不了。所以如果你是一個(gè)學(xué)生，將來(lái)想要跳進(jìn)業(yè)界，首要的就是要有一個(gè)比較廣泛的知識(shí)基礎(chǔ)。當(dāng)然也要建立自己的專長(zhǎng)。

董彬：不只是業(yè)界，現(xiàn)在在學(xué)術(shù)圈，即便是在基礎(chǔ)數(shù)學(xué)內(nèi)部也要跨學(xué)科。只掌握一門技術(shù)現(xiàn)在可能已經(jīng)不太夠用了，在學(xué)術(shù)圈做得非常出色的學(xué)者、那些領(lǐng)軍人物，他們的知識(shí)面是非常廣的，能力也是非常多元的。

問(wèn)題四：如何看待類腦計(jì)算和量子計(jì)算，它們會(huì)成為科學(xué)計(jì)算的發(fā)展方向嗎？

楊超：我覺(jué)得無(wú)論是類腦計(jì)算還是量子計(jì)算，或者其他新型計(jì)算技術(shù)，目的都是輸出計(jì)算能力。從這個(gè)角度來(lái)說(shuō)，哪項(xiàng)技術(shù)能夠真正實(shí)用化，哪項(xiàng)技術(shù)就可以被納入超級(jí)計(jì)算的范疇。目前來(lái)看，已經(jīng)看到了不少曙光，現(xiàn)在已經(jīng)有人把傳統(tǒng)的超算和類腦計(jì)算結(jié)合，也有人探索經(jīng)典超算和量子計(jì)算結(jié)合的手段，這可能是未來(lái)一個(gè)趨勢(shì)。

問(wèn)題五：下一個(gè)問(wèn)題，亮盒子參數(shù)是怎么變化的？它們變化的原理是什么？

李若：這比較接近我們剛才說(shuō)的細(xì)節(jié)，原則上來(lái)說(shuō)這相當(dāng)于說(shuō)我們想知道我們真的的解空間的低維流形到底怎么參數(shù)化的問(wèn)題。因?yàn)闀r(shí)間關(guān)系我沒(méi)有辦法仔細(xì)跟大家講，我們之所以給一個(gè)后延誤差，具有什么樣的意義。原則上如果我們能夠給定一個(gè)后延誤差，意味著我們可以對(duì)解流形本身一無(wú)所知，我們就通過(guò)我們到底犯了多少錯(cuò)，不斷地加進(jìn)新參數(shù)然后進(jìn)行改進(jìn)，然后逐漸可以獲得對(duì)真正解流形的一個(gè)更加好的逼近。在這個(gè)過(guò)程中我們就會(huì)了解到這些參數(shù)是什么。這些參數(shù)將會(huì)不斷地從你所給的近似的流形，帶到方程里的材料里面去提取出來(lái)。我們可以通過(guò)觀察貨物到底是什么樣的，然后拿到這些參數(shù)。

問(wèn)題六：請(qǐng)明老師簡(jiǎn)要介紹一下分子動(dòng)力學(xué)模擬的原理和過(guò)程，它是怎樣模擬分子的復(fù)雜動(dòng)力學(xué)的。其與分子真實(shí)動(dòng)力學(xué)的相符程度如何？

明平兵：分子動(dòng)力學(xué)從計(jì)算的角度來(lái)講，就是求解一個(gè)大型的非線性常微分方程組，但是和通常求解常微分方程組又有顯著的不同，它關(guān)注的是大量粒子的長(zhǎng)時(shí)間系統(tǒng)平均量，而不是單個(gè)粒子的運(yùn)動(dòng)狀態(tài)。一般來(lái)說(shuō)，只要模擬時(shí)間足夠長(zhǎng)，粒子數(shù)足夠多的話，勢(shì)函數(shù)又足夠精確的話，分子動(dòng)力學(xué)模擬結(jié)果總會(huì)趨于粒子的真實(shí)動(dòng)力學(xué)。

問(wèn)題七：下一個(gè)問(wèn)題是給史作強(qiáng)老師，PDE刻劃以后用SD求解怎么保證精確性，為什么不用SD直接刻劃呢？

史作強(qiáng)：一個(gè)是怎么樣保持SDE的精度，一句話來(lái)回答，就是我們不太在乎它的精度。我們要記住我們現(xiàn)在要解決的問(wèn)題是機(jī)器學(xué)習(xí)的問(wèn)題，PDE對(duì)我們來(lái)講只是一個(gè)工具，沒(méi)有必要把PDE求解地非常高精度，用PDE建立數(shù)學(xué)模型本身有誤差，說(shuō)不定這個(gè)誤差還是很大的，PDE求解的精度再高，精度高到一定程度沒(méi)有意義。另一方面在機(jī)器學(xué)習(xí)里面對(duì)誤差的要求和傳統(tǒng)的科學(xué)計(jì)算里面的對(duì)誤差的要求是不一樣的，傳統(tǒng)的科學(xué)計(jì)算里面誤差是10的負(fù)的多少次方，傳統(tǒng)科學(xué)計(jì)算對(duì)精度的要求是很高的，恨不得達(dá)到機(jī)器無(wú)誤差的精度。但機(jī)器學(xué)習(xí)里面完全不一樣，可能10%的誤差都已經(jīng)非常令人滿意了。所以我們要看我們的問(wèn)題是什么。我們處理機(jī)器學(xué)習(xí)問(wèn)題的時(shí)候，PDE只是一個(gè)工具，目的并不是精確地求解PDE，而是解決機(jī)器學(xué)習(xí)的那個(gè)問(wèn)題，只要誤差能夠達(dá)到我們那個(gè)問(wèn)題的要求就可以了。

第二個(gè)問(wèn)題為什么不用SDE直接建模？我個(gè)人的背景是因?yàn)槲覍?duì)PDE更熟悉一點(diǎn)，所以我們傾向于用PDE建模。如果提問(wèn)的同學(xué)或者老師你更熟悉SDE，你完全可以用SDE建模，這個(gè)是沒(méi)有問(wèn)題的，就看你個(gè)人背景，哪個(gè)領(lǐng)域你更熟悉，這是很開(kāi)放的一個(gè)問(wèn)題，機(jī)器學(xué)習(xí)你可以用各種各樣的角度去理解它，八仙過(guò)海各顯其能，你熟悉什么就用什么去解決它。

問(wèn)題八：請(qǐng)問(wèn)從事傳統(tǒng)的數(shù)值計(jì)算方法研究目前還有用武之地嗎？是否需要融入機(jī)器學(xué)習(xí)和人工智能？

李若：不管是做傳統(tǒng)的科學(xué)計(jì)算數(shù)值方法之類的研究，還是做現(xiàn)在熱門的機(jī)器學(xué)習(xí)方法的研究，但凡去做研究工作，那么我們發(fā)展的是這個(gè)方法的本身。當(dāng)然我們要用業(yè)界的角度來(lái)講，你去解決了一個(gè)問(wèn)題，在業(yè)界你只需要做出來(lái)一個(gè)饅頭，這個(gè)饅頭就有它的價(jià)值。如果我們?nèi)グl(fā)展方法，不管是哪個(gè)方面的方法，傳統(tǒng)的數(shù)值計(jì)算也好，還是新興的方向也好，你使得這個(gè)方法本身具有了新的能力，然后從中間獲得了新的理解，它都是你所做工作的貢獻(xiàn)，不用去說(shuō)我所做的事情到底是不是有什么用。有用與否很大程度上是一種和現(xiàn)實(shí)世界結(jié)合起來(lái)的某種價(jià)值判斷，做科研你還同時(shí)要追求人類知識(shí)發(fā)展永恒的價(jià)值，在這方面無(wú)論如何都會(huì)是有用的。

孫緯武：我聽(tīng)到這個(gè)問(wèn)題以及前面也問(wèn)到量子計(jì)算、類腦計(jì)算這些，我的感覺(jué)是, 也許問(wèn)問(wèn)題的同學(xué)或者老師想問(wèn)的是，現(xiàn)在哪里是風(fēng)口？哪一個(gè)方向是最容易飛起來(lái)的？我對(duì)這一點(diǎn)有一個(gè)建議，無(wú)論你是想要從事學(xué)術(shù)研究或者是從業(yè)界做出成績(jī)，最關(guān)鍵的不是去找風(fēng)口，最關(guān)鍵的是找出做什么事情、做什么方向、做什么研究是最能夠讓你興奮的。你如果是看到傳統(tǒng)數(shù)值計(jì)算能夠讓你興奮，你就鉆進(jìn)去做，這樣你成功的機(jī)會(huì)遠(yuǎn)比你找一個(gè)風(fēng)口，想方設(shè)法飛起來(lái)，成功機(jī)會(huì)是大很多的。所以對(duì)于選什么方向, 最要緊是什么事情讓你自己最興奮, 最會(huì)廢寢忘餐。

董彬：非常認(rèn)同。有些時(shí)候會(huì)有學(xué)生問(wèn)我做這個(gè)事情有什么意義，然后做出來(lái)了會(huì)怎么怎么樣，也有人問(wèn)我你為什么做這個(gè)，有什么意義。真的很難回答，一個(gè)包打天下的回答就是：做這個(gè)事兒好玩兒。不少重要的有影響力的工作，一開(kāi)始就是純好奇心驅(qū)動(dòng)的。好奇心可能不是唯一的驅(qū)動(dòng)力，但是是非常重要的一個(gè)驅(qū)動(dòng)力。如果你想不清楚到底是不是要入坑機(jī)器學(xué)習(xí)、人工智能，你就想想自己喜歡干什么就行了。我們?cè)诒贝罂吹接泻芏鄬W(xué)生，可能一開(kāi)始聽(tīng)說(shuō)機(jī)器學(xué)習(xí)很火，嘗試了一下，但是回過(guò)頭來(lái)還是繼續(xù)做科學(xué)計(jì)算，計(jì)算數(shù)學(xué)問(wèn)題，我覺(jué)得這個(gè)很好，大家要根據(jù)自己興趣來(lái)做自己感興趣的東西，如果你只是因?yàn)樗芑鹑プ觯芏鄷r(shí)候不一定做得很好。

問(wèn)題九：，請(qǐng)問(wèn)國(guó)內(nèi)在哪些人工智能方面比國(guó)外做得好？

董彬：我覺(jué)得至少人臉識(shí)別是一個(gè)，AI芯片，寒武紀(jì)至少是做的很領(lǐng)先的。

孫緯武：有一樣肯定比人家做得好的，就是對(duì)于中文的識(shí)別、中文的文意理解，做的肯定比外國(guó)好，但是這個(gè)好也不能說(shuō)明什么東西。

李若：我們都離應(yīng)用好像比較遠(yuǎn)。

董彬：但是至少可以講在科學(xué)計(jì)算+AI我們不比他們落后。

問(wèn)題十：AI是用來(lái)建模的還是解方程的？是不是兩個(gè)都有？看你做的反問(wèn)題正問(wèn)題，老師們可以談一談看法。

明平兵：可以用AI解方程。AI可不可用來(lái)建模呢，這個(gè)也是可以的，比如有很多數(shù)據(jù)，當(dāng)然這些數(shù)據(jù)要比較可信，然后從數(shù)據(jù)里面從數(shù)據(jù)中學(xué)習(xí)某些規(guī)律、機(jī)制。這應(yīng)該也是一個(gè)建模過(guò)程。所以應(yīng)該說(shuō)都可以。

李若：從我們概念上來(lái)講，建模和解方程這兩件事情似乎也沒(méi)有那么大的區(qū)別。解方程也可以看成是建模，把一個(gè)微分方程模型最后變成代數(shù)模型，代數(shù)模型最后解出來(lái)，所有這個(gè)過(guò)程也可以看作是建模。

明平兵：我今天講的這個(gè)題目里面，大家看到我經(jīng)常用多尺度建模、多尺度計(jì)算、多尺度問(wèn)題求解，這幾個(gè)基本上是不分的，正如李若老師講的一樣沒(méi)有什么區(qū)別，都是理解現(xiàn)實(shí)世界、理解某個(gè)問(wèn)題的一種方式。

董彬：從反問(wèn)題建模角度來(lái)講，可以用AI做建模，比如觀測(cè)到一個(gè)動(dòng)力學(xué)過(guò)程，我知道這里面肯定有convection diffusion，也肯定還有一些別的東西不知道是什么，你可以用機(jī)器學(xué)習(xí)來(lái)把那些不知道不確定的部分?jǐn)M出來(lái)，如果你運(yùn)氣好發(fā)現(xiàn)擬合部分具有某種新的較為普世的規(guī)律，那你就成功的通過(guò)AI方式發(fā)現(xiàn)了一個(gè)新的原理。當(dāng)然，以這種方式去發(fā)現(xiàn)新的原理是大海撈針，但至少可以通過(guò)這種方式做模型約簡(jiǎn)。為什么又和解方程分不開(kāi)呢？如果你建模了，怎么知道這個(gè)模型準(zhǔn)不準(zhǔn)，肯定要去求解它，去和你手上的真實(shí)數(shù)據(jù)進(jìn)行比對(duì)。做建模的時(shí)候要不停地解反問(wèn)題、正問(wèn)題，交替迭代，非常像神經(jīng)網(wǎng)絡(luò)訓(xùn)練，要前傳反傳，前傳看看匹不匹配數(shù)據(jù)，如果不匹配數(shù)據(jù)反傳再調(diào)節(jié)你的參數(shù)，建模和解方程是一體的，這是我的理解。

問(wèn)題十一，科學(xué)計(jì)算的超參數(shù)能否用AI算法解決？

總結(jié)

以上是生活随笔為你收集整理的北大教授：超级计算机计算性能提升速度是"十年千倍"的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。