圖片來源@全景視覺

　　文丨學(xué)術(shù)頭條

　　在 2020 的 ICLR 線上大會(huì)上，蒙特利爾學(xué)習(xí)算法研究所主任、圖靈獎(jiǎng)得主 Yoshua Bengio 和 Facebook 的副總裁兼首席人工智能科學(xué)家 Yann LeCun，坦率地談到了未來 AI 的研究趨勢(shì)。

　　根據(jù)兩位大咖的說法，自我監(jiān)督學(xué)習(xí)可能使 AI 產(chǎn)生類人的推理能力。

　　自監(jiān)督學(xué)習(xí)，像人一樣自覺觀察世界

　　監(jiān)督式學(xué)習(xí)需要在有標(biāo)注的數(shù)據(jù)集上訓(xùn)練 AI 模型，而 LeCun 認(rèn)為隨著自我監(jiān)督學(xué)習(xí)的廣泛應(yīng)用，這種訓(xùn)練模式的作用將逐漸減弱。自監(jiān)督學(xué)習(xí)算法不再依賴標(biāo)注，而是通過揭示數(shù)據(jù)各部分之間的關(guān)系，從數(shù)據(jù)中生成標(biāo)簽。

　　自監(jiān)督學(xué)習(xí)是一種機(jī)器學(xué)習(xí)的「理想狀態(tài)」，重點(diǎn)在于如何自動(dòng)生成數(shù)據(jù)標(biāo)簽，這一步驟被認(rèn)為對(duì)于實(shí)現(xiàn)人類水平的智能至關(guān)重要。舉一個(gè)例子，例如輸入一張圖片，把圖片隨機(jī)旋轉(zhuǎn)一個(gè)角度，然后把旋轉(zhuǎn)后的圖片作為輸入，隨機(jī)旋轉(zhuǎn)的角度作為標(biāo)簽。

　　很多網(wǎng)友比較關(guān)注的一個(gè)問題是，自監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)是一個(gè)意思嗎？

　　自監(jiān)督類似無監(jiān)督學(xué)習(xí)，都是從沒有明確標(biāo)簽的數(shù)據(jù)中進(jìn)行學(xué)習(xí)。但無監(jiān)督學(xué)習(xí)側(cè)重于學(xué)習(xí)數(shù)據(jù)的內(nèi)在關(guān)系、結(jié)構(gòu)，比如 clustering、grouping、density estimation, or anomaly detection 等等，而自監(jiān)督是根據(jù)數(shù)據(jù)集本身生成標(biāo)簽。

　　為了進(jìn)一步解釋自監(jiān)督學(xué)習(xí)，LeCun 做了類比，「不管是我們?nèi)祟悾€是動(dòng)物，在學(xué)習(xí)大多數(shù)事物時(shí)，都是在自我監(jiān)督的模式下進(jìn)行的，而不是強(qiáng)化學(xué)習(xí)模式。這個(gè)模式本質(zhì)上就是觀察這個(gè)世界，然后不斷與之增進(jìn)互動(dòng)，這種觀察是自發(fā)的，而不是在測(cè)試條件下完成的?！筁eCun 表示， 「這種學(xué)習(xí)方式，比較難以用機(jī)器來復(fù)制?！?/p>

　　其中，不確定性是阻礙自監(jiān)督學(xué)習(xí)成功的主要障礙。

連續(xù)分布和離散分布

　　數(shù)據(jù)的分布是這樣一個(gè)表，它將變量所有可能的值與其出現(xiàn)的概率聯(lián)系起來。在變量是離散的情況下，它們可以很好地表示不確定性，這就是為什么像 Google BERT 這樣的架構(gòu)如此成功。但目前，研究人員尚未找到一種方法來有效地表示連續(xù)變量的分布。

　　在斯坦福對(duì)話問答數(shù)據(jù)集上測(cè)試時(shí)，BERT 實(shí)現(xiàn)了 93.2% 的準(zhǔn)確率，分別優(yōu)于最先進(jìn)的機(jī)器學(xué)習(xí)水平和人類水平 。斯坦福問答數(shù)據(jù)集是一個(gè)閱讀理解的數(shù)據(jù)集，包含了一組維基百科文章中提出的問題。在通用語(yǔ)言理解評(píng)估基準(zhǔn)測(cè)試（一個(gè)用于培訓(xùn)和評(píng)估 NLP 系統(tǒng)的資源集合上，BERT 的準(zhǔn)確率達(dá)到了 80.4% 。

　　解決連續(xù)分布問題

　　LeCun 認(rèn)為，找到一種能表示連續(xù)分布的模型，就會(huì)有新突破。

　　Lecun 指出，連續(xù)分布問題的一個(gè)解決方案是利用基于能量的模型（EBM），它能夠?qū)W習(xí)數(shù)據(jù)集中的數(shù)學(xué)元素，并生成類似的數(shù)據(jù)集。

　　此前，OpenAI 開發(fā)了一種基于能量的模型，可以快速學(xué)會(huì)識(shí)別和生成概念，例如附近，上，中，最近和最遠(yuǎn)等，并表示為 2D 點(diǎn)集。模型僅在五次演示后學(xué)習(xí)了這些概念。

　　從過去的研究中看，這種形式的建模一直難以應(yīng)用到實(shí)際當(dāng)中，但 Open AI 2019 年的研究表明，這種基于能量的模型可以支持復(fù)雜的拓?fù)洌╰opologies）。

　　Bengio 在研討中表示，他相信人工智能研究可以從神經(jīng)科學(xué)領(lǐng)域受益頗多，特別是意識(shí)和意識(shí)處理的探索方面。當(dāng)然收益也是雙向的，一些神經(jīng)科學(xué)家正在使用卷積神經(jīng)網(wǎng)絡(luò)作為視覺系統(tǒng)的腹側(cè)通路。

　　Bengio 預(yù)測(cè)，新的研究將闡明高級(jí)語(yǔ)義變量與大腦如何處理信息（包括視覺信息）之間的關(guān)系。而這些變量是人類語(yǔ)言交流所用的，它們可能會(huì)衍生出新一代的深度學(xué)習(xí)模型。

　　「通過與基礎(chǔ)語(yǔ)言學(xué)習(xí)相結(jié)合，我們可以取得很多進(jìn)展，歸根結(jié)底我們都在打造能夠理解這個(gè)世界的模型，以及高層次的概念是如何相互關(guān)聯(lián)的。這是一種聯(lián)合式的分布，」Bengio 說?！肝蚁嘈?，人類的意識(shí)處理過程，利用的是有關(guān)世界如何變化的假設(shè)，這些假設(shè)可以理解成為一種更高層次的表達(dá)方式。簡(jiǎn)單來講，就是我們看到世界的變化，然后想到一句話來解釋這種變化?！?/p>

　　達(dá)到人類智力的另一難題：背景知識(shí)

　　想要實(shí)現(xiàn)人類智力，另一大難題就是背景知識(shí)。正如 LeCun 所解釋的，大多數(shù)人可以在 30 小時(shí)內(nèi)學(xué)會(huì)駕駛汽車，因?yàn)樗麄円呀?jīng)憑借直覺構(gòu)建了一個(gè)關(guān)于汽車行動(dòng)方式的物理模型。相比之下，現(xiàn)在無人駕駛汽車所采用的強(qiáng)化學(xué)習(xí)模型要從零開始學(xué)起---- 他們必須犯上成千上萬(wàn)次的錯(cuò)誤，才能做出正確的操作。

　　LeCun 表示，「顯然，我們需要能夠構(gòu)建模型來學(xué)習(xí)世界，這就是進(jìn)行自監(jiān)督學(xué)習(xí)的原因——運(yùn)行預(yù)測(cè)世界模型，能夠讓系統(tǒng)進(jìn)行更快地學(xué)習(xí)。從概念上講，這相當(dāng)簡(jiǎn)單，除非是在那些我們無法完全預(yù)測(cè)的不確定環(huán)境中。」

　　LeCun 認(rèn)為，想要實(shí)現(xiàn)通用人工智能（AGI），就算有自監(jiān)督學(xué)習(xí)和神經(jīng)科學(xué)學(xué)習(xí)的加持，也是不夠的。

　　通用人工智能（AGI ）是指機(jī)器獲得人類水平的智能。一些研究人員將通用人工智能稱為強(qiáng) AI（strong AI）或者完全 AI（full AI），或稱機(jī)器具有執(zhí)行通用智能行為（general intelligent action）的能力。

　　他表示，這是因?yàn)橹橇?，尤其是人類的智力，是非常特殊?/strong>?！窤GI 是不存在的，根本沒有通用人工智能這回事。我們可以談?wù)摾鲜笏降闹橇Α⒇埖闹橇?、狗的智力，或者人類的智力，但還根本談不上通用人工智能?！筁eCun 說。