AI開發(fā)者大會：2020年7月3日09:50--10:10唐杰《人工智能的下一個十年》

?

導(dǎo)讀：人工智能的第三次浪潮中，超越深度學(xué)習(xí)—ML和DL需要結(jié)合符號AI；自監(jiān)督學(xué)習(xí)將會大放異彩。

• Next10——認知與推理：大數(shù)據(jù)+知識+智能，從感知到認知；認知圖譜，算法與認知科學(xué)的結(jié)合。知識圖譜，認知推理，邏輯表達。
• Next30——意識(讓計算機具有自我意識)：認知與推理+記憶+自我意識。有監(jiān)督、無監(jiān)督、強化、注意力，結(jié)合fine-tune可以實現(xiàn)全局工作理論。

博主評論：說實話，正好與博主前段時間被采訪時所說的看法不謀而合，博主當(dāng)時在展望AI未來的時候，就特別強調(diào)了無監(jiān)督學(xué)習(xí)的重要性，以及在走向強AI的路上，非常有必要對AI+意識進行深度探討與分析。

?

目錄

2020年7月3日09:50--10:10唐杰《人工智能的下一個十年》

人工智能的第三次浪潮

AI趨勢：從感知到認知

回顧機器學(xué)習(xí)

2018年的預(yù)訓(xùn)練模型BERT

自監(jiān)督學(xué)習(xí)——MoCo

第三代人工智能

超越深度學(xué)習(xí)—ML和DL需要結(jié)合符號AI

算法是核心，計算機、數(shù)據(jù)是基礎(chǔ)

認知圖譜(Cognitive Graph) 一知識圖譜，認知推理，邏輯表達?

認知圖譜：算法與認知的結(jié)合

和認知科學(xué)的結(jié)合

認知圖譜的推理模型

認知圖譜的推理模型：System1 VS System2

認知圖譜的推理效果

挑戰(zhàn)與未來

Next10——認知與推理：大數(shù)據(jù)+知識(Knowledge)+智能(Intelligence)

Next30——意識(讓計算機具有自我意識)：認知與推理(Reasoning)+記憶(Memory)+自我意識(Consciousness)

意識：全局工作理論——GWT

---

?

2020年7月3日09:50--10:10唐杰《人工智能的下一個十年》

人工智能的第三次浪潮

AI趨勢：從感知到認知

回顧機器學(xué)習(xí)

2018年的預(yù)訓(xùn)練模型BERT

自監(jiān)督學(xué)習(xí)——MoCo

• 無需標(biāo)記樣本，即可學(xué)習(xí)圖形表示
• Momentum contrastive learning
• 效果甚至超過有監(jiān)督學(xué)習(xí)結(jié)果

第三代人工智能

• 第一代——符號Al：符號模型 ／規(guī)則模 型／感知機。
• 第二代——感知智能：大數(shù)據(jù)驅(qū)動的統(tǒng)計學(xué)習(xí)方法初步實現(xiàn) 了針對文本、圖像 、語音等的感知與識別。
• 第三代——認知智能：張拔院士2016年提出第三代 人工智能雛形，DARPA 2018 年發(fā)布Al Next計劃。核心思路是推進統(tǒng)計與知識推理融合的計算；與腦認知的融合。
• 目前急需的是高質(zhì)量超大規(guī)模知識圖譜（Al的基礎(chǔ)設(shè)施）以及對知識的理解能力（面向認知的深度學(xué)習(xí)算法)。

超越深度學(xué)習(xí)—ML和DL需要結(jié)合符號AI

算法是核心，計算機、數(shù)據(jù)是基礎(chǔ)

認知圖譜(Cognitive Graph) 一知識圖譜，認知推理，邏輯表達?

認知圖譜：算法與認知的結(jié)合

Question:? Who is the director?of the 2003 film which has scenes in it filmed at the Quality Cafe in Los Angeles??
提問：誰是這部2003年的電影的導(dǎo)演，這部電影的場景是在洛杉磯的Quality咖啡館拍攝的?

和認知科學(xué)的結(jié)合

認知圖譜的推理模型

• System 1: 一Knowledge expansion by association in text?when reading?
• System 2: 一Decision making w/ all the information?

認知圖譜的推理模型：System1 VS System2

認知圖譜的推理效果

?

挑戰(zhàn)與未來

Next10——認知與推理：大數(shù)據(jù)+知識(Knowledge)+智能(Intelligence)

Next30——意識(讓計算機具有自我意識)：認知與推理(Reasoning)+記憶(Memory)+自我意識(Consciousness)

意識：全局工作理論——GWT

以下觀點來自Carnegie Mellon University的圖靈獎得主Manuel?Blum的分析

• 有意識學(xué)習(xí)：所謂的有意識學(xué)習(xí)，就是有目標(biāo)的機器學(xué)習(xí)，給定數(shù)據(jù)，訓(xùn)練一個模型 ，通過模型進行分類（決策），所以有意識學(xué)習(xí)輸出是一個短期記憶模型，但這個短期記憶模型比較簡單：數(shù)據(jù)有限、無背景知識。
• 無意識學(xué)習(xí)：所以無意識就對應(yīng)著長期記憶模型，長期記憶模型有點類似半監(jiān)督或者無監(jiān)督學(xué) 習(xí)模型，或者當(dāng)下比較流行的預(yù)訓(xùn)練和自監(jiān)督學(xué)習(xí)；無意識處理對應(yīng)多種長期記憶，所以無意識可以考慮多個不同的處理器，這些處理器之間 可以有鏈接，也可以沒有，很多時候是并行處理，
• 但針對特定任務(wù)，比如有意識思考某個問題的時候，形成特定連接，包括無意識處理器（無監(jiān)督模型）和有意識處理器（有監(jiān)督模型）之間的連接，這里可以考慮 成fine-tune。當(dāng)然連接權(quán)重可以通過外界反饋強化學(xué)習(xí)來實現(xiàn)。無意識處理器之間的連接以及和有意識處理器之間的連接可以類比為注意力機制。
• 最后值得注意的是長期記憶的構(gòu)造和實現(xiàn)，人腦記憶保存的是模型圖，而不是概念圖。每個長期記憶都可能是一個模型，可以生成樣本， 具體學(xué)習(xí)方法，可以想象一下是一個層次聚類。通過這樣就可以用有監(jiān)督、無監(jiān)督、強化、注意力、fine-tune來實現(xiàn)GWT模型。

?

?

?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的AI开发者大会：2020年7月3日09:50--10:10唐杰《人工智能的下一个十年》的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。