劉宇，博士，上海人工智能實驗室青年科學家，OpenDILab開源決策智能平臺項目負責人，博士畢業于香港中文大學MMLab，研究方向為大規模深度學習優化問題和決策AI，發表人工智能領域頂會頂刊30余篇，總引用量達到2000+。曾為2019年GooglePhDFellowship得主，并且在人工智能世界級重量競賽ImageNet2016、OpenImage2019、MMIT2019、LFR2019、ActivityNet2020等獲得冠軍。

報告內容：感知與決策是通用人工智能的兩大基石。感知類AI諸如計算機視覺、語音識別、自然語言處理等領域在過去10年享受了深度學習所帶來的性能紅利，而決策AI隨著諸如強化學習與深度學習的結合在近年也表現出了很大的想象空間。本次分享回顧計算機視覺在深度學習時代的發展，從ImageNet等單一學術問題的革命性突破到真正實現大量復雜場景可用可落地的發展過程，圍繞環境標準化、算法平臺化、模型通用化等幾大議題，分析和暢想決策類AI在未來大規模落地和發展可能性。

?

劉宇作《從感知AI的發展理解決策AI的未來》報告分享

下方有文字版總結分享哦

感知AI與決策AI的發展

劉宇首先為大家介紹了感知AI、深度強化學習在計算流上的異同，二者在計算流上的相同點是：都是Learning Based，GAN與RL梯度“信噪比”低；本質上不同點是：每次產生計算error的label的獲取方式方式不同，RL bootstrapping收斂困難。

在對計算流進行了對比之后，劉宇介紹了泛感知類AI在深度學習時代的發展。在2012年由于AlexNet的廣泛應用，計算機視覺發展有了質的飛躍；在2014-2016階段，由于FaceNet、DeepID等細分領域算法的突破，計算機視覺在幾個擁有海量數據的領域得以達到超越人類水平的高度；在2017-2020階段，計算機視覺有了更進一步的發展，產生了如AutoML、NAS、HPO這樣的一些半自動AI模型的訓練和生產的流程；最近一兩年，基于通用預訓練模型的算法突破讓一個計算機視覺模型可以解決大多數相似而長尾分布的任務。從整個發展周期來看，人工智能在視覺領域的發展經歷了從單一封閉集的性能突破逐漸走向了面向長尾開集的通用模型生產流程。

決策AI發展的難點

接著劉宇指出，決策AI的發展仍處于早期階段。從2012年DQN和Experience Replay的誕生，決策AI領域迎來了一小波快速的發展周期，但是這一階段決策AI僅可以在仿真環境下完成簡單任務；在2015-2017期間，這一時期決策AI的代表成果有AlphaGo、AlphaMaster、AlphaZero，這一階段決策AI能夠在仿真環境下做中等難度的任務；在2019-2020期間，這一時期決策AI的代表成果有AlphaStar、OpenAI-FIVE，這一階段決策AI能夠在仿真環境下做比較復雜的特定任務；而2021年及以后的發展，決策AI目前的熱門方向有面向真實世界的Robotics、自動駕駛等，未來在數字孿生、全真仿真、環境遷移、Offline-RL、Model-Based RL等工具的幫助下，決策AI將會誕生更多亮眼的成果，未來決策AI仍將會為能夠在真實世界中完成復雜開集任務而努力著。只是，決策AI算法能力不斷提升但尚未打破從模擬器到真實世界，從少量樣本學習通用技能的泛化臨界點，所以會給人一種感覺，“隔壁CV已經在10億終端進行人臉識別了，我家PPO還在打電動。”

使大家明晰了決策AI的發展進程后，劉宇點明，決策AI在學術界發展中面臨的主要問題是標準化難，這體現在三個方面。一是環境多樣性，因為實際應用的時候，即使是相同算法，任務之間的狀態空間模態、動作空間種類，包括參數都是非常割裂的，不同環境下的不同算法和優化難度的差別非常大；二是計算的復雜性，決策AI領域目前無法讓學術界和工業界有比較好的分工，因為像PPO、SAC、DQN等等，把它們抽象到同一個平臺上，做成像感知一樣變成有Head、Backbone的訓練框架抽象非常難的，因此很難像CV、NLP領域具有高度集成化的訓練框架；三是計算尺度，強化學習計算流程比純Deep Learning感知要復雜非常多，且異步性遠高于感知類AI的訓練流程。從單機一顆CPU的訓練到上千GPU和上萬CPU的訓練最優訓練系統體系差別非常大。

劉宇總結決策AI發展中面對的三個難點后，也介紹了上海人工智能實驗室目前做的OpenDILab的項目核心是為了推動這三個難點向前發展。劉宇強調，OpenDILab希望推動環境多樣性、計算復雜性，以及計算尺度多樣性標準化問題的解決。

掃碼即可了解更多開源信息～

總結

以上是生活随笔為你收集整理的上海人工智能实验室刘宇：从感知AI的发展理解决策AI的未来的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。