10月15日下午，在北京兆維大廈，由CSDN社區主辦的技術主題月系列之——《深度學習框架的重構與思考》活動成功舉辦。CSDN邀請了用友暢捷通人工智能負責人張俊林、創業公司大數據總監周步戀、亮風臺高級算法研究員史信楚、IBM中國研究院高級研究員薛超共同圍繞“深度學習”這個熱點話題，分享了深度學習方向創業、 深度學習如何教機器學會閱讀理解、 深度學習與AR的結合、 分布式深度學習做監測分析以及優化等議題。近200位開發者利用周末參加了本次活動，現場提問踴躍，嘉賓互動很有深度。

CSDN產品運營姚前擔任活動主持人

創業公司大數據總監周步戀：深度學習方向創業

開篇周步戀為開發者深入介紹了幾個概念：機器學習、深度學習、人工智能。

• 其中人工智能是最大的概念。這些年來IT屆所關注的數據挖掘、深度學習、機器學習、自然語言，各種統計概率，很多機器的高并發，各種運算，其追求的本質可以說就是人工智能。人工智能不是一兩天就能達到，有可能要幾十年、幾百年，甚至能不能達到現在很多人還在論證。
• 機器學習是實現人工智能最普遍的方法，在這十幾年來在搜索中用得比較多，概括來說就是使用算法分析數據、實踐、學習，然后對真實的事實做出決策或預測。
• 深度學習就是機器學習的一種方法。有了深度學習這幾年技術突破，人工智能將可能被帶向原來教科書上的概念，生活中很多行業，包括醫療、互聯網安全，包括搜索、旅游各種服務都會提升。深度學習是最小的范圍，但是深度學習可能影響最廣大。

接著，周步戀為開發者展示了深度學習的國外創業圖譜。

并對以下幾點進行淺析：

從資金和數據方面分析了為什么中國創業公司不做Alpha Go這樣的深度學習和人工智能。

圖像識別是現在是深度學習極有可能突破的一個領域。

情感識別技術可以被用來預防兒童拐賣及提前識別小偷。

當深度學習網絡到了百層、千層，在網絡安全方面的應用可能是意想不到的。

醫療方面，找一個醫生和找十個醫生做的結論未必一樣， 所以深度學習在醫療方向是極有可能突破的。

最后，周步戀對深度學習的未來做了如下幾點暢想：

工具一旦開源，深度學習的發展速度會非常快。

人類的知識經驗每個人都不一樣，深度學習在這個方面還有待突破，遠遠不夠。

推廣方面，深度學習極有可能對詐騙、拐賣兒童，或者抑郁癥提前進行預判，有了情感識別政府就不用反腐了。

提問環節，周步戀針對樣本的獲取問題回答開發者的提問：

開發者：您剛才說樣本的問題，樣本搭建國內有沒有提供。
周步戀：樣本做不同領域樣本可能不一樣，現在尤其做數據公司把數據視為核心的資產，現在數據開放在國內基本做不到，因為數據是他的資產，很多公司僅僅是抱著數據就能讓自己過得很好。
開發者：現在獲得數據源非常少，做深度學習樣本非常少。
周步戀：所以現在做深度學習還要在大公司，或者某個領域拿到垂直的數據，拿到醫療創業必須拿到現在醫院診療數據，如果僅僅去想就沒法做。

用友暢捷通人工智能負責人張俊林：深度學習如何教機器學會閱讀理解

張俊林首先為開發者分享了他所感興趣的幾個話題：

為什么深度學習相對傳統的方法來說有大幅度的提高，原因在哪？

聊天機器人，將來應用的門戶的控制形態就是聊天機器人。

閱讀理解，實例就是搜索引擎，搜索引擎從工業或者產業角度已經是很成熟的產業了，但是要從產品形態過程和技術發展來說，目前搜索還是比較原始的。

張俊林此次分享主要圍繞著第三點，即閱讀理解展開。深度剖析了如下幾個方面：

什么是機器閱讀理解

目前機器做閱讀理解常見的三種形態：

人工合成閱讀理解：閱讀理解是一篇文章，人工合成是說這篇文章不是自然語言人寫的，而是人把語言極度簡化。用幾句話構成的場景，每句話極簡化，誰做什么事，對什么物品做什么事，就構成一個場景。“Sam走進了廚房。”“拿起蘋果。”“又走進了臥室。”“把蘋果放到臥室。”現在機器理解這四句話，問題是蘋果在什么位置。這題機器現在可以做對的，會告訴你在臥室。看上去簡單，實際不簡單。如果用傳統方式做有兩個地方出現蘋果所在的場景，一個是廚房，第二在臥室，如果答不對就是蘋果在廚房。正確回答是有推理步驟，先在廚房，后來到了臥室放下蘋果，實際沒有想象中那么簡單。這是一種閱讀理解的形態。

新聞的片段閱讀理解：給新聞的片段，機器理解片段，給出問題要求機器給出答案。這個有特點的地方是新聞里人名、地名、電影名全部替換掉，用entity12345代替實體，問的問題跟實體有關，告訴我這個位置上應該是哪個實體的正確答案，如果真正理解能夠正確推出來這個實體在這個位置。這叫做完形填空任務。

托福聽力理解：人參加托福考試，那邊播放錄音介紹一個故事提問題，從選擇里選擇正確答案。現在這個例子完全由機器做托福閱讀理解，目前準確率還可以，在50%左右。但是跟剛才有點不一樣的是這里是選擇題。

目前用深度學習是怎么做到讓機器能夠理解文章的，并介紹了三種表示文章的模型。

文章的三種匹配模型，即一維模型、二維模型、深度學習推理機制。

最后，張俊林對深度學習的閱讀理解做了總結與展望：

深度學習做機器閱讀理解時間也就一年，可以說進展已經很大了，一年時間出了至少幾十個模型出來。但是問題在，首先數據集合有問題，現在數據集合有幾類，一類要不規模太小，學習神經網絡包含這么多參數的模型一定沒辦法做復雜模型的。第二很多數據是人工合成的。第二個模型單一，根據剛才歸納就是一維、二維、推理模型。第一二維模型需要更深入探索，二維模型就是Attention，實際你還可以有很多探索做，包括匹配函數，包括二維匹配模型都是非深度的，你可以套深度的用一下。

世界知識的引入，對于人真正想理解一篇文章，世界知識一定要，就是人分男人女人，但是機器是不知道的，剛開始為了簡化問題把世界知識排除在外，但是隨著像人一樣達到閱讀理解程度必須把世界知識引入到模型里來。推理機制需要完善，說到底核心就是注意力焦點不斷轉移，還是比較單一，這還需要有新的機制推出來。

亮風臺高級算法研究員史信楚：深度學習與AR的結合

首先，史信楚對亮風臺技術及AR/VR技術做了簡要的介紹。并著重對AR關鍵技術的三個部分做了講解：

3D環境理解：對環境理解就是識別和定位，要知道什么東西在什么地方。識別和地位根據形式可以分為粗定位和細定位，粗定位就是視覺上（比如圖像粗定位在什么地方可以給一個形式），細定位要精確到點，或者基于XYZ的坐標，包括角度。粗定位力度和細定位力度都是AR需求，要知道你的產品想做多么精確，或者只是做一個效果。需要強調的是3D環境理解是一個基礎，跟深度學習接觸最緊密。3D環境理解學術界里主要是計算機視覺，計算機視覺在深度學習驅動下得到迅速發展：顯示技術和虛實交互、光場技術、全息投影、語音、手勢、觸覺、人臉，這些在深度學習里都有很大的應用。

3D物體識別：對3D場景建模，從識別物體擴大到更大的區域：識別場景，知道場景里面有哪些東西和方位。這叫做三維建模和重構，這是AR比較核心的東西。我需要知道物體的位置，而且要知道它是什么。

手勢：現在手勢AR里應用還沒有特別多，這是有些原因的。深度學習在AR里有用是因為其從語意層次上做了區分，AR從技術上來說從普通2D到3D到場景理解，語意逐漸加強的。我們一般通過關鍵點的匹配，這個深度學習用得就不太多。但是普通的3D識別就可以有很多，比如文字識別、人體檢測、表情識別、場景識別、行為識別，比如戴AR眼鏡在商店里掃描識別商品文字可以對應出相應宣傳或者效果，不管是信息還是AR宣傳效果。人體檢測也一樣，現在也有需求，因為現在以人為中心，商場里如果有人進入可能會首先檢測出來相關的效果。總體來說識別和檢測特別多，因為識別是看作一個接口，如果識別出來后面可以做很多東西，所以識別是很強的接口，有了這個接口后面AR內容就可以定制了。但是各方面AR里用得不太多，我們也在探索，有些針對AR特點有限制。

IBM中國研究院高級研究員薛超：分布式深度學習做監測分析以及優化

首先，薛超為開發者分析了傳統的機器學習與深度學習的不同、分類器、貝葉斯網絡、決策樹等概念。

簡單介紹后，進入巡查哦本次分享的核心問題：分布式如何作為分布式的拓展，并主要介紹在SPARK怎么進行分布式拓展。

這是著名的SPARKNet，如果大家對SPARK稍微知道一點就能明白，很多工作跑著，跟MASTER通信，每次疊加結束之后把數據傳給它，master做簡單平均分后，發回來再做下一次。這瓶頸是非常大的，因為傳輸量非常大，而且單點問題比較壓力，master壓力也非常嚴重。這種情況下分布式計算跟一臺機計算效果如果設不好，還不如一臺機計算。所以伯克利做SPARKNet就把傳統做了優化，就是別每次都傳了，隔一段時間傳我一次，但是如果隔一段時間傳就是同步和異步的折中，完全異步可能不收斂了，在保證這些東西收斂情況下盡量增大傳輸間隔。這兩個公式可以算最后的時間。于是，給出了測試結果，發現想跑成三倍快的效率需要六臺機器，隔多長時間通信一次這里也有說明，大概什么情況下效率最好。這個圖看到SPARKNet更為平緩了，如果SPARK做深度學習是首選，開發這個人跟做SPARK是一撥人，未來會不會加入SPARK上也是非常期待值得。但是不可避免瓶頸在SPARK是有的，這跟控制通信的。

并介紹了雅虎的CaffeOnSPARK

很多公司深度學習數據在一起，機器學習數據在一起，數據本身就是并行，而不是算法并行的。這是以前的一個問題，雅虎說，以前數據預處理的時候做準備，數據搬到深度學習上去，把模型算好又回來，這里有來回的數據遷移，大規模應用肯定是很大的瓶頸。說能不能想都用Hadoop存這些數，都用它操作深度學習，當然這個想法是非常好的。那你需要在SPARK支持深度學習，你把它看成應用，跟MLLib一樣，試圖寫這樣的庫。跟剛才的圖是完全不一樣的，它避開了單點失效的問題，是用MPI分布式方法，通過互相傳輸通信。當然了有LMA提高通信速度做同步，它也有自己的方法。這種剛出來大家覺得這個想法非常好，這個東西儼然就是趨勢，但是后來也是沒有搞成，但是思想還是很值得大家借鑒，沒有搞成原因主要因為MPI東西不好管理。SPARK雖然種種不是，但是最大好處是容錯，SPARK算錯之后可以容錯，可以回來，可以再算。但是如果MPI管理怎么管是大問題。第二個因為雅虎公司跟谷歌不一樣，所以說維護人員也會變得很少，在推薦下面就漸漸落下風。

接下來，薛超向開發者解讀了深度學習的趨勢：

異構的計算：不是純CPU計算，未來會有更多資源融入到深度學習上來，比如PGA。

分布式深度學習的framework

服務：因為深度學習門檻非常低。低的門檻就要求以后深度學習服務跟用戶來說交互更為方便，作為一種深度學習服務就是趨勢。

最后，薛超向研發者介紹了通過實踐所涉及的Hyperparameter的選擇。

總結

以上是生活随笔為你收集整理的聚焦CSDN技术主题月：深度学习框架的重构与思考专场回顾的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。