??????DL甚至并不是AI的任一方法的一種....

????? 深度學(xué)習(xí)甚至不是AI方法的一種，但近期確實(shí)取得了非常好的效果，深度學(xué)習(xí)在理論上的完備性暫且不提，其若想獲取更大的成功，更需要解決科學(xué)實(shí)驗(yàn)本身——深度學(xué)習(xí)的技術(shù)問題。

????? 原文鏈接：深度學(xué)習(xí)算法的幾個難點(diǎn)

??????

1、局部最優(yōu)問題。

??????? 深度學(xué)習(xí)算法的目標(biāo)函數(shù)，幾乎全都是非凸的。而目前尋找最優(yōu)解的方法，都是基于梯度下降的。稍微有點(diǎn)背景知識的人都知道，梯度下降方法是解決不了非凸問題的。因此，如果找到最優(yōu)解，將是深度學(xué)習(xí)領(lǐng)域，非常值得研究的課題。

???????andrew在google的工作，也就是那只貓，其實(shí)訓(xùn)練過程是讓人很費(fèi)解的。為了縮短訓(xùn)練時間，項(xiàng)目組采用了分布式訓(xùn)練的方式。采用了1000臺計(jì)算機(jī)，在不同的計(jì)算機(jī)上存儲不同的訓(xùn)練數(shù)據(jù)，不同的訓(xùn)練服務(wù)器通過參數(shù)服務(wù)器進(jìn)行參數(shù)的交換。訓(xùn)練過程開始后，所有的訓(xùn)練計(jì)算機(jī)從參數(shù)服務(wù)器更新當(dāng)前參數(shù)，然后利用當(dāng)前參數(shù)以及本機(jī)器上的訓(xùn)練數(shù)據(jù)，計(jì)算得到當(dāng)前的梯度，通過貪婪式方法，訓(xùn)練到不能再訓(xùn)練為止，然后將參數(shù)的更新量提交給服務(wù)器，再獲取新的參數(shù)進(jìn)行更新。

???????在這個過程中，出現(xiàn)了不同機(jī)器在同步時間上的一個大問題。具體闡述如下：梯度下降這種方法，在計(jì)算梯度的時候，一定要知道當(dāng)前參數(shù)的具體值，梯度是針對某一個具體的參數(shù)值才有意義的。但是，由于在這個系統(tǒng)中，計(jì)算機(jī)非常多，當(dāng)計(jì)算機(jī)A從服務(wù)器上獲得參數(shù)值后，完成梯度的計(jì)算得到步進(jìn)量的時候，可能在它提交結(jié)果之前，計(jì)算機(jī)B已經(jīng)修改了參數(shù)服務(wù)器上的參數(shù)了。也就是說，A所得到的步進(jìn)量，并不是針對當(dāng)前的參數(shù)值的。

???????論文中，作者注意到了這個問題，但是故意不去理會，結(jié)果訓(xùn)練結(jié)果居然不錯。作者的解釋是：這是一種歪打正著的現(xiàn)象。

???????為什么能夠歪打正著呢？有可能是這樣的：非凸問題，本來就不是梯度下降法能夠解決的。如果不存在同步難題，那么隨著訓(xùn)練的深入，結(jié)果肯定會收斂到某一個局部最優(yōu)解上面去。而現(xiàn)在這種同步問題，恰好能夠有助于跳出局部最優(yōu)解。因此最終的訓(xùn)練結(jié)果還算不錯。

???????作者并沒有證明，這種方式，對于尋找全局最優(yōu)一定是有幫助的。對于最終的結(jié)果是否一定是經(jīng)驗(yàn)最優(yōu)的，也沒有證明。因此我感覺，深度學(xué)習(xí)里面，這種超高維參數(shù)的最優(yōu)結(jié)果的尋優(yōu)，是一個很值得深入研究的問題。它對于最終的效果也確實(shí)影響很大。

2、內(nèi)存消耗巨大，計(jì)算復(fù)雜。

內(nèi)存消耗巨大和計(jì)算復(fù)雜體現(xiàn)在兩個方面。（1）訓(xùn)練過程。（2）檢測過程。

???????這兩個過程的計(jì)算復(fù)雜，根本原因都是龐大的參數(shù)規(guī)模造成的。比如google的這個項(xiàng)目，每一個位置都用到了8個模版，每一個像素，這8個模版都是不同的，因此導(dǎo)致最后的模版總數(shù)很大，所以訓(xùn)練和檢測都很慢。當(dāng)然，這種模版的設(shè)計(jì)法，讓人不好理解，為什么不同的像素位置，模版完全不同。我還是支持以前的卷積神經(jīng)網(wǎng)絡(luò)里面的思想，不同位置的模版都是一樣的，但沒一個位置，模版數(shù)量就遠(yuǎn)不止8個了。這樣的好處是，內(nèi)存空間中，總的模板數(shù)下降了；但缺點(diǎn)是，計(jì)算更復(fù)雜了。

???????因此，如果能夠找到一個好的方法，能夠有效的較低計(jì)算復(fù)雜度，將是很有意義的。（比如某個鄰域內(nèi)如果方差極小，其實(shí)根本就沒必要計(jì)算了，直接賦0.）

3、人腦機(jī)理還有很多沒用上。

?????? 深度學(xué)習(xí)模擬的是人腦的其中一個很小的方面，就是：深度結(jié)構(gòu)，以及稀疏性。

???????但事實(shí)上，人腦是相當(dāng)復(fù)雜滴。關(guān)于視覺注意機(jī)制、多分辨率特性、聯(lián)想、心理暗示等功能，目前根本就沒有太多的模擬。所以神經(jīng)解剖學(xué)對于人工智能的影響應(yīng)該是蠻大的。將來要想掀起機(jī)器智能的另一個研究高潮，估計(jì)還得繼續(xù)借鑒神經(jīng)解剖學(xué)。

4、人為設(shè)計(jì)模版的可行性。

???????一直在想，為什么第一層用于檢測角點(diǎn)和邊緣這種簡單特征的模版，一定需要通過無監(jiān)督訓(xùn)練得到，如果人為實(shí)現(xiàn)模擬的話，能否也得到較為理想的結(jié)果呢？

???????從神經(jīng)解剖學(xué)的成果上來看，人腦的v1區(qū)和v2區(qū)，神經(jīng)細(xì)胞確實(shí)是按照規(guī)律排列的。而且都是可以人為設(shè)計(jì)的。而且，一個讓人懷疑的地方就是，v1區(qū)和v2區(qū)的神經(jīng)細(xì)胞，是先天發(fā)育好的，還是后天訓(xùn)練出來的？如果是先天的，那就是說，這種模版是可以人為設(shè)計(jì)的。

5、代價函數(shù)的設(shè)計(jì)方法。

???????代價函數(shù)的設(shè)計(jì)，在初學(xué)者看來，是很奇怪的。代價函數(shù)的設(shè)計(jì)，直接影響到最終的模版訓(xùn)練結(jié)果，可以說是深度學(xué)習(xí)中最核心的模塊。

???????從目前已經(jīng)發(fā)表的論文來看，一是考慮重構(gòu)誤差，二是加入某種懲罰項(xiàng)。懲罰項(xiàng)的設(shè)計(jì)有多種模式，有考慮一階范式的，有考慮二階范式的，各種設(shè)計(jì)可謂千奇百怪。有博文上講到，懲罰項(xiàng)的作用是為了防止過擬合，但也有博文的觀點(diǎn)是，懲罰項(xiàng)是為了保證稀疏性。（感覺過擬合與稀疏性是否存在某種內(nèi)在聯(lián)系。）

???????當(dāng)然，代價函數(shù)的設(shè)計(jì)方法，目前還在不斷探索，感覺這是一個可以發(fā)論文的點(diǎn)。

6、整個神經(jīng)網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)。

???? ?? 神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法，包含了研究人員對人腦的理解方式。CNN、RBM，以及andrew項(xiàng)目組設(shè)計(jì)的變態(tài)網(wǎng)絡(luò)，都各有各的特色。要把整個網(wǎng)絡(luò)框架設(shè)計(jì)好，還是比較需要經(jīng)驗(yàn)的，也是相當(dāng)費(fèi)腦力的。當(dāng)然，這是整個領(lǐng)域最有研究價值的模塊。

?????? 作者：denghp83

?????? End.???網(wǎng)絡(luò)的設(shè)計(jì)太難了，有誰揭開了神經(jīng)系統(tǒng)的真實(shí)運(yùn)行原理呢..................

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的深度学习的技术困难的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。