DNN：DL讨论与DNN经典论文汇总
引言：
???????達(dá)爾文的進(jìn)化哲學(xué)：適者生存！其原因不是因?yàn)檫m者生存，而是因?yàn)椴贿m者都會死去；
???????沒有免費(fèi)的午餐定理：沒有普適性的優(yōu)越算法，如果一個算法對一個或一些應(yīng)用相對其他算法表現(xiàn)極大的優(yōu)越性，那么在特定領(lǐng)域必然也體驗(yàn)足夠的弱勢；
???????純科學(xué)的存在價值：不能轉(zhuǎn)化為應(yīng)用的科學(xué)是沒有價值的，純科學(xué)的存在價值，就是維持整個科學(xué)體系的嚴(yán)謹(jǐn)性；
???????理想與現(xiàn)實(shí)：在實(shí)踐多年以后，計(jì)算機(jī)科學(xué)家會發(fā)現(xiàn)其畢生的熱愛只是對未來美好的憧憬的期待，并去努力地彌補(bǔ)那些差距；
???????奧卡姆剃刀原理：如果我們可以以一種確定的方式解決問題，就不用模糊的方法；如果我們能以一種簡單的方法解決問題，就不使用復(fù)雜方法；
Tips:?? http://www.qiuxe.com/?p=26? 作者：丘憲恩
???????兩個小朋友學(xué)習(xí)加減法，聰明的小朋友掌握了加減法的規(guī)律，例如進(jìn)位制等，很快學(xué)會了。來了個新的題目，他按照那些規(guī)律很快就算出來了。但是笨一點(diǎn)的小朋友可能沒掌握到規(guī)律，就死記硬背，把所以可能的兩個數(shù)相加的結(jié)果都背了下來，來了個新的題目后發(fā)現(xiàn)這個東西見過，于是也很快給出來答案（但是他背得很累）。當(dāng)然聰明的小朋友也是要記住一些東西的，但是他記住的東西非常少，只有一些簡單的規(guī)則和規(guī)律。
??????? 與之類似， ??? 聰明的算法和笨算法之間的最本質(zhì)的區(qū)別之一就是它們要記住的東西不一樣，不需要記任何東西的算法是不存在的。聰明的算法，只需要記住少量的東西，如貝葉斯只需要記住各個特征的概率分布，線性回歸只需要記住各個特征的權(quán)重；而笨算法如神經(jīng)網(wǎng)絡(luò)就要記住30億個參數(shù)！
???????這只是作者和大家開的一個玩笑，并且下面也做了相當(dāng)?shù)慕忉?#xff1b;貝葉斯和logistic回歸可以稱之為算法時適當(dāng)?shù)?#xff0c;而DNN簡單的歸結(jié)為算法就不適當(dāng)了，DNN更像是一個數(shù)據(jù)與結(jié)構(gòu)（算法）相結(jié)合的大的模型。
???????簡單bayes網(wǎng)絡(luò)和logistic分類器只記住少量參數(shù)，其特性基于人給出的先驗(yàn)知識：例如假設(shè)特征獨(dú)立，問題線性可分等。這些都是經(jīng)過人的智能進(jìn)行抽象提取的高層知識總結(jié)，可以應(yīng)用于特定領(lǐng)域你，那么泛化能力必然降低。
?????????
1. 關(guān)于DNN訓(xùn)練：
???????為什么神經(jīng)網(wǎng)絡(luò)特別是深度網(wǎng)絡(luò)結(jié)構(gòu)有著比較好的識別效果。神經(jīng)網(wǎng)絡(luò)特別是深度網(wǎng)絡(luò)的特點(diǎn)之一就是層次多，節(jié)點(diǎn)多，其結(jié)果就是參數(shù)多。舉個例子，就以Hinton 2006年發(fā)表在Science上的那篇文章Fig.1里面所用的網(wǎng)絡(luò)結(jié)構(gòu)為例。在網(wǎng)絡(luò)在降維階段就有4層，節(jié)點(diǎn)數(shù)量分別是2000， 1000， 500， 30，層與層之間兩兩全連接，總共的參數(shù)數(shù)量為2000*1000*500*30= 3,000,000,000, 多達(dá)30億個參數(shù)！假設(shè)有10萬個訓(xùn)練樣本，每一個訓(xùn)練樣本相當(dāng)于一個方程，10萬個樣本相當(dāng)于10萬個方程（姑且不論方程相關(guān)性問題），但是總共有30億個參數(shù)！如果你比較熟悉方程理論的話，就會知道這很明顯就是個不定方程（參數(shù)數(shù)量比方程數(shù)量多）！不定方程是有無窮個解的，更別提通過訓(xùn)練得到一些近似解了。所以用這么多的參數(shù)有那么好的識別效果一點(diǎn)也不足為奇。
???????但是還沒完，也許會有人爭辯說，雖然這是個不定方程問題，但是如何解釋泛化能力的問題呢？問得好！其實(shí)不定方程帶來的問題恰恰就是過擬合問題，也就是泛化能力不足。這一點(diǎn)早在上個世紀(jì)神經(jīng)網(wǎng)絡(luò)開始流行的時候就已經(jīng)被人詬病。所以才有了后來的各種各樣的正則化來解決過擬合的問題。
???????除了正則化技術(shù)，還可以通過用足夠多的訓(xùn)練樣本進(jìn)行大規(guī)模訓(xùn)練來解決過擬合的問題。在現(xiàn)在數(shù)據(jù)越來越多，計(jì)算能力越來越強(qiáng)的大數(shù)據(jù)背景下，這種大規(guī)模訓(xùn)練變得可能，這也就是為什么神經(jīng)網(wǎng)絡(luò)現(xiàn)在能復(fù)興的原因之一（以前沒有那么多數(shù)據(jù)也沒有那么強(qiáng)的計(jì)算能力）。
???????但是且慢，當(dāng)你的訓(xùn)練樣本足夠多的時候，多到幾乎窮舉了所有樣本空間的時候，對新來的樣本正確識別就更加不足為奇了，因?yàn)樗锌赡軜颖灸愣家娺^了，為什么會識別不出來呢？大規(guī)模訓(xùn)練樣本加上大規(guī)模參數(shù)集，說的不好聽一點(diǎn)就是用超級野蠻超級暴力的方法強(qiáng)行記住了所有東西， 死記硬背，來了個新東西就去查找記憶，這還是智能么？
???????...... 說到底，對生物本身的智能認(rèn)識不如我們對我們自己創(chuàng)造出來的DNN的認(rèn)識，對生物智能的 “聰明”為何物，現(xiàn)在誰都給不了一個確切的定義。對AI的最好評定便是圖靈先生的 圖靈測試，所見即所得是我們還未曾見到本質(zhì)之前對事物理解的最靠譜的方式，因?yàn)楸硐笈c本質(zhì)具有本質(zhì)的聯(lián)系。???????由此，可見DNN比bayesian網(wǎng)絡(luò)與logistic分類器聰明，因?yàn)槲覀兛梢钥吹搅寺斆鞯姆诸惤Y(jié)果，而bayesian和logistic更像是一個執(zhí)行工具。DNN近似于特征的重提取，表現(xiàn)出一定的智能。
???????DNN更像是一個數(shù)據(jù)存儲類型轉(zhuǎn)換器，它把大量的訓(xùn)練樣本以參數(shù)的形式存儲在DNN里面；每一個參數(shù)模型對應(yīng)了一個樣本集合模型，在巨大的模型映射里面，如果建立的映射足夠多，那么對模型的描述就足夠稠密，對于其應(yīng)用的領(lǐng)域便足夠精確。
2.關(guān)于局部最優(yōu)解：
???????ANN會陷入局部最優(yōu)解，這并不代表ANN就不是智能；人腦的知識模型是一個不斷增長的模型，建立，擴(kuò)增，再完備；在整個模型完備之前，在這個知識框架之內(nèi)，對于某一個問題，得到的必然是局部最優(yōu)解。
一：其中有些轉(zhuǎn)自于DL網(wǎng)站和其他網(wǎng)站：http://deeplearning.net
查看：深度學(xué)習(xí)是ML研究的一個較新的領(lǐng)域，其在結(jié)構(gòu)上使ML更接近AI的原始目標(biāo).
1.? a brief introduction to Machine Learning for AI? ：這個是簡介頁..
Table Of Contents
- Very Brief Introduction to Machine Learning for AI
- Intelligence
- Artificial Intelligence
- Machine Learning
- Formalization of Learning
- Supervised Learning
- Unsupervised Learning
- Local Generalization
- Distributed versus Local Representation and Non-Local Generalization
2. AI的子領(lǐng)域迅速崛起，并自立門戶，剩下一些執(zhí)著的科學(xué)家還在尋找真正可以通曉整個邏輯的東西。
和 ：
3.? an introduction to Deep Learning algorithms.：最好是把這個簡介看完...
經(jīng)典文獻(xiàn)：Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Trendsin Machine Learning, 2(1), 2009
4. 深度學(xué)習(xí)是關(guān)于學(xué)習(xí)多個表示和抽象層次，這些層次幫助解釋數(shù)據(jù)，例如圖像，聲音和文本。對于更多的關(guān)于深度學(xué)習(xí)算法的知識，查看：
- The monograph or review paper Learning Deep Architectures for AI (Foundations & Trends in Machine Learning, 2009).
- The ICML 2009 Workshop on Learning Feature Hierarchies webpage has a list of references.
- The LISA public wiki has a reading list and a bibliography.
- Geoff Hinton has readings from last year’s NIPS tutorial.
5. 這個算法的綜述有一些先決條件：
??????? Python給了科研工作者一個可以擺脫Matlab的產(chǎn)品級程序工具，并提供了優(yōu)越特性.
???????應(yīng)該首先知道一個關(guān)于python的知識，并熟悉numpy。
???????由于這個綜述是關(guān)于如何使用Theano，你應(yīng)該首先閱讀Theano basic tutorial。
???????一旦你完成這些，閱讀我們的Getting Started章節(jié)---它將介紹概念定義，數(shù)據(jù)集，和利用隨機(jī)梯度下降來優(yōu)化模型的方法。
?
純有監(jiān)督學(xué)習(xí)算法可以按照以下順序閱讀：
無監(jiān)督和半監(jiān)督學(xué)習(xí)算法可以用任意順序閱讀(auto-encoders可以被獨(dú)立于RBM/DBM地閱讀)：
- Auto Encoders, Denoising Autoencoders - description of autoencoders
- Stacked Denoising Auto-Encoders - easy steps into unsupervised pre-training for deep nets
- Restricted Boltzmann Machines - single layer generative RBM model
- Deep Belief Networks - unsupervised generative pre-training of stacked RBMs followed by supervised fine-tuning
關(guān)于mcRBM模型，我們有一篇新的關(guān)于從能量模型中抽樣的綜述：
- HMC Sampling - hybrid (aka Hamiltonian) Monte-Carlo sampling with scan()
?
二：算法簡介：
查看最新論文：Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning, 2(1), 2009
深度(Depth)????
此段原始鏈接：an introduction to Deep Learning
???????從一個輸入中產(chǎn)生一個輸出所涉及的計(jì)算可以通過一個流向圖( flow graph)來表示：流向圖是一種能夠表示計(jì)算的圖，在這種圖中每一個節(jié)點(diǎn)表示一個基本的計(jì)算并且一個計(jì)算的值(計(jì)算的結(jié)果被應(yīng)用到這個節(jié)點(diǎn)的孩子節(jié)點(diǎn)的值)。考慮這樣一個計(jì)算集合，它可以被允許在每一個節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中，并定義了一個函數(shù)族。輸入節(jié)點(diǎn)沒有孩子，輸出節(jié)點(diǎn)沒有父親。
???????對于表達(dá) 的流向圖，可以通過一個有兩個輸入節(jié)點(diǎn) 和 的圖表示，其中一個節(jié)點(diǎn)通過使用和 作為輸入(例如作為孩子)來表示 ；一個節(jié)點(diǎn)僅使用 作為輸入來表示平方；一個節(jié)點(diǎn)使用 和 作為輸入來表示加法項(xiàng)(其值為 )；最后一個輸出節(jié)點(diǎn)利用一個單獨(dú)的來自于加法節(jié)點(diǎn)的輸入計(jì)算SIN。
這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。
???????傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度(比如對于輸出層為隱層數(shù)加1)。SVMs有深度2(一個對應(yīng)于核輸出或者特征空間，另一個對應(yīng)于所產(chǎn)生輸出的線性混合)。
?
深度架構(gòu)的動機(jī)
學(xué)習(xí)基于深度架構(gòu)的學(xué)習(xí)算法的主要動機(jī)是：
???????不充分的深度是有害的；
???????大腦有一個深度架構(gòu)；
???????認(rèn)知過程是深度的；
?
不充分的深度是有害的
???????在許多情形中深度2就足夠(比如logical gates, formal [threshold] neurons, sigmoid-neurons, Radial Basis Function [RBF] units like in SVMs)表示任何一個帶有給定目標(biāo)精度的函數(shù)。但是其代價是：圖中所需要的節(jié)點(diǎn)數(shù)(比如計(jì)算和參數(shù)數(shù)量)可能變的非常大。理論結(jié)果證實(shí)那些事實(shí)上所需要的節(jié)點(diǎn)數(shù)隨著輸入的大小指數(shù)增長的函數(shù)族是存在的。這一點(diǎn)已經(jīng)在logical gates, formal [threshold] neurons 和rbf單元中得到證實(shí)。在后者中Hastad說明了但深度是d時，函數(shù)族可以被有效地(緊地)使用O(n)個節(jié)點(diǎn)(對于n個輸入)來表示，但是如果深度被限制為d-1，則需要指數(shù)數(shù)量的節(jié)點(diǎn)數(shù)O(2^n)。
????? ? 我們可以將深度架構(gòu)看做一種因子分解。大部分隨機(jī)選擇的函數(shù)不能被有效地表示，無論是用深地或者淺的架構(gòu)。但是許多能夠有效地被深度架構(gòu)表示的卻不能被用淺的架構(gòu)高效表示(see the polynomials example in theBengio survey paper)。一個緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結(jié)構(gòu)。如果不存在任何結(jié)構(gòu)，那將不可能很好地泛化。
?
大腦有一個深度架構(gòu)
???????例如，視覺皮質(zhì)得到了很好的研究，并顯示出一系列的區(qū)域，在每一個這種區(qū)域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復(fù)雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。
???????需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時活動的。給定大量的神經(jīng)元，任然有一個非常高效地(指數(shù)級高效)表示。
認(rèn)知過程看起來是深度的
- 人類層次化地組織思想和概念；
- 人類首先學(xué)習(xí)簡單的概念，然后用他們?nèi)ケ硎靖橄蟮?#xff1b;
- 工程師將任務(wù)分解成多個抽象層次去處理；
???????學(xué)習(xí)/發(fā)現(xiàn)這些概念(知識工程由于沒有反省而失敗？)是很美好的。對語言可表達(dá)的概念的反省也建議我們一個稀疏的表示：僅所有可能單詞/概念中的一個小的部分是可被應(yīng)用到一個特別的輸入(一個視覺場景)。
?
學(xué)習(xí)深度架構(gòu)的突破
2006年前，嘗試訓(xùn)練深度架構(gòu)都失敗了：訓(xùn)練一個深度有監(jiān)督前饋神經(jīng)網(wǎng)絡(luò)趨向于產(chǎn)生壞的結(jié)果(同時在訓(xùn)練和測試誤差中)，然后將其變淺為1(1或者2個隱層)。
2006年的3篇論文改變了這種狀況，由Hinton的革命性的在深度信念網(wǎng)(Deep Belief Networks, DBNs)上的工作所引領(lǐng)：
- Hinton, G. E., Osindero, S. and Teh, Y., A fast learning algorithm for deep belief nets .Neural Computation 18:1527-1554, 2006
- Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007
- Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007
在這三篇論文中以下主要原理被發(fā)現(xiàn)：
- 表示的無監(jiān)督學(xué)習(xí)被用于(預(yù))訓(xùn)練每一層；
- 在一個時間里的一個層次的無監(jiān)督訓(xùn)練，接著之前訓(xùn)練的層次。在每一層學(xué)習(xí)到的表示作為下一層的輸入；
- 用無監(jiān)督訓(xùn)練來調(diào)整所有層(加上一個或者更多的用于產(chǎn)生預(yù)測的附加層)；
???????DBNs在每一層中利用用于表示的無監(jiān)督學(xué)習(xí)RBMs。Bengio et al paper 探討和對比了RBMs和auto-encoders(通過一個表示的瓶頸內(nèi)在層預(yù)測輸入的神經(jīng)網(wǎng)絡(luò))。Ranzato et al paper在一個convolutional架構(gòu)的上下文中使用稀疏auto-encoders(類似于稀疏編碼)。Auto-encoders和convolutional架構(gòu)將在以后的課程中講解。
三：原始經(jīng)典文獻(xiàn)：
（1）：Hinton 06年發(fā)表在Science上面的奠基性著作：
?????????????? G. E. Hinton, R. R. Salakhutdinov, Reducing the Dimensionality of Data with Neural Networks, Science, vol. 313, no. 5786, pp. 504-507, 2006
?
（2）：我想說的是，腦認(rèn)知模型或許是最后的路徑...不過還是看的不夠遠(yuǎn)啊
?
四：Andrew Ng談Deep Learning
Deep Learning與AI
《程序員》：
???????? Amara法則說，“我們傾向于高估科技的短期影響力，而又低估其長期影響力。”在你看來，Deep Learning的短期和長期影響分別是什么？歷史上，我們曾對實(shí)現(xiàn)人工智能有過錯誤估計(jì)，對于Deep Learning的前景，人們是否過于樂觀？
Andrew Ng：
??????? 我對Deep Learning的前景很樂觀，它的價值在過去幾年已得到印證，未來我們還會沿著這個方向繼續(xù)努力。語音識別、計(jì)算機(jī)視覺都將獲得長足進(jìn)步，數(shù)據(jù)與科技的碰撞，會讓這一切變得更具價值。在短期，我們會看到身邊的產(chǎn)品變得更好；而長期，它有潛力改變我們與計(jì)算機(jī)的交互方式，并憑借它創(chuàng)造新的產(chǎn)品和服務(wù)。
??????? 不過圍繞Deep Learning，我也看到存在著某種程度的夸大，這是一種不健康的氛圍。它不單出現(xiàn)于媒體的字里行間，也存在于一些研究者之中。將Deep Learning描繪成對人腦的模擬，這種說法頗具吸引力，但卻是過于簡化的模仿，它距離真正的AI或人們所謂的“奇點(diǎn)”還相當(dāng)遙遠(yuǎn)。目前這項(xiàng)技術(shù)主要是從海量數(shù)據(jù)當(dāng)中學(xué)習(xí)，理解數(shù)據(jù)，這也是現(xiàn)今有關(guān)Deep Learning技術(shù)研究和產(chǎn)品發(fā)展的驅(qū)動力。而具備與人的能力相匹配的AI需要無所不包，例如人類擁有豐富的感情、不同的動機(jī)，以及同感能力。這些都是當(dāng)下Deep Learning研究尚未涉及的。
.............................《程序員》：
??????? 有一種說法是，對人腦機(jī)制理解的缺乏是我們開發(fā)智能機(jī)器的最大限制之一，在這個存在許多假設(shè)和未知的前沿領(lǐng)域進(jìn)行研究，你怎樣判斷自己研究的方向和做出的各種選擇是否正確？
Andrew Ng：
???????誠然，神經(jīng)科學(xué)尚未揭開人腦的運(yùn)作機(jī)制，是對這項(xiàng)研究的一種制約。但如今我們嘗試的算法，大多只是粗略地基于神經(jīng)科學(xué)研究的統(tǒng)計(jì)闡釋，這些研究啟迪我們的靈感，鼓勵我們嘗試新算法。但現(xiàn)實(shí)中，我們更主要地依據(jù)算法真實(shí)的運(yùn)行效果進(jìn)行評判，假如一味追求模擬神經(jīng)的運(yùn)作方式，不一定能帶來最優(yōu)的結(jié)果。有時我們偏重神經(jīng)科學(xué)原理，例如某些模擬大腦局部的算法；但更多時候，性能是準(zhǔn)繩。若按比例劃分，前者大約只占2%，后者則占據(jù)98%。
因?yàn)槲覀儾恢篮畏N算法最優(yōu)，所以才不斷嘗試，衡量是否取得進(jìn)步的方式之一（并非唯一方式），是觀察新算法能否在應(yīng)用中表現(xiàn)得更好，例如Web和圖像搜索結(jié)果是否更準(zhǔn)確，或者語音識別的正確率更高。假如回望五年，你就會發(fā)現(xiàn)，那時我們曾認(rèn)為頗有前景的算法，如今已然被拋棄。這些年，我們有規(guī)律地，甚至偶然地發(fā)現(xiàn)一些新算法，推動著這個領(lǐng)域持續(xù)前進(jìn)。
.............................《程序員》：
???????關(guān)于Deep Learning的原理，已有許多人知曉。為了做出一流研究和應(yīng)用，對于研究者來說，決勝的關(guān)鍵因素是什么？為何如今只有少數(shù)幾人，成為這個領(lǐng)域的頂尖科學(xué)家？
Andrew Ng：
???????關(guān)于決定因素，我認(rèn)為有三點(diǎn)最為關(guān)鍵。
???????首先是數(shù)據(jù)，對于解決某些領(lǐng)域的問題，獲取數(shù)據(jù)并非輕而易舉；其次是計(jì)算基礎(chǔ)架構(gòu)工具，包括計(jì)算機(jī)硬件和軟件；最后是這個領(lǐng)域的工程師培養(yǎng)，無論在斯坦福還是百度，我都對如何快速訓(xùn)練工程師從事Deep Learning研究，成為這個領(lǐng)域的專家思索了很長時間。幸運(yùn)的是，我從Coursera和大學(xué)的教學(xué)經(jīng)歷中獲益良多。創(chuàng)新往往來自多個觀念的整合，源于一整支研究團(tuán)隊(duì)，而非單獨(dú)一個人。
???????從事Deep Learning研究的一個不利因素在于，這還是一個技術(shù)快速發(fā)展的年輕領(lǐng)域，許多知識并非依靠閱讀論文便能獲得。那些關(guān)鍵知識，往往只存在于頂尖科學(xué)家的頭腦中，這些專家彼此相識，信息相互共享，卻不為外人所知。另外一些時候，這群頂尖科學(xué)家也不能確定自己的靈感源于何處，如何向其他人解釋。但我相信，越來越多的知識會傳遞給普通開發(fā)者；在百度，我也正努力尋找方法，將自己的靈感和直覺高效地傳授給其他研究者。盡管我們已有這方面的教程，但需要改進(jìn)之處仍有很多。
此外，許多頂尖實(shí)驗(yàn)室的迭代速度都非常快，而Deep Learning算法復(fù)雜，計(jì)算代價很高，這些實(shí)驗(yàn)室都擁有優(yōu)秀的工具與之配合，從快速迭代中學(xué)習(xí)進(jìn)步。
............................《程序員》：
???????十年前，Jeff Hawkins在《On Intelligence》中已經(jīng)向普通人描述了機(jī)器與智能之間的關(guān)系，這些描述與我們現(xiàn)在看到的Deep Learning似乎非常相似。在這最近的十年中，我們新學(xué)到了什么？
Andrew Ng：
???????包括我在內(nèi)，Jeff Hawkins的作品啟發(fā)了許多AI研究者，多年以前，我個人還曾是Hawkins這家公司的技術(shù)顧問之一。但在現(xiàn)實(shí)中，每個人的實(shí)現(xiàn)細(xì)節(jié)和算法迥異，與這本書其實(shí)頗有不同。例如在書中，Hawkins極為強(qiáng)調(diào)與時間相關(guān)的臨時數(shù)據(jù)的重要性，而在Deep Learning中，雖然用到了臨時數(shù)據(jù)，但遠(yuǎn)沒有那重要，另外網(wǎng)絡(luò)的架構(gòu)也大不相同。在最近十年中，我們認(rèn)識到了可擴(kuò)展的重要性，另外我們還找到了進(jìn)行非監(jiān)督式學(xué)習(xí)更好的方式。
............................
《程序員》：
???????為了開發(fā)智能機(jī)器，許多年前，Daniel Hillis和他的Thinking Machines曾嘗試突破von Neumann架構(gòu)，你覺得當(dāng)今的硬件是否是實(shí)現(xiàn)智能機(jī)器的最好選擇？如果不是，當(dāng)前的計(jì)算機(jī)架構(gòu)有哪些限制，我們需要做哪方面的突破？
Andrew Ng：
???????這是一個有趣的話題。我們尚不知道怎樣的硬件架構(gòu)是智能機(jī)器的最佳選擇，因而更需要擁有靈活性，快速嘗試不同的算法。在這方面，GPU相對易于編程，因而可以高效地嘗試不同的算法。作為對比，ASIC（專用集成電路）的運(yùn)行速度比GPU更快，但開發(fā)適合Deep Learning的ASIC難度高、周期長，在漫長的研發(fā)過程中，很可能我們早已發(fā)現(xiàn)了新算法。
GPU與CPU結(jié)合是目前的首選硬件平臺，不過隨著技術(shù)的進(jìn)一步成熟，這種現(xiàn)狀有可能發(fā)生改觀。例如，目前已有幾家初創(chuàng)公司正在研發(fā)專門用于Deep Learning的硬件系統(tǒng)。
后記：
????? ? ? ? ? 一把利劍好用與否還要看用劍者的水準(zhǔn),DNN也是如此.........................................................
總結(jié)
以上是生活随笔為你收集整理的DNN：DL讨论与DNN经典论文汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： adobe photoshop cs6
- 下一篇： CPU+GPU异构计算完全解析