作為機器學習最重要的一個分支，深度學習近年來發展迅猛，在國內外都引起了廣泛的關注。然而深度學習的火熱也不是一時興起的，而是經歷了一段漫長的發展史。接下來我們了解一下深度學習的發展歷程。

1. 深度學習的起源階段

?

圖1?“AI之父”馬文·明斯基

1943年，心里學家麥卡洛克和數學邏輯學家皮茲發表論文《神經活動中內在思想的邏輯演算》，提出了MP模型。MP模型是模仿神經元的結構和工作原理，構成出的一個基于神經網絡的數學模型，本質上是一種“模擬人類大腦”的神經元模型。MP模型作為人工神經網絡的起源，開創了人工神經網絡的新時代，也奠定了神經網絡模型的基礎。

1949年，加拿大著名心理學家唐納德·赫布在《行為的組織》中提出了一種基于無監督學習的規則——海布學習規則(Hebb Rule)。海布規則模仿人類認知世界的過程建立一種“網絡模型”，該網絡模型針對訓練集進行大量的訓練并提取訓練集的統計特征，然后按照樣本的相似程度進行分類，把相互之間聯系密切的樣本分為一類，這樣就把樣本分成了若干類。海布學習規則與“條件反射”機理一致，為以后的神經網絡學習算法奠定了基礎，具有重大的歷史意義。

20世紀50年代末，在MP模型和海布學習規則的研究基礎上，美國科學家羅森布拉特發現了一種類似于人類學習過程的學習算法——感知機學習。并于1958年，正式提出了由兩層神經元組成的神經網絡，稱之為“感知器”。感知器本質上是一種線性模型，可以對輸入的訓練集數據進行二分類，且能夠在訓練集中自動更新權值。感知器的提出吸引了大量科學家對人工神經網絡研究的興趣，對神經網絡的發展具有里程碑式的意義。

但隨著研究的深入，在1969年，“AI之父”馬文·明斯基和LOGO語言的創始人西蒙·派珀特共同編寫了一本書籍《感知器》，在書中他們證明了單層感知器無法解決線性不可分問題（例如：異或問題）。由于這個致命的缺陷以及沒有及時推廣感知器到多層神經網絡中，在20世紀70年代，人工神經網絡進入了第一個寒冬期，人們對神經網絡的研究也停滯了將近20年。

2. 深度學習的發展階段

?

圖2?深度學習之父杰弗里·辛頓

1982年，著名物理學家約翰·霍普菲爾德發明了Hopfield神經網絡。Hopfield神經網絡是一種結合存儲系統和二元系統的循環神經網絡。Hopfield網絡也可以模擬人類的記憶，根據激活函數的選取不同，有連續型和離散型兩種類型，分別用于優化計算和聯想記憶。但由于容易陷入局部最小值的缺陷，該算法并未在當時引起很大的轟動。

直到1986年，深度學習之父杰弗里·辛頓提出了一種適用于多層感知器的反向傳播算法——BP算法。BP算法在傳統神經網絡正向傳播的基礎上，增加了誤差的反向傳播過程。反向傳播過程不斷地調整神經元之間的權值和閾值，直到輸出的誤差達到減小到允許的范圍之內，或達到預先設定的訓練次數為止。BP算法完美的解決了非線性分類問題，讓人工神經網絡再次的引起了人們廣泛的關注。

圖2 深度學習之父杰弗里·辛頓
但是由于八十年代計算機的硬件水平有限，如：運算能力跟不上，這就導致當神經網絡的規模增大時，再使用BP算法會出現“梯度消失”的問題。這使得BP算法的發展受到了很大的限制。再加上90年代中期，以SVM為代表的其它淺層機器學習算法被提出，并在分類、回歸問題上均取得了很好的效果，其原理又明顯不同于神經網絡模型，所以人工神經網絡的發展再次進入了瓶頸期。

3. 深度學習的爆發階段

?

圖3?AlphaGo大戰李世石

2006年，杰弗里·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念。他們在世界頂級學術期刊《科學》發表的一篇文章中詳細的給出了“梯度消失”問題的解決方案——通過無監督的學習方法逐層訓練算法，再使用有監督的反向傳播算法進行調優。該深度學習方法的提出，立即在學術圈引起了巨大的反響，以斯坦福大學、多倫多大學為代表的眾多世界知名高校紛紛投入巨大的人力、財力進行深度學習領域的相關研究。而后又在迅速蔓延到工業界中。

2006年，杰弗里·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念。他們在世界頂級學術期刊《科學》發表的一篇文章中詳細的給出了“梯度消失”問題的解決方案——通過無監督的學習方法逐層訓練算法，再使用有監督的反向傳播算法進行調優。該深度學習方法的提出，立即在學術圈引起了巨大的反響，以斯坦福大學、多倫多大學為代表的眾多世界知名高校紛紛投入巨大的人力、財力進行深度學習領域的相關研究。而后又在迅速蔓延到工業界中。

2012年，在著名的ImageNet圖像識別大賽中，杰弗里·辛頓領導的小組采用深度學習模型AlexNet一舉奪冠。AlexNet采用ReLU激活函數，從根本上解決了梯度消失問題，并采用GPU極大的提高了模型的運算速度。同年，由斯坦福大學著名的吳恩達教授和世界頂尖計算機專家Jeff Dean共同主導的深度神經網絡——DNN技術在圖像識別領域取得了驚人的成績，在ImageNet評測中成功的把錯誤率從26％降低到了15％。深度學習算法在世界大賽的脫穎而出，也再一次吸引了學術界和工業界對于深度學習領域的關注。

隨著深度學習技術的不斷進步以及數據處理能力的不斷提升，2014年，Facebook基于深度學習技術的DeepFace項目，在人臉識別方面的準確率已經能達到97%以上，跟人類識別的準確率幾乎沒有差別。這樣的結果也再一次證明了深度學習算法在圖像識別方面的一騎絕塵。

2016年，隨著谷歌公司基于深度學習開發的AlphaGo以4:1的比分戰勝了國際頂尖圍棋高手李世石，深度學習的熱度一時無兩。后來，AlphaGo又接連和眾多世界級圍棋高手過招，均取得了完勝。這也證明了在圍棋界，基于深度學習技術的機器人已經超越了人類。

2017年，基于強化學習算法的AlphaGo升級版AlphaGo Zero橫空出世。其采用“從零開始”、“無師自通”的學習模式，以100:0的比分輕而易舉打敗了之前的AlphaGo。除了圍棋，它還精通國際象棋等其它棋類游戲，可以說是真正的棋類“天才”。此外在這一年，深度學習的相關算法在醫療、金融、藝術、無人駕駛等多個領域均取得了顯著的成果。所以，也有專家把2017年看作是深度學習甚至是人工智能發展最為突飛猛進的一年。

所以在深度學習的浪潮之下，不管是AI的相關從業者還是其他各行各業的工作者，都應該以開放、學習的心態關注深度學習、人工智能的熱點動態。人工智能正在悄無聲息的改變著我們的生活！

機器學習集訓營 第四期 北上廣深杭

機器學習集訓營 第四期 北上廣深杭 報名咨詢 可以獲得額外的優惠

http://www.buluo360.com/2018/03/12/machine-learning-capus-shenzhen/

轉載于:https://www.cnblogs.com/tensorflownews/p/8552106.html

總結

以上是生活随笔為你收集整理的梳理百年深度学习发展史-七月在线机器学习集训营助你把握深度学习浪潮的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。