? ? 自學(xué)筆記

第1章 引言

? ? 人工智能真正的挑戰(zhàn)在于解決那些對(duì)人類來說容易執(zhí)行、但很難形式化描述的任務(wù)。如何將非形式化的知識(shí)傳給計(jì)算機(jī)呢？AI深度學(xué)習(xí)可以讓計(jì)算機(jī)從經(jīng)驗(yàn)中學(xué)習(xí)，并根據(jù)層次化的概念體系來理解世界。一些人工智能項(xiàng)目力求將關(guān)于世界的知識(shí)用形式化的語言進(jìn)行編碼（hard-code），使計(jì)算機(jī)可以使用邏輯推理規(guī)則來自動(dòng)地理解這些形式化語言中的聲明。人們?cè)O(shè)法設(shè)計(jì)足夠復(fù)雜的形式化規(guī)則來準(zhǔn)確的描述世界，這些項(xiàng)目沒有取得巨大成功。

? ?? 依靠硬編碼的知識(shí)體系無法解決事物之間的內(nèi)在聯(lián)系問題，AI需要具備自己獲取知識(shí)的能力，從原始數(shù)據(jù)提取模式的能力稱為機(jī)器學(xué)習(xí)。

? ?? 人工智能一般解決方式：先選取一個(gè)合適的特征集，然后將這些特征提供給簡單的機(jī)器學(xué)習(xí)算法。然而，很多任務(wù)，我們很難知道應(yīng)該提取哪些特征。解決這個(gè)問題的的途徑之一就是使用機(jī)器學(xué)習(xí)來發(fā)掘表示本身，不僅僅把表示映射到輸出。這種方法稱之為表示學(xué)習(xí)（representation learning）。

? ? 表示學(xué)習(xí)的典型例子是自編碼器（autoencoder），自編碼器由一個(gè)編碼器函數(shù)和解碼器函數(shù)組成。編碼器將輸入數(shù)據(jù)轉(zhuǎn)換為一種不同的表示，解碼器將這個(gè)新的表示轉(zhuǎn)換回原來的形式。

? ?? 當(dāng)設(shè)計(jì)特征或設(shè)計(jì)用于學(xué)習(xí)特征的算法時(shí)，目標(biāo)是分離出能夠解釋數(shù)據(jù)的變差因素，然而，多個(gè)變差因素是同時(shí)存在的，這需要我們理清變差因素并忽略我們不關(guān)心的因素。從原始數(shù)據(jù)提取高層次、抽象的特征是非常困難的。

? ? 深度學(xué)習(xí)（deep learning）可以通過較簡單的概念構(gòu)建復(fù)雜的概念。典型例子如：前饋深度網(wǎng)絡(luò)或多層感知機(jī)（multilayer perceptron，MLP）。多層感知機(jī)僅僅是將一組輸入值映射到輸出值的的數(shù)學(xué)函數(shù)。學(xué)習(xí)數(shù)據(jù)的正確表示是解釋深度學(xué)習(xí)的一個(gè)視角，另一個(gè)視角是深度促使計(jì)算機(jī)學(xué)習(xí)一個(gè)多步驟計(jì)算機(jī)程序。

? ? 主要有兩種度量模型深度的方式：1、基于評(píng)估架構(gòu)所需執(zhí)行的順序指令的數(shù)目；2、在深度概念模型中將描述概念彼此如何關(guān)聯(lián)的圖的深度。

? ? 深度學(xué)習(xí)是通向人工智能的途徑之一，是機(jī)器學(xué)習(xí)中一種能夠使計(jì)算機(jī)系統(tǒng)從經(jīng)驗(yàn)和數(shù)據(jù)中得到提高的技術(shù)，具有強(qiáng)大的能力和靈活性，它將大千世界表示為嵌套的層次感念體系。

1.1 深度學(xué)習(xí)的歷史

? ? 一般認(rèn)為，深度學(xué)習(xí)經(jīng)歷3次發(fā)展浪潮。20世紀(jì)40年代到60年代，深度學(xué)習(xí)的雛形出現(xiàn)控制論（cybernetices）中;20世紀(jì)80年代到90年代，深度學(xué)習(xí)表現(xiàn)為連結(jié)主義（connectionism）；直到2006年，才真正以深度學(xué)習(xí)之名復(fù)習(xí)。

?????現(xiàn)代術(shù)語“深度學(xué)習(xí)”超越了目前機(jī)器學(xué)習(xí)模型的神經(jīng)科學(xué)觀點(diǎn)，它訴諸于學(xué)習(xí)多層次組合原理。20世紀(jì)50年代，感知機(jī)（Rosenblatt）成為第一個(gè)能夠根據(jù)每個(gè)類別的輸入樣本來學(xué)習(xí)權(quán)重的模型。與此同時(shí)，自適應(yīng)線性單元（adaptive linear element，ADALINE）簡單地返回函數(shù)本身的值來預(yù)測一個(gè)實(shí)數(shù)。用于調(diào)節(jié)ADALINE權(quán)重的訓(xùn)練算法被稱為隨機(jī)梯度下降?；诟兄獧C(jī)和ADALINE中使用的函數(shù)模型稱為線性模型。然而線性模型無法學(xué)習(xí)異或函數(shù)，這導(dǎo)致神經(jīng)網(wǎng)絡(luò)熱潮第一次大衰退。

? ? 神經(jīng)科學(xué)是深度學(xué)習(xí)研究的一個(gè)重要靈感來源，但它不是該領(lǐng)域的主要指導(dǎo)，主要原因是我們根本沒有足夠關(guān)于大腦的信息作為指導(dǎo)去使用它，我們現(xiàn)在甚至連大腦最簡單、最深入研究的部分都還遠(yuǎn)遠(yuǎn)沒有理解。

? ? 20世紀(jì)80年代，神經(jīng)網(wǎng)絡(luò)研究第二次浪潮在很大程度上伴隨被稱為聯(lián)結(jié)主義或并行分布處理潮流而出現(xiàn)的。聯(lián)結(jié)主義的中心思想是，當(dāng)網(wǎng)絡(luò)將大量簡單的計(jì)算單元連接在一起時(shí)可以實(shí)現(xiàn)智能表現(xiàn)。分布表示的思想是：系統(tǒng)的每一個(gè)輸入都應(yīng)該由多個(gè)特征表示，并且每一個(gè)特征都應(yīng)該參與到多個(gè)可能輸入的表示。

? ? 20世紀(jì)90年代，研究人員在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行序列建模的方面取得了重要進(jìn)展。對(duì)長序列進(jìn)行建模引入長短期記憶（LSTM）,來解決梯度消失或梯度爆炸的難題。

? ? 20世紀(jì)90年代中期，基于神經(jīng)網(wǎng)絡(luò)的AI研究不能實(shí)現(xiàn)投資者的期望，于此同時(shí)，機(jī)器學(xué)習(xí)中核方法和圖模型在取得突破，導(dǎo)致神經(jīng)網(wǎng)絡(luò)熱潮第二次衰退。

? ? 2006年，Geoffrey Hinton表明“深度信念網(wǎng)絡(luò)”的神經(jīng)網(wǎng)絡(luò)可以使用一種稱為“貪婪逐層預(yù)訓(xùn)練”的策略來有效訓(xùn)練。神經(jīng)網(wǎng)絡(luò)的這一次浪潮普及了“深度學(xué)習(xí)”這一術(shù)語。神經(jīng)網(wǎng)絡(luò)浪潮的重點(diǎn)開始著眼于新的無監(jiān)督學(xué)習(xí)技術(shù)和深度模型在小數(shù)據(jù)集的泛化能力，但目前的興趣點(diǎn)仍是比較傳統(tǒng)的監(jiān)督學(xué)習(xí)算法和深度模型充分利用大型標(biāo)注數(shù)據(jù)集的能力。

1.2 與日俱增的數(shù)據(jù)量

????20世紀(jì)90年代深度學(xué)習(xí)就已經(jīng)成功用于商業(yè)應(yīng)用，但通常被視為只有專家才可以使用的藝術(shù)。不可否認(rèn)，要從一個(gè)深度學(xué)習(xí)算法獲得良好的性能需要一些技巧，幸運(yùn)的是，隨著數(shù)據(jù)量的增加，所需的技巧正在減小。截至2016年，一個(gè)粗略的經(jīng)驗(yàn)法則是，監(jiān)督學(xué)習(xí)算法在每類給定約5000個(gè)標(biāo)注樣本情況下將達(dá)到可以接受的性能，當(dāng)至少有1000萬標(biāo)注樣本是數(shù)據(jù)用于訓(xùn)練時(shí)，它將達(dá)到或超過人的表現(xiàn)。

深度學(xué)習(xí)在計(jì)算機(jī)視覺、語音和音頻處理、自然語言處理、機(jī)器人技術(shù)、生物信息學(xué)和化學(xué)、電子游戲、搜索引擎、網(wǎng)絡(luò)廣告和金融取得巨大成功。深度學(xué)習(xí)的另一個(gè)最大的成就是其在強(qiáng)化學(xué)習(xí)（reinforcement learning）領(lǐng)域的擴(kuò)展，在強(qiáng)化學(xué)習(xí)中，一個(gè)自主的智能體必需在沒有人類操作者指導(dǎo)的情況下，通過試錯(cuò)來學(xué)習(xí)執(zhí)行任務(wù)。

????

????

????

總結(jié)

以上是生活随笔為你收集整理的深度学习笔记1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。