以下為本人通過圖解深度學習里總結記錄的筆記，如有誤歡迎交流。

1.經過了兩次起伏，第二次：線性不可分問題。
27。神經網絡：使用圖的意義進行編碼這一思路，與神經和網絡無關系，更應該叫做：分層表示學習，層級表示學習，深度可微模型，鏈式幾何變化。
2.BP：誤差反向傳播算法。

▲W：權重調整值
η：學習率

3.權重調整值的計算就是對誤差函數，激活函數以及連接權重分別進行求導的過程——chain rule
4.權重調整值趨近于0，所以無法調整連接權重。這就是誤差反向傳播算法中梯度消失導致無法調整連接權重問題。可通過調整η解決
5.激活函數：對輸入信號進行線性或非線性變化。
6.池化層：減小卷積層的尺寸，從44到22
7.CNN：調整參數時，重要的是先調整卷積層的卷積核個數，激活函數的種類以及輸入圖像的預處理。
8.多層神經網絡：模式識別
9.相互連接型網絡：通過聯想記憶去除輸入數據中的噪聲。
10.對比散度算法：近似算法，能夠通過較少的迭代次數求出參數調整值。
11.深度信念網絡：首先訓練輸入層和隱藏層之間的參數，把訓練后得到的參數作為下一次的輸入，再調整該層與下一個隱藏層之間的參數。
————在最頂層級聯一個softmax層（他把一些輸入映射為0-1之間的實數，并且歸一化保證和為1，因此多分類的概率之和也剛好為1）
12.受限玻爾茲曼機可用于CNN的預訓練，提供堆疊式想法，兩層結構。
13.自編碼器：數據維度壓縮算法

將原始數據壓縮維度將中間的Code用于輸入神經網絡，大大減小運算量，通過輸出維度展開可極大還原輸入圖像。
14.降噪自編碼器：樣本→加入噪聲→自編碼器→重構；計算樣本到重構的誤差，把不含噪聲的數據作為要重構的數據。
15.稀疏自編碼器：將稀疏正則化引入自編碼器，使大部分單元輸出為0，利用少數單元有效完成壓縮與重構。
16.少量數據可通過數據增強的方式強化神經網絡。例如，平移、旋轉、顏色變換、幾何變換、隨機噪聲等。
17.預處理：均值減法，均一化，白化。以消除數據的相關性。
18.Dropout：提高網絡泛化能力，防止過擬合，殺死部分神經元。相對DropConnect好一些。
19.R-CNN：區域卷積神經網絡：將CNN當特征提取區使用。
20.機器學習：①輸入數據點②預期輸出的示例③衡量算法效果好的方法（屬于監督學習）

21.深度學習的應用范圍：分類，回歸，序列預測
22.無監督學習方法：降維，聚類
23.生成式深度學習：能夠對下一個標記的概率進行建模的任何網絡都稱為語言模型。語言模型能夠捕捉到語言的潛在空間，即語言的統計結構。
24.①貪婪采樣：非1即0.②隨機采樣
25.Deep Dream：藝術性圖像修改技術；反向CNN，梯度上升，圖像元素扭曲
26.將數據轉換為程序叫做學習。
27.神經網絡：使用圖的意義進行編碼這一思路，與神經和網絡無關系，更應該叫做：分層表示學習，層級表示學習，深度可微模型，鏈式幾何變化。
28。關鍵網絡架構：密集連接網絡，卷積網絡，循環網絡。

總結

以上是生活随笔為你收集整理的【个人笔记】图解深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。