思維導圖

本節課由機器學習過渡到深度學習。如果理解了機器學習的原理及算法的三步驟，就可以很自然地將ML的內容遷移到DL中。 因為ML與DL的學習步驟是完全一樣的。最大的區別就是DL的學習函數變成了含有許多層的隱藏層。

神經網絡

神經網絡的最基本的單位叫做神經元。每一個神經元中都包含有一個函數(如sigmoid函數)。特征輸入作為輸入層（input layer），輸入后與參數w和偏差b進行結合(如：wx+b)作為神經元的輸入。輸入神經元中就相當于是在神經元中進行了一個約束函數的計算。計算好的結果會作為輸出進入下一層的神經元中。下一層神經元又有各自不同的w和b，與上層輸出一起結合在該層的神經元中進行約束函數的計算。 一直到輸出層（output layer）。輸出層輸出的結果就是最終的預測值y。

若繼續往下深究，經過一次神經網絡得到的預測值會與真實值進行損失函數Loss的計算。并可以通過優化(如：梯度下降)的方法更新神經網絡中的w和b。通過不斷地迭代，得到最終的w* 和 b*。

其實這樣想來，就能頓悟：ML與DL確實有異曲同工之妙。

矩陣運算

一般來說，數據在模型中都是轉換成向量的形式，以方便使用矩陣進行運算。而矩陣運算在計算機中能夠很方便快速的計算出來。所以使用矩陣的形式，再結合GPU運算，就能極大提高訓練的速度，縮短訓練時間。

做法簡說

總結來說，DL的輸入和輸出都是固定的。甚至，DL可以直接把所有特征丟進神經網絡中，由神經網絡來挑選它認為最佳的特征。因此在進行DL的研究任務時，我們最主要的任務就是設計其中的神經網絡結構，比如：設計神經元的個數，每層神經網絡應該放置多少個神經元，應該設計多少層神經網絡，各層神經網絡之間的連接方式，神經元里的約束函數設計…… 這么看來，DL的研究過程仍然任重道遠。

下圖為辨認圖片中數字的舉例說明。

總結

以上是生活随笔為你收集整理的李宏毅机器学习笔记——深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。