Introduce of deep learning

1.問題展示

正常情況下，輸入為‘cat’輸出為一張貓的圖片；而我們研究的內容是輸入一張貓的圖片，輸出‘cat’。f(‘cat’) = a pic of cat，我們研究f(‘a pic of cat’)=‘cat’。

為了達到上述效果，我們需要定義一系列函數，優化函數有關參數，然后在定義的函數中選出最適合的函數。就是這么簡單的幾步，這就是深度學習要做的事情。只不過上述定義的函數是模擬神經網絡建立的， 如圖。可以看到，這里的計算可以抽象成矩陣的計算，所以線性代數一定要好好學。下圖只是一個函數，而神經網絡是有多個這樣的函數串行或者并行組成。

一個簡單的圖片識別的例子，如下圖所示

文中也介紹到要確定神經網絡的層數和每一層的神經元個數需要我們不斷的嘗試和糾正另外也要靠一些直覺。

2.深度學習組件

訓練數據，學習目標，損失，總損失。他們之間的關系是，我們通過訓練數據要達到一定的學習目標，在這個目標情況下，總損失最小。

我們是以函數為訓練目標的，函數結構事先定義好，參數先隨機生成。將前向計算得到的結果和我們的預期結果對比計算出loss，得到總loss，然后根據設定的梯度下降算法（Gradient Descent）更新參數。而更新

3.為什么要深度學習

實踐證明，參數越多，性能越好；Fat+Short 比 Thin + Tall性能差。

深度學習的代碼編寫者有兩種角色，一種是正常角色，即搭積木的孩子；一種非正常角色，即寫函數的大佬。目前的科學研究大部分在于調節深度學習的結構，優化參數等操作。

4 recipe of deep learning

選擇合適損失函數，mini-batch，激活函數，可適應學習率，momentum，early stop， 正則化， 網絡結構。

損失函數有那些：square error，cross entropy
mini-batch：batch是我們選擇的一個處理單位，表明一次取多少數據進行處理
激活函數：ReLU，Sigmoid，Maxout
學習率：學習率太高，則總損失在每次更新后可能不會下降，如果學習率太低，則訓練過程會很慢
momentum：momentum是梯度下降法中一種常用的加速技術。（https://www.zhihu.com/question/24529483）
early stopping: 學習目標由訓練數據定義，而訓練數據和測試數據往往不一樣，因此我們需要確保訓練數據訓練出來的參數適應于測試數據，不要出現過擬合現象。
正則化：weight decay是一種正則化手段，weight decay是放在正則項（regularization）前面的一個系數，正則項一般指示模型的復雜度，所以weight decay的作用是調節模型復雜度對損失函數的影響，若weight decay很大，則復雜的模型損失函數的值也就大
dropout：是指隨機去掉神經網絡中的某些神經元達到優化訓練過程（http://www.cnblogs.com/dupuleng/articles/4341265.html）
網絡結構：各種cnn模型（Inception v1,v2,v3等）

有錯誤的話歡迎指正~

總結

以上是生活随笔為你收集整理的一天搞懂深度学习—学习笔记1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。