Lecture 1: introduction of deep learning

深度學(xué)習(xí)3步驟：

1.定義神經(jīng)網(wǎng)絡(luò)

2.loss 評價(jià)

預(yù)測值和真實(shí)的測試數(shù)據(jù)的目標(biāo)值進(jìn)行比對，它們的差距就是Loss。一個(gè)好的神經(jīng)網(wǎng)絡(luò)應(yīng)該使loss盡可能小。
3.獲取最佳的神經(jīng)網(wǎng)絡(luò)參數(shù)（學(xué)習(xí)方法）
采用梯度下降算法

Lecture II：Tips for Training DNN

A.網(wǎng)絡(luò)優(yōu)化訓(xùn)練

選擇合適的Loss function：使用Cross Entropy效果要優(yōu)于Mean Square Error。（When using softmax output layer,choose cross entropy）

Mini-batch: 每次訓(xùn)練使用少量數(shù)據(jù)而不是全量數(shù)據(jù)效率更高

Activation Function：使用ReLU替代Sigmoid可以解決梯度消失的問題，可以訓(xùn)練更深的神經(jīng)網(wǎng)絡(luò)

Adaptive Learning Rate：可以隨著迭代不斷自我調(diào)整，提高學(xué)習(xí)效率）

Momentum: 可以一定程度上避免陷入局部最低點(diǎn)的問題

B.避免過擬合

避免過度擬合（overfitting）的方法：

• Early Stopping：使用cross validation的方式，不斷對validation
  data進(jìn)行檢驗(yàn)，一旦發(fā)現(xiàn)預(yù)測精度下降則停止。
• Weight Decay：權(quán)值
• Dropout：通過隨機(jī)去掉一些節(jié)點(diǎn)的連接達(dá)到改變網(wǎng)絡(luò)形式，所以會產(chǎn)生出多種網(wǎng)絡(luò)形態(tài)，然后匯集得到一個(gè)最佳結(jié)果
• Network Structure: 例如CNN等其他形態(tài)的網(wǎng)絡(luò)

Lecture III：Variants of Neural Networks

A. Convolutional Neural Network (CNN)

通常情況下，一個(gè)CNN包含多次的卷積、池化，然后Flatten，最終再通過一個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)預(yù)測。CNN在圖像、語音識別取得非常好的成績，核心的想法在于一些物體的特征往往可以提取出來，并且可能出現(xiàn)在圖片的任何位置，而且通過卷積、池化可以大大減少輸入數(shù)據(jù)，加快訓(xùn)練效率。
典型CNN包括以下步驟：

Convolution（卷積）

Max Pooling

Flatten

B. Recurrent Neural Network (RNN)

（。。。）

參考：
[1]Deep Learning Tutorial .李宏毅
[2]https://mp.weixin.qq.com/s?__biz=MzI0OTQwMTA5Ng==&mid=2247484026&idx=1&sn=b7ce43461f35dc94dd314b90fbc1318b&chksm=e993581ddee4d10b345410489ce10367decb7d03a724bc16f9579dc89321036360479f387b55&mpshare=1&scene=23&srcid=#rd

總結(jié)

以上是生活随笔為你收集整理的李宏毅深度学习ppt总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。