到底為什么基于反向傳播的純監(jiān)督學(xué)習(xí)在過去表現(xiàn)不佳？Geoffrey Hinton總結(jié)了目前發(fā)現(xiàn)的四個(gè)方面問題：

帶標(biāo)簽的數(shù)據(jù)集很小，只有現(xiàn)在的千分之一. 計(jì)算性能很慢，只有現(xiàn)在的百萬分之一. 權(quán)重的初始化方式笨拙. 使用了錯(cuò)誤的非線性模型。

深度學(xué)習(xí)=許多訓(xùn)練數(shù)據(jù)+并行計(jì)算+規(guī)模化、靈巧的的算法

---

鏈?zhǔn)椒▌t

---

---

反向傳播

---

直接套用鏈?zhǔn)椒▌t

先計(jì)算鏈?zhǔn)椒▌t里面的第一項(xiàng)

計(jì)算鏈?zhǔn)椒▌t第二項(xiàng)，第二項(xiàng)繼續(xù)使用鏈?zhǔn)椒▌t

鏈?zhǔn)椒▌t第二項(xiàng)，第二項(xiàng)的鏈?zhǔn)椒▌t

第二項(xiàng)鏈?zhǔn)椒▌t的簡寫

---

分情況考慮

---

如果正好是最后一層，即output layer

如果不是最后一層，一直不斷的計(jì)算，直到最后一層output layer.

---

直接從最后一層開始計(jì)算

---

---

參考文獻(xiàn)

---

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

總結(jié)

以上是生活随笔為你收集整理的李宏毅机器学习课程7~~~反向传播的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。