最近在配合花書看臺大李宏毅的DeepLearning課程，其中遇到了Gradient Descent（梯度下降）的知識，感覺不是很熟練。想到之前老師給買過一本日本涌井良幸的《深度學(xué)習(xí)的數(shù)學(xué)》，其中對這部分講解的比較淺顯易懂，于是打算二刷一遍這本書，并借助MarginNote將書中重點標(biāo)記總結(jié)。

此篇博文將記錄所有的總結(jié)，二刷完成之后，再將知識進行分章放置，暫時先按照自己二刷時間排序。

關(guān)于《深度學(xué)習(xí)的數(shù)學(xué)》，喜歡此本書的同學(xué)可以評論私信我郵箱，給你們分享。因為上傳資源顯示有重復(fù)的，就不再上傳了。

目錄

• 第 1 章 神經(jīng)網(wǎng)絡(luò)的思想
  • 1-1 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
  • 1-2 神經(jīng)元工作的數(shù)學(xué)表示
  • 1-3 激活函數(shù):將神經(jīng)元的工作一般化
  • 1-4 什么是神經(jīng)網(wǎng)絡(luò)
  • 1-5 用惡魔來講解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
  • 1-6 將惡魔的工作翻譯為神經(jīng)網(wǎng)絡(luò)的語言
  • 1-7 網(wǎng)絡(luò)自學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)
• 第 2 章 神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)
  • 2-1 神經(jīng)網(wǎng)絡(luò)所需的函數(shù)
  • 2-2 有助于理解神經(jīng)網(wǎng)絡(luò)的數(shù)列和遞推關(guān)系式
  • 2-3 神經(jīng)網(wǎng)絡(luò)中經(jīng)常用到的$\sum$符號
  • 2-4 有助于理解神經(jīng)網(wǎng)絡(luò)的向量基礎(chǔ)
  • 2-5 有助于理解神經(jīng)網(wǎng)絡(luò)的矩陣基礎(chǔ)
  • 2-6 神經(jīng)網(wǎng)絡(luò)的導(dǎo)數(shù)基礎(chǔ)
  • 2-7 神經(jīng)網(wǎng)絡(luò)的偏導(dǎo)數(shù)基礎(chǔ)
  • 2-8 誤差反向傳播法必需的鏈?zhǔn)椒▌t
  • 2-9 梯度下降法的基礎(chǔ):多變量函數(shù)的近似公式
  • 2-10 梯度下降法的含義與公式
  • 2-11 用 Excel 體驗梯度下降法
  • 2-12 最優(yōu)化問題和回歸分析
• 第 3 章 神經(jīng)網(wǎng)絡(luò)的最優(yōu)化
  • 3-1 神經(jīng)網(wǎng)絡(luò)的參數(shù)和變量
  • 3-2 神經(jīng)網(wǎng)絡(luò)的變量的關(guān)系式
  • 3-3 學(xué)習(xí)數(shù)據(jù)和正解
  • 3-4 神經(jīng)網(wǎng)絡(luò)的代價函數(shù)
  • 3-5 用 Excel 體驗神經(jīng)網(wǎng)絡(luò)

書中Excel示例文件

本書中使用的 Excel 示例文件可以從以下網(wǎng)址下載。
http://www.ituring.com.cn/book/2593

注意

• 本書基于Excel 2013執(zhí)筆,不保證示例文件可在其他版本上正常運行。
• 示例文件的內(nèi)容可能會變更。
• 讀者可以隨意變更或改良示例文件的內(nèi)容,但我們不提供支持。

20200219

activation function激活函數(shù)
$$y=a(w_1{x}_1+w_2{x}_2+w_3{x}_3+b)$$

激活函數(shù)的代表性例子是$Sigmoid$函數(shù)$\sigma (z)$，其定義如下。
$$\sigma (z)=\frac{1}{(1+e^{?z})}(e=2.718281...)$$

加權(quán)輸入$z$：
$$z=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$

總結(jié)

以上是生活随笔為你收集整理的《深度学习的数学》二刷总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。