相關視頻（B站）

2021-（上）-機器學習基本概念簡介
2021-（下）-深度學習基本概念簡介

說明

李宏毅老師的機器學習課程主要內容是深度學習，傳統機器學習內容推薦吳恩達老師的機器學習課程。
由于我先學過吳恩達老師的機器學習課程，所以該課程筆記很多地方就簡單記錄一下。

一、2021-（上）-機器學習基本概念簡介

這節內容就是簡單介紹一下機器學習的概念，講了機器學習的三大步驟。（這三大步驟放在深度學習同樣適用，畢竟深度學習是機器學習的子集）

1.機器學習是什么？

機器學習就是讓機器具備找一個函式的能力。

2.ML三大任務

• Regression，回歸問題（輸出為連續數值）
• Classification，分類問題（輸出為離散數值）
• Structured learning，結構學習（輸出為一個有結構的內容，如一張圖畫、一段文字）

3.機器學習步驟

• Function with unknown parameters(寫出一個帶有未知參數的函數)
  （Ex. Linear Model y=wx+b. 這里y即是一個model，w、b為待訓練的參數）

• Define loss fun from training data(定義loss函數)

• Optimization(優化的方法為Gradient decent)

4.Error Surface

不同的w跟b的組合,都去計算它的Loss,然后就可以畫出以下這一個等高線圖

在這個等高線圖上面,越偏紅色系,代表計算出來的Loss越大,就代表這一組w跟b越差,如果越偏藍色系,就代表Loss越小,就代表這一組w跟b越好.

4.Domain Knowledge

通常一個模型的修改來自你對這個問題的理解，即Domain Knowledge。

二、2021-（下）-深度學習基本概念簡介

這一節解釋了深度學習為什么能擬合非線性函數

1.擬合一條分段折線

對于下面這條紅線（piecewise linear curve），你永遠不能用Linear Model來很好的擬合它。所以我們需要一個更加有彈性的，有未知參數的Function。

我們可以觀察一下紅色的這一條曲線,它可以看作是一個常數,再加上一群藍色的這樣子的 Function,.
這個藍色的 Function,它的特性是

• 當輸入的值,當 x 軸的值小於某一個這個 Treshold 的時候,它是某一個定值
• 大於另外一個 Treshold 的時候,又是另外一個定值,
• 中間有一個斜坡
  
  那么這條紅線就可以由這四條藍線相加得到。事實上，
• 任何piecewise linear curve（分段線性線段）都可以看作是一個常數，再加上一堆藍色的Function。
• 任何連續曲線，你只要取足夠多的轉折點，你都能用piecewise linear curve去逼近他

2.怎么表示這個藍色折線呢？

那么如何來表示這個藍色的折線呢（即Hard Sigmoid）？這里用了Sigmoid函數，它可以逼近Hard Sigmoid。

我們只需要調整w、b、c的值就可以制造不同形狀的Sigmoid Function。

所以你只要有不同的 w 不同的 b 不同的 c，你就可以製造出不同的 Sigmoid Function，把不同的Sigmoid Function 疊起來以后，你就可以去逼近各種不同的Piecewise Linear 的 Function，然后Piecewise Linear 的 Function，可以拿來近似各種不同的 Continuous 的 Function。

3.再多考慮多個輸入的特征

上面我們僅僅考慮了一個feature，那么再多考慮多個輸入的特征要怎么做呢？我們這里用

• i來表示不同的sigmoid函數
• j來表示Feature的編號。

這邊本來是

我們把Sigmoid替換掉里面的東西，得到

這里用圖形的方式來展示，其實就是單層的神經網絡。

4.深度學習

如果我們這里把輸出的a1、a2、a3作為input，再多做幾次，那其實就是Deep Learning了。

5.ReLU（額外內容）

Hard Sigmoid的表示方法這里一定要用Sigmoid嗎？其實也可以用ReLU函數。一個Hard Sigmoid就是兩個ReLU相加得到的。

ReLU的式子寫作

總結

以上是生活随笔為你收集整理的机器学习笔记（李宏毅 2021/2022）——第一节：基本概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。