機器學習基礎(林軒田)筆記之七 The VC Dimension

復習

在上一節課程中我們介紹了：

1.確保舉一反三(訓練時和測試時的表現類似，即)的條件；

2.成長函數的上限函數；

3.VC Bound，若果在假設集中有任何一個假設發生壞事情，這件事的幾率，

4.舉一反三，機器學習可行的條件。

Definition of VC Dimension

VC維度是給最大的非斷點的定義，即k-1。

下面回顧之前的例子，
VC維存在的意義：

VC Dimension of Perceptrons

在有了VC維的概念之后，我們回到之前介紹的第一個機器學習算法，感知器學習算法(PLA)。

現在我們要解決的問題是這個演算法可不可以用在多維度的數據上。

查看之前的例子，得出猜想，

證明思路，

證明

在二維上(0,0),(1,0),(0,1)會被shatter。

證明，先以2維為例

現行依賴會限制分類的方式dichotomy。

推廣，

Physical Intuition of VC Dimension

VC維的物理意義是假設集做二元分類時到底有多少自由度，即假設集能產生多少dichotomy。

看看之前的例子，

從例子大概得出，VC維大致上表示有多少可以調的旋鈕，即有多少參數(不總是對的)。

VC維是我們用來衡量假設集的自由度的量，在第五講中我們用M來衡量假設集的物理量。

Interpreting VC Dimension

現在我們來更進一步的理解VC維。

VC Bound:

那么有比大的幾率會發生好事情

進一步：

從而知道VC維告訴我們：

VC Boung的另外一個意思：樣本復雜度：

理論上N一般為10000倍的VC維，實際上10倍的VC維即可。

總結

以上是生活随笔為你收集整理的机器学习基础(林軒田)笔记之七的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。