本系列是七月算法機器學習課程筆記

文章目錄

• 1 問題
• 2 key idea 1
• 3 key idea 2
• 4 key idea 3
• 5 key idea4
• 6 拉格朗日乘子求解
• 7 核函數的發現

學習SVM不要先看數學公式，這樣把SVM的精華都丟掉了。學習SVM學習作者是如何構建出這樣一個算法的過程。

1 問題

無論線性分類、邏輯回歸、決策樹都是要找到一個決策邊界。但是這個決策邊界什么時候最好呢？

就像圖中這樣，答案應該是線條3最好，它的泛化能力更強。那怎么找到這樣的一條線呢？

2 key idea 1

目標是要找到最寬的那條街道(widest street way)。

假設這條線已經存在，可以做這條線的法向量$w$，那么對于需要預測的一個點，記作向量$u_x$，那么$u_x$在法向量上的投影和截距b有這樣一個關系：如果$u_{x}w+b>=0$，則是屬于正分類。否則屬于負分類。u是屬于任意一個樣本。

3 key idea 2

根據上面的式子，我們可以要求如下：
對于訓練集中的正樣本$x_{+}w+b>=1$
對于訓練集中的負樣本$x_{?}w+b<=?1$
對于訓練集中的站在街邊的點取到等于號。

用$y_i$乘以上面的式子會發現兩個條件變成一個條件了。
先看正樣本，$y_i=1$，$y_i?(x_{i}w+b)>=1?1$ 得到 $x_{i}w+b>=1$

再看負樣本，$y_i=?1$， $y_i?（x_{i}w+b)>=?1?(?1)$，得到$y_i(x_{i}w)+b>=1$

所以對于訓練集中的每一個樣本有這樣一個約束：$y_i(x_{i}w+b)>=1$
站在街邊的樣本取到等于號。

4 key idea 3

取訓練集中站在街邊的一個正樣本$x_{+}$，一個負樣本$x_{?}$，可以得到一個$x_{+}?x_{?}$(圖中紅色的向量)

這條街的寬度就是紅色向量在法向量上的投影。

$width=(x_{+}?x_{?})\frac{w}{|w|}$
對于站點街上的正樣本,因為$y_i(x_{+}w+b)=1$，得到$x_{+}w=1?b$

對于站點街上的負樣本,因為$y_i(x_{?}w+b)=1$，得到$x_{?}w=?1+b$

代入上面的式子
$width=(x_{+}?x_{?})\frac{w}{|w|}=\frac{2}{|w|}$

推到到這里，發現這個寬度和數據集沒有關系。

要想width最大，那就應該$\frac{2}{|w|}$最大，那么就$|w|$最小，那就$\frac{1}{2}|w{|}^2$最小。

到現在的結論是：$min(\frac{1}{2}|w{|}^2)$，約束條件是:$y_i(x_{i}w+b)?1=0$

5 key idea4

現在我們知道目標是要找到最小的$(\frac{1}{2}|w{|}^2)$，在約束條件下：$y_i(x_{i}w+b)?1=0$

使用拉格朗日解決:$L=\frac{1}{2}|w{|}^2?\sum {\lambda }_i[y_i(x_{i}w+b)?1]$

在這個式子中，假設拉格朗日因子$\lambda$已知，w和b是未知數。
首先對w求導取到極值點：$w?\sum {\lambda }_i{y}_i{x}_i=0$，得到$w=\sum {\lambda }_i{y}_i{x}_i$

其次對b求導取到極值點：$\sum {\lambda }_i{y}_i=0$

將剛剛求得的兩個式子帶回到拉格朗日式子：
$L=\frac{1}{2}|w{|}^2?\sum {\lambda }_i[y_i(x_{i}w+b)?1]$

$=\frac{1}{2}\sum {\lambda }_i{y}_i{x}_i\sum {\lambda }_j{y}_j{x}_j?\sum {\lambda }_i{y}_i{x}_i\sum {\lambda }_j{y}_j{x}_j?\sum {\lambda }_i{y}_{i}b+\sum {\lambda }_i$

$=\frac{1}{2}\sum {\lambda }_i{y}_i{x}_i\sum {\lambda }_j{y}_j{x}_j?\sum {\lambda }_i{y}_i{x}_i\sum {\lambda }_j{y}_j{x}_j+\sum {\lambda }_i$

$=\sum {\lambda }_i?\frac{1}{2}\sum {\lambda }_i{y}_i{x}_i\sum {\lambda }_j{y}_j{x}_j$

$=\sum {\lambda }_i?\frac{1}{2}\sum \sum {\lambda }_i{\lambda }_j{y}_i{y}_j(x_i{x}_j)$

可以看到L取決于兩個樣本的乘積：$x_i{x}_j$

6 拉格朗日乘子求解

拉格朗日乘子：${\lambda }_i$可以使用SMO、KTT、QP來求解。在求解過程中每次以其中兩個數${\lambda }_i$，${\lambda }_j$為未知數進行求導，求得下一輪的值。因為如果只以一個為未知數：${\lambda }_i$那么會存在另外一個${\lambda }_j$和它是線性關系，不能求解。

7 核函數的發現

用來預測的函數:如果$wu+b>=0$，則是屬于正分類。
$\sum {\lambda }_i{y}_i{x}_{i}u+b>=0$

$\sum {\lambda }_i{y}_i(x_{i}u)+b>=0$

$x_{i}u$是向量的點乘，表示一個線性關系。如果樣本線性不可分，怎么辦？一種方法是將每個點升級到高維空間。讓它們在高維空間線性可分。發現找不到這樣的線性函數。上面的式子告訴我們，不用找到每個點的高維空間，只要找到兩個點點乘的高維空間即可。也就是說$K(x_i,x_j)=\Theta (x_i)\Theta (x_j)$

常用的核函數有：
線性核函數：$K(x_i,x_j)=x_i^T{x}_j$
多項式核函數：$K(x_i,x_j)=(\lambda x_i^T{x}_j+r{)}^d$
RBF：$K(x_i,x_j)=e^{\frac{1}{\lambda |x_i?x_j{|}^2}}$

sigmoid函數：$K(x_i,x_j)=tanh(\lambda x_i^T{x}_j+r)$

總結

以上是生活随笔為你收集整理的第三课 SVM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。