1 線性可分的數據集

1.1 超平面

SVM的思想是找到最大間隔的分隔超平面。

在兩個分類中，找到能夠一條線，以最好地區分這兩個分類。這樣如果有了新的點，這條線也能很好地做出分類。
這樣的線在高維樣本中的時候就叫做超平面。

1.2 幾何間隔與函數間隔

圖中綠線h1效果不好，h2效果還行，h3效果最好。怎么區分效果好不好？
如果超平面$w.x+b=0$已經存在，那么樣本點距離超平面的距離能夠表示預測的確信程度。$|w.x+b|$能夠相對地表示點x距離超平面的距離。而$w.x+b$的符號與標記y的符號是否一致表示分類是否正確。那么就可以用$y(w.x+b)$表示分類的正確性和確信程度，這就是函數間隔。

函數間隔：超平面(w,b)關于樣本點($x_i$,$y_i$)樣本點的函數間隔為：$\widehat{r_i}=y_i(w.x_i+b)$
超平面(w,b)關于數據集T的函數間隔，為所有樣本點的函數間隔的最小值：$\hat{r}=mi{n}_{i=1,2...N}\widehat{r_i}$

函數間隔的問題是如果成比例的改變w和b，例如改為2w+2b，超平面不變，函數間隔卻變成了原來的兩倍。如果規范化之后就會使得間隔是確定的。這時候函數間隔就變成了幾何間隔。
幾何間隔：對于給定數據集T和超平面(w,b)，w是超平面的法向量，樣本點($x_i$,$y_i$)的幾何間隔為：$r_i=y_i\frac{w.x+b}{||w||}$

超平面(w,b)關于數據集T的幾何間隔，為所有樣本點的幾何間隔的最小值：$r=mi{n}_{i=1,2...N}{r}_i$

1.3 目標函數

目標函數：最大化幾何間隔r：$maxr=max\frac{\hat{r}}{||w||}$
s.t. $y_i(w.x_i+b)>=\hat{r},i=1,2,3...N$
令$\hat{r}=1$（這里等于1，沒有特別的含義，只是好計算，不影響結果），那么目標函數變為:$max\frac{1}{||w||}$，$min||w||$，$min\frac{1}{2}||w|{|}^2$，
s.t. $y_i(w.x_i+b)>=\hat{r},i=1,2,3...N$

用拉格朗日乘子法：
$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2?{\sum }_{i=1}^N{\alpha }_i{y}_i(w.x_i+b)+{\sum }_{i=1}^N{\alpha }_i$

分別對w、b、求導得到：$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$，${\sum }_{i=1}^N{\alpha }_i{y}_i=0$

這樣代入上面的式子得到：$L(w,b,\alpha )=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i.x_j)+{\sum }_{i=1}^N{\alpha }_i$

1.4 支持向量

在線性可分情況下，訓練數據集中的樣本點中距離分離超平面最近的樣本點稱為支持向量。

2 線性近似可分

訓練樣本中有一些點不滿足函數間隔>=1的約束。
解決方法：是對每一個樣本引入一個松弛變量${?}_i>=0$使得函數間隔大于等于1。約束條件變為:$y_i(w.x_i+b)>=1?{?}_i$
目標函數：min $\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{?}_i$
s.t. $y_i(w.x_i+b)>1?{?}_i,i=1,2,3...N$
${?}_i>=0,i=1,2,3...N$

拉格朗日函數變為：$L(w,b,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{?}_i?{\sum }_{i=1}^N{\alpha }_i(y_i(w.x_i+b)?1+{?}_i)+{\sum }_{i=1}^N{\mu }_i{?}_i$

經過求導替換得到：$minL(w,b,\alpha ,\mu ,?)=?\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i.x_j)+{\sum }_{i=1}^N{\alpha }_i$

3 非線性支持向量機與核函數

對于線性不可分的問題通過一個變換，將低緯度的非線性問題變換為高緯度的線性問題。通過變換后的線性問題求解原來的非線性問題。
核函數定義：設X是輸入空間，H為特征空間，如果存在一個從X到H的映射，$?(X):X?>H$，使得對所有的$x,z\in X$，函數K(x,z)滿足條件：$K(x,z)=?(x)?(z)$，則稱K(x,z)為核函數，$?(x)$為映射函數。
核函數技巧的核心是，只需要定義核函數，而不是定義映射函數。因為通常直接計算K(x,z)更容易，而計算$?(x)?(z)$不容易，計算量還很大。

所以目標函數變為：$L(w,b,\alpha ,\mu ,?)=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i.x_j)?{\sum }_{i=1}^N{\alpha }_i$

常用核函數為高斯核函數、多項式核函數。

三個類型討論到后面使用SMO解決問題。

總結

以上是生活随笔為你收集整理的第三课 SVM（2）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。