支持向量機SVM——間隔最大化

• • 1.超平面
  • 2.函數間隔和幾何間隔
  • 3.間隔最大化

本文主要參考《機器學習》、《統計學習方法》。
支持向量機主要分類三類：線性可分支持向量機（數據線性可分時），線性支持向量機（數據近似線性可分），非線性支持向量機（數據線性不可分）。這里先考慮最簡單的情況，即當數據線性可分時。

1.超平面

對于2分類的邏輯回歸而言，假設特征數為2，那么我們訓練模型的過程通過梯度下降不斷更新參數迫近全局最優解，擬合出一條直線作為決策邊界，使得以這個決策邊界劃分出來的分類結果誤差最低。

當特征數量超過2，這個時候我們用來分割不同類別的“線”就成為了一個面，簡稱超平面（hyperplane），超即是多維的意思（二維就是一條線，三維就是一個面，多維就是超平面）。劃分超平面可用如下線性方程表示：
$$w^{T}x+b=0$$
其中$w=(w_1,w_2,...,w_d{)}^T$是法向量，$b$是位移。（向量一般用列向量表示）

如果我們要用一條直線來將下面這張圖中的兩種類別（“+”和“-”）分開，可看到可分離的直線是有多條的，如下圖所示：

直觀上我們應該選紅色的這條線，感覺它是“最能”分開這兩種類的。因為如果選擇黑色的線，那么可能存在一些點剛好越過黑色的線，導致被錯誤分類，但是紅線的容錯率會更好，也就不容易出錯。

例如下面這種情況，如果我選擇綠色的線，如果新來一個需要預測的樣本（藍色的點）本來屬于“+”，但是卻會被分到“-”這一類，但是紅線就不會，即紅線所產生的分類結果是最魯棒的，對未見示例的泛化能力最強。

紅色的這條決策邊界就是通過間隔最大化求得的，并且是唯一。在了解間隔最大化之前先了解一下函數間隔和幾何間隔的概念。

2.函數間隔和幾何間隔

一般來說，一個點距離超平面的遠近可以表示分類預測的確信程度。例如圖中A、B、C三個點，都在超平面的正類一側，但是點A距離超平面較遠，就比較確信預測是正確的，而C距離超平面較近，所以預測C為正類就不那么確信。

(1)函數間隔：對于給定訓練集和超平面（w，b），定義超平面（w，b）關于樣本點$(x_i,y_i)$的函數間隔為：
$$\widehat{r_i}=y_i(w^T{x}_i+b)$$
定義超平面$(w,b)$關于訓練集的函數間隔為超平面關于訓練集中所有樣本點的函數間隔的最小值：
$$\hat{r}=mi{n}_{(i=1,..,N)}\widehat{r_i}$$
可以看到當$w,b$成比例變化時，超平面沒有改變但是函數間隔變了，因此可以對$w,b$做相應的約束，就得到了幾何間隔。

(2)幾何間隔：對于給定訓練集和超平面（w，b），定義超平面（w，b）關于樣本點$(x_i,y_i)$的集合間隔為：
$$r_i=\frac{y_i(w^T{x}_i+b)}{||w||}$$
定義超平面$(w,b)$關于訓練集的函數間隔為超平面關于訓練集中所有樣本點的幾何間隔的最小值：
$$r=mi{n}_{(i=1,..,N)}{r}_i$$

這里的幾何間隔就是點到平面的距離公式，因為y為1或-1，且當前數據集線性可分，所以和$\frac{|w^T{x}_i+b|}{||w||}$是等價的。

3.間隔最大化

因為當$w,b$成比例變化時，函數間隔也會成比例變化，而幾何間隔是不變的，所以要考慮幾何間隔最大化，即我們要求解間隔最大化的超平面的問題就變成了求解如下帶約束的優化問題：
$$\{\begin{array}{l}ma{x}_{w,b}r\\ s.t.\frac{y_i(w^T{x}_i+b)}{||w||}\ge r,i=1,2,..,N\end{array}$$

上面的約束條件表示對于訓練集中所有樣本關于超平面的幾何距離都至少是r。又因為函數間隔和幾何間隔之間存在這樣的關系：$r=\frac{\hat{r}}{||w||}$，所以上面的優化問題可以寫成如下形式：
$$\{\begin{array}{l}ma{x}_{w,b}\frac{\hat{r}}{||w||}\\ s.t.y_i(w^T{x}_i+b)\ge \hat{r},i=1,2,..,N\end{array}$$

又因為當$w,b$成比例變為$\lambda w,\lambda b$，函數間隔變為$\lambda \hat{r}$($\lambda >0$)，雖然改變了函數間隔但是不等式約束依然滿足，并且超平面也沒有變，所以$\hat{r}$的取值并不影響目標函數的優化，因此為了方便計算可以令$\hat{r}=1$，并且由于最大化$\frac{\hat{r}}{||w||}$和最小化$\frac{||w|{|}^2}{2}$是等價的，所以優化問題可以寫成如下形式：
$$\{\begin{array}{l}mi{n}_{w,b}\frac{||w|{|}^2}{2}\\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,..,N\end{array}$$
并且使得上面等式成立的點也被稱為支持向量（support vector）

下一篇 [支持向量機SVM(2)——拉格朗日乘數法]

總結

以上是生活随笔為你收集整理的支持向量机SVM(1)——间隔最大化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。