按照自己的理解初步的推導一下的SVM的原理，持續還會有更新，不斷地加入新的內容。
SVM是一種二分類方法，是一種可以解決線性、非線性的分類算法，SVM的核心觀點是在兩類數據間找到一個線性“超平面”，使其與兩類數據間隔最遠，接下來我們按照這個思路對SVM進行推導，敘述大致思路，省略數學計算。
我們率先討論線性可分問題，即可用一條線性直線（在二維空間，三維空間是線性平面，更高維是超平面，為便于表示我們假設二維空間）將兩類分開，如下所示，定義$f(x)=w^{T}x+b$分類函數，$w$代表權重，$x$代表數據特征，$b$代表偏置，$w^{T}x+b=0$代表分類直線，當結果大于0時代表在分類直線上方，當結果小于0時代表在分類直線下方。

首先我們需要對間隔有一個定義，先給出一個間隔定義，名為函數間隔，functional margin。定義$y$為每個數據的實際類別($label$)，用+1和-1分別表示兩類，圖中圈圈為正類別+1，叉叉為負類別-1。
對每個函數點，定義${\gamma }_i=y^{(i)}f(x)$，用$label$乘以分類函數結果，當數據為正類，$y^i$和$f(x)$均為正值，相乘結果為正，相反，當數據為負類，相乘結果為仍為正值，這樣，我們就定義了一個恒正的間隔值，成為函數間隔。接著，對于每一個函數點，我們取一個最小值，代表這組數據的函數間隔，
$${\gamma }_f=\min {\gamma }_{i(i=1,2,3,...,n)}$$
可是僅僅使用函數間隔來表示是不夠的，因為當成比例的改變$w$和$b$，比如改變為$2w$何$2b$，此時分割平面的位置沒有改變，而函數間隔卻改變了，這樣是不嚴謹的，我們需要加入約束條件，使其規范化。

定義圖中的$\gamma$的為幾何間隔，geometrical margin，$w$實際上為法向量，我們對其進行推導，根據已知條件列出方程組，
$$\{\begin{array}{c}{x}_1=x_0+{\gamma }_i\frac{w}{||w||}\\ w^T{x}_0+b=0\end{array}$$求得結果為$${\gamma }_i=\frac{f(x)}{||w||}$$
因為距離非負性，將結果乘以$y_i$，得到$${\gamma }_i=\frac{y_{i}f(x)}{||w||}$$對所有函數點，取最小值$${\gamma }_g=\min \frac{y_{i}f(x)}{||w||}(i=1,2,3,...,n)=\frac{{\gamma }_f}{||w||}$$可以看出，幾何間隔實際上就是函數間隔除以$||w||$。
我們的目的是尋找一個最大間隔分類器，因此我們要讓函數間隔最大化，即
$$max{\gamma }_g$$
為簡化計算，我們令函數間隔${\gamma }_f=1$，最后的求解即為
$$\max \frac{1}{||w||},s.t.y_i(w^T{x}_i+b)\ge 1，i=1,...,n$$
未完待續

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的简述SVM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。