SVM說白了，就分三種應用方式：

??? （1）線性可分（硬間隔）

??? （2）線性不可分，但大致可分（軟間隔）

??? （3）線性不可分，最優超平面誤差極大，如異或問題區分{(0,0),(1,1)}和{(0,1),(1,0)}這兩類，超平面無最優解，至少都有50%的誤差，于是就要用到傳說中的核函數（核技巧）

?????? 這篇文章將通過簡單的例子，解釋下這傳說中的核技巧思想。其實說到底，SVM是數據挖掘中較為高效的二分類算法，但是如果遇到了線性不可分的情況（異或問題），SVM仍然想完成線性可分，那么在原來的樣本空間內顯然無法完成，但根據Cover模式可分性定理——指不定把樣本映射到一個更高維的空間就可以實現線性可分了，于是核技巧應運而生！即通過核函數將原來的m0維的樣本轉換到另一個m1維空間（m1>=m0）：

??????? 假設存在線性不可分的N個m0維的向量?? x1,...,xN，分為C1和C2兩類，于是可通過這樣一組函數（輸入為向量，輸出為一實數）：φ1(x),φ2(x),...,φm1(x) 是是，就可以將m0維的樣本轉換為m1維向量，即令m1維?=[φ1(x),φ2(x),?,φm1(x)]T，而向量? 可被認為是被映射到高維空間之后的輸入數據x。φi(x)稱為隱藏函數，其組成的向量?所在的空間稱為隱藏空間或特征空間。

????????如果樣本在m1維空間里的映射恰巧線性可分，那么問題便簡化為一個硬間隔線性可分問題。所以說白了，傳說中的核技巧就是對初始樣本進行非線性變換，在另一個高維空間找到最優超平面完成對樣本映射的二分類，而那個高維空間的最優超平面映射回初始樣本空間就變成了一個最優超曲面。下面舉個簡單的例子：

?????? 異或問題，將點(0,0)和(1,1)歸于類A，點(0,1)和點(1,0)歸于類B。我們可以通過這樣一組變換函數：

????????????????????????????????????????????φ1(x)=exp(?∥x?t1∥2)

????????????????????????????????????????????φ2(x)=exp(?∥x?t2∥2)???????????????????

這就是高斯隱藏函數，雖然只有兩個隱藏函數，所以對應的高維空間也只有二維，但是已經可以實現線性可分。其中t1=(1,1)，t2=(0,0)；也就是將樣本點x與點(1,1)和點(0,0)的距離作為函數變量。轉換之后結果如下,顯然已經線性可分。

?

轉換前	轉換后
（0，0）	（0.1353，1.000）
（0，1）	（0.3678，0.3678）
（1，0）	（0.3678，0.3678）
（1，1）	（1.000，0.1353）

總結

以上是生活随笔為你收集整理的SVM——传说中的核技巧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。