一般講SVM時都是與感知機為基礎的，這是因為二者中對數(shù)據(jù)的模擬都是f(x)=wx+b，很相似。

但是，感知機的缺點在于：一、只能對線性可分的數(shù)據(jù)集建模，若數(shù)據(jù)集線性不可分，則算法無法收斂；二、感知機算法的結果與選取的初值有關，即結果不是穩(wěn)定的，也不能保證是最優(yōu)的。

SVM其實相當于是對感知機算法的改進，在SVM中，對感知機算法的兩個缺點都有相應的解決方法，并得到了較好的實驗結果，因此，感知機算法基本只是作為了解和學習SVM（或ANN）的基礎存在，實際中很少有直接使用的。

SVM中，如何保證結果最優(yōu)呢？這在于SVM中引入了“間隔”的概念，這是與感知機的重要區(qū)別。不要小看這個區(qū)別，在感知機中，評價函數(shù)是使用分類錯誤率來表示的。這是最原始和最基本的想法，但缺點是：分類錯誤率中，只要是將數(shù)據(jù)點分類錯誤，那么，不管這個數(shù)據(jù)與分類面之間的距離是多是少，是錯了一點點還是錯了很多，其表示結果都是一樣的。這樣的表示是很粗糙的，因為，從人的角度來看，把一個離分類面很遠的點錯分要比把很近的點錯分嚴重的多。因此，在SVM中通過引入了間隔的概念，不再使用分類錯誤率而是使用分類面與數(shù)據(jù)點之間的總間隔作為評價函數(shù)，這樣，將“粗糙”的分類錯誤率表示變成了“精細”總間隔距離表示，從而保證了在總間隔最小時，得到的分類面是最優(yōu)的解。

SVM中，可以克服感知機的缺點，對不是線性可分的數(shù)據(jù)集分類嗎？答案是可以的。對于線性可分的數(shù)據(jù)集，如上個問題描述，通過總錯分間隔最大化，我們可以得到硬間隔支持向量機（此時與感知機的區(qū)別在與使用了總錯分間隔作為評價函數(shù)）；而對與近似線性可分數(shù)據(jù)集（即，除了數(shù)據(jù)集中有個別的噪聲點，其他數(shù)據(jù)點線性可分），通過引入了松弛變量的概念，從而對SVM進行了擴展，不再是需要將全部點分類正確，而是可以容忍將個別點分類錯誤，只需要保證全局的總間隔是最小的就可以了。這一個從“只能分類正確”到“可以容忍部分錯誤”是一個很大的進步，稱為軟間隔最大化，得到的SVM叫做軟間隔SVM。但是，這還是不夠，如果說數(shù)據(jù)集線性不可分呢？這時候，就需要引入一個高維空間的概念，通過將數(shù)據(jù)點映射到高維空間，我們在高維空間中，通過使用軟間隔最大化來得到SVM，從而對數(shù)據(jù)點進行分類。這樣就可以解決線性不可分數(shù)據(jù)集的問題了。然而，這樣又引入了一個新的問題，就是，我們把數(shù)據(jù)點映射到什么樣的高維空間呢？在高維空間中如何進行計算呢？問題變多了。。。不過不急，在這里，我們發(fā)現(xiàn)，在計算間隔的時候，我們根本用不到高維空間的坐標什么的，我們需要的只是數(shù)據(jù)點在高維空間中的內積。換句話說，我們根本不需要知道所映射到的高維空間是什么樣的，也不用管在高維空間中是怎么計算的，只需要知道數(shù)據(jù)點之間在高維空間中的內積的結果就行了。那么，不知到高維空間是什么樣的，也不知道高維空間怎么計算，這樣可以知道高維空間中的內積嗎？答案是可以，我們只需要引入一個“核函數(shù)”的概念，設為k(x1,x2)=z(x1)*z(x2)，其中，z(x)表示x在高維空間的表示，等號右邊表示兩個數(shù)據(jù)點x1，x2在高維空間中的表示的內積，左邊表示核函數(shù)k(x1,x2)，這樣，就可以通過核函數(shù)計算高維空間中的間隔，從而在高維空間中使用軟間隔最大化，得到數(shù)據(jù)點的分類了。

PS：SVM與感知機的區(qū)別還有一點，在于：SVM中，定義得到的最佳分類面只與最相近的“支持向量”有關，也就是說，在最終得到的最優(yōu)分類面的位置進行上下平移，所碰到的第一批（并不一定是一個）數(shù)據(jù)點就決定了最優(yōu)分類點的位置（即為：上下第一批分類點的位置中間），這個最優(yōu)分類面的位置與其他點無關。這也是“支持向量機”這個名字的由來。

總結

以上是生活随笔為你收集整理的SVM的提出的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。