支持向量機的發展

自從90年代初經典SVM的提出，由于其完整的理論框架和在實際應用中取得的很多好的效果，在機器學習領域受到了廣泛的重視。其理論和應用在橫向和縱向上都有了發展。

?

理論上：1.模糊支持向量機，引入樣本對類別的隸屬度函數，這樣每個樣本對于類別的影響是不同的，這種理論的應用提高了SVM的抗噪聲的能力，尤其適合在未能完全揭示輸入樣本特性的情況下。

2．最小二乘支持向量機。這種方法是在1999年提出，經過這幾年的發展，已經應用要很多相關的領域。研究的問題已經推廣到：對于大規模數據集的處理；處理數據的魯棒性；參數調節和選擇問題；訓練和仿真。

3．加權支持向量機（有偏樣本的加權，有偏風險加權）。

4．主動學習的支持向量機。主動學習在學習過程中可以根據學習進程，選擇最有利于分類器性能的樣本來進一步訓練分類器，特能有效地減少評價樣本的數量。也就是通過某種標準對樣本對分類的有效性進行排序，然后選擇有效樣本來訓練支持向量機。

5．粗糙集與支持向量機的結合。首先利用粗糙集理論對數據的屬性進行約簡，能在某種程度上減少支持向量機求解計算量。

6．基于決策樹的支持向量機。對于多類問題，采用二岔樹將要分類的樣本集構造出一系列的兩類問題，每個兩類構造一個SVM。

7．分級聚類的支持向量機。基于分級聚類和決策樹思想構建多類svm，使用分級聚類的方法，可以先把n-1個距離較近的類別結合起來，暫時看作一類，把剩下的一類作為單獨的一類，用svm分類，分類后的下一步不再考慮這單獨的一類，而只研究所合并的n-1類，再依次下去。

8．算法上的提高。

l???????? Vapnik在95年提出了一種稱為”chunking”的塊算法，即如果刪除矩陣中對應Lagrange乘數為0的行和列，將不會影響最終結果。

l???????? Osuna提出了一種分解算法，應用于人臉識別領域。

l???????? Joachims在1998年將Osuna提出的分解策略推廣到解決大型SVM學習的算法

l???????? Platt于1998年提出了序貫最小優化（Sequential Minimal Optimization）每次的工作集中只有2個樣本。

???????????? 9．核函數的構造和參數的選擇理論研究。基于各個不同的應用領域，可以構造不同的核函數，能夠或多或少的引入領域知識。現在核函數廣泛應用的類型有：多項式逼近、貝葉斯分類器、徑向基函數、多層感知器。參數的選擇現在利用交叉驗證的方法來確認。

?10．支持向量機從兩類問題向多類問題的推廣：

n???????? Weston在1998年提出的多類算法為代表。在經典svm理論的基礎上，直接在目標函數上進行改進，重新構造多值分類模型，建立k分類支持向量機。通過sv方法對新模型的目標函數進行優化，實現多值分類。這類算法選擇的目標函數十分復雜，變量數目過多，計算復雜度也非常高，實現困難，所以只在小型問題的求解中才能使用。Weston,Multi-class support vector machines

n???????? 一對多（one-against-rest）----- Vapnik提出的,k類---k個分類器，第m個分類器將第m類與其余的類分開，也就是說將第m類重新標號為1，其他類標號為-1。完成這個過程需要計算k個二次規劃，根據標號將每個樣本分開，最后輸出的是兩類分類器輸出為最大的那一類。不足：容易產生屬于多類別的點（多個1）和沒有被分類的點（標號均為-1）--不對，訓練樣本數據大，訓練困難，推廣誤差無界.

n???????? 一對一（one-against-one）---Kressel 對于任意兩個分類，構造一個分類器，僅識別這兩個分類，完成這個過程需要k(k-1)/2個分類器，計算量是非常龐大的。對于每一個樣本，根據每一個分類器的分類結果，看屬于哪個類別的次數多，最終就屬于哪一類(組合這些兩類分類器并使用投票法，得票最多的類為樣本點所屬的類)。不足：如果單個兩類分類器不規范化，則整個N類分類器將趨向于過學習；推廣誤差無界；分類器的數目K隨類數急劇增加，導致在決策時速度很慢。

n???????? 層（數分類方法），是對一對一方法的改進，將k個分類合并為兩個大類，每個大類里面再分成兩個子類，如此下去，直到最基本的k個分類，這樣形成不同的層次，每個層次都用svm來進行分類------1對r-1法，構建k-1個分類器，不存在拒絕分類區。

?

?應用上：人臉檢測，汽輪發電機組的故障診斷，分類，回歸，聚類，時間序列預測，系統辨識，金融工程，生物醫藥信號處理，數據挖掘，生物信息，文本挖掘，自適應信號處理，剪接位點識別，基于支持向量機的數據庫學習算法，手寫體相似字識別，支持向量機函數擬合在分形插值中的應用，基于支持向量機的慣導初始對準系統，巖爆預測的支持向量機，缺陷識別，計算機鍵盤用戶身份驗證，視頻字幕自動定位于提取，說話人的確認，等等。

?

主要研究熱點

從上面的發展中，我們可以總結出，目前支持向量機有著幾方面的研究熱點：核函數的構造和參數的選擇；支持向量機從兩類問題向多類問題的推廣；更多的應用領域的推廣；與目前其它機器學習方法的融合；與數據預處理（樣本的重要度，屬性的重要度，特征選擇等）方面方法的結合，將數據中脫離領域知識的信息，即數據本身的性質融入支持向量機的算法中從而產生新的算法；支持向量機訓練算法的探索。

?

原文來自：http://blog.sina.com.cn/s/blog_537f95ab010003h3.html

總結

以上是生活随笔為你收集整理的SVM的发展和研究热点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。