一、SVM可以直接進(jìn)行多分類嗎

SVM本身是對(duì)付二分類問題的，所以在處理多分類的時(shí)候需要進(jìn)行必要的改造。

同樣是二分類的情況，logistic回歸可以直接拓展為softmax多分類。但是SVM如果直接在目標(biāo)函數(shù)上進(jìn)行修改的話，就是將多個(gè)分類面的參數(shù)求解合并到一個(gè)最優(yōu)化問題上，顯然難度太大，目前也沒有任何實(shí)際操作的方法。

二、SVM多分類間接實(shí)現(xiàn)

1、1-V-rest：將某一類歸為正類，其余全部是負(fù)類。

該方法的最大缺陷是數(shù)據(jù)集的不平衡，因?yàn)槟骋活惖膶?shí)例往往只占一小部分。當(dāng)然解決不平衡的問題可以進(jìn)行降采樣或者上采樣，但是上采樣中數(shù)據(jù)集過多重合，易導(dǎo)致過擬合，而降采樣使得數(shù)據(jù)利用率不足，不能學(xué)習(xí)整個(gè)模型的特性。

2、1-V-1：k類的數(shù)據(jù)集中，單獨(dú)為每兩類的樣本設(shè)計(jì)SVM，進(jìn)行分類。最終必須設(shè)計(jì)k(k-1)/2個(gè)分類器，最終用投票的方式進(jìn)行選擇。這也是libsvm采用的方法，但是當(dāng)類別有1000個(gè)的時(shí)候、、、

3、根據(jù)前兩種方法的比較，可以看出就性能而言寧愿多做點(diǎn)事情，也要保證避免過擬合或者預(yù)測能力不足的情況，所以大部分情況下第二種方法更優(yōu)。但是第二種成本太大，所以有了第三種方法，類似于SVM的二叉樹組合，在論文《基于SVM的二叉樹多類分類算法及其在故障診斷中的應(yīng)用》中，

如果類別為k個(gè)，那么最后只需要k-1個(gè)分類器。

該模型的最大缺點(diǎn)就是如果某一層中的分類出錯(cuò)了，那么后面的分類器只能將錯(cuò)就錯(cuò)。所以選擇差別大的兩類在前，差別小的類在后。

總結(jié)

以上是生活随笔為你收集整理的机器学习算法之SVM的多分类的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。