SVM本身是一個(gè)二值分類器，SVM算法最初是為二值分類問題設(shè)計(jì)的，當(dāng)處理多類問題時(shí)，就需要構(gòu)造合適的多類分類器。

1、直接法

：直接在目標(biāo)函數(shù)上進(jìn)行修改，將多個(gè)分類面的參數(shù)求解合并到一個(gè)最優(yōu)化問題中，通過求解該最優(yōu)化問題“一次性”實(shí)現(xiàn)多類分類。這種方法看似簡單，但其計(jì)算復(fù)雜度比較高，實(shí)現(xiàn)起來比較困難，只適合用于小型問題中。

以Weston在提出的多值分類算法為代表，在經(jīng)典SVM理論的基礎(chǔ)上重新構(gòu)造多值分類模型通過SV方法對新模型的目標(biāo)函數(shù)進(jìn)行優(yōu)化實(shí)現(xiàn)多值分類，它實(shí)際上是標(biāo)準(zhǔn)SVM中二次優(yōu)化問題的一種自然的推廣。

2、間接法

：主要是通過組合多個(gè)二分類器來實(shí)現(xiàn)多分類器的構(gòu)造。

2.1、一對多

在該分類方法中對n個(gè)類別僅需構(gòu)造n個(gè)支持向量機(jī)?每一個(gè)支持向量機(jī)分別將某一類的數(shù)據(jù)從其他類別中分離出來。在測試時(shí)?取決策函數(shù)輸出值最大的類別為測試樣本的類別。其第i個(gè)SVM可通過解決下面的最優(yōu)化問題得到。

例如：使用這三個(gè)訓(xùn)練集分別進(jìn)行訓(xùn)練，然后的得到三個(gè)訓(xùn)練結(jié)果文件。在測試的時(shí)候，把對應(yīng)的測試向量分別利用這三個(gè)訓(xùn)練結(jié)果文件進(jìn)行測試。最后每個(gè)測試都有一個(gè)結(jié)果f1(x),f2(x),f3(x)。于是最終的結(jié)果便是這三個(gè)值中最大的一個(gè)作為分類結(jié)果。

2.2、基于決策樹的SVMs

首先將所有類別分為兩個(gè)類別，再將子類進(jìn)一步劃分為兩個(gè)次級子類，如此循環(huán)下去，直到所有的節(jié)點(diǎn)都只包含一個(gè)單獨(dú)的類別為止，此節(jié)點(diǎn)也是二叉樹樹種的葉子。該分類將原有的分類問題同樣分解成了一系列的兩類分類問題，其中兩個(gè)子類間的分類函數(shù)采用SVM。如下圖表示


注意：越上層節(jié)點(diǎn)的分類性能對整個(gè)分類模型的推廣性影響越大. 因此,在生成二叉樹的過程中, 應(yīng)該讓最易分割的類最早分割出來, 即在二叉樹的上層節(jié)點(diǎn)處分割。

2.3、一對一

在該分類方法中各個(gè)類別之間構(gòu)造分類器對n個(gè)類別共需構(gòu)造n（n－1 ）／2個(gè)分類器每個(gè)分類器函數(shù)的訓(xùn)練樣本是相關(guān)的兩個(gè)類，?組合這些兩類分類器并使用投票法，得票最多的類為樣本點(diǎn)所屬的類。具體的講對第i類和第j類之間的分類器，我們通過解下面的最優(yōu)化問題得到：

例如：假設(shè)有四類A，B，C，D四類。在訓(xùn)練的時(shí)候我們選擇(A，B)、 (A，C)、(A，D)、(B，C)、(B，D)、(C，D)所對應(yīng)的向量作為訓(xùn)練集，然后得到六個(gè)訓(xùn)練結(jié)果，在測試的時(shí)候，把對應(yīng)的向量分別對六個(gè)結(jié)果進(jìn)行測試，然后采取投票形式，最后得到一組結(jié)果。投票是這樣的：

A=B=C=D=0; # 票數(shù)初始化 (A，B)-classifier 如果是A win，則A=A+1;otherwise, B=B+1; (A，C)-classifier 如果是A win，則A=A+1;otherwise, C=C+1; … (C，D)-classifier 如果是C win，則C=C+1;otherwise, D=D+1; The decision is the Max(A，B，C，D)

2.4、糾錯(cuò)編碼支持向量機(jī)

由1和0組成的一個(gè)碼矩陣設(shè)為𝑀^𝑄𝑆其中Q為類別數(shù)S為待訓(xùn)練的分類器數(shù)當(dāng)𝑚_𝑞𝑠＝ 1 （ 𝑚_𝑞𝑠 ＝ 0）時(shí)表示此樣本相對于第q類而言是作為正例（負(fù)例）來訓(xùn)練第s個(gè)分類器fs的。
工作分兩步：訓(xùn)練和測試。在訓(xùn)練過程中依上述原則訓(xùn)練分類器f（x）＝ （f1（x）… fs（x））在測試過程中對于新例x計(jì)算分類器f（x）的輸出向量與各類別向量的距離使其距離最小的類即為x所屬的類。

例如：對于該樣本分類時(shí)，10個(gè)SVM分類器的分類結(jié)果（0或1 ）構(gòu)成一個(gè)編碼 s，計(jì)算碼本內(nèi) 7個(gè)編碼與 s漢明距離，距離最小者所代表的類別即該測試樣本所屬類別。

可能有小伙伴會(huì)疑惑，用糾錯(cuò)編碼SVM使用3次不就是可以分出8類了嗎

但是，對于糾錯(cuò)編碼SVM有以下使用約定（暫未找到證明）

2.5、有向無環(huán)圖SVMs

包括 k ( k ? 1 ) / 2 個(gè)節(jié)點(diǎn)和 k 個(gè) ”葉“。其中每個(gè)節(jié)點(diǎn)為一個(gè)分類器，并與下一層的兩個(gè)節(jié)點(diǎn)（或者葉）相連。當(dāng)對一個(gè)未知樣本進(jìn)行分類時(shí)，首先從頂部的根節(jié)點(diǎn)開始，根據(jù)根節(jié)點(diǎn)的分類結(jié)果用下一層中的左節(jié)點(diǎn)或者右節(jié)點(diǎn)繼續(xù)分類，知道到達(dá)底層某個(gè)葉為止，該葉所表示的類別即未知樣本的類別。

微信公眾號：人生夢想實(shí)現(xiàn)家
你好，很高興遇見你，愿和你一起看最美的風(fēng)景！

總結(jié)

以上是生活随笔為你收集整理的SVM多分类问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。