一、問題描述

現(xiàn)實中常遇到多分類學(xué)習(xí)任務(wù)，有些二分類學(xué)習(xí)方法可直接推廣到多分類，但在更多情況下，我們是基于一些基本策略，利用二分類學(xué)習(xí)器來解決多分類問題。

假設(shè)有N個類別C₁，C₂,......，C_N，多分類學(xué)習(xí)的基本思路是“拆解法”，即將多分類任務(wù)拆分為若干個二分類任務(wù)求解。具體來說，先對問題進行拆分，然后為拆出

的每個二分類任務(wù)訓(xùn)練一個分類器。在測試的時候，對這些分類器的預(yù)測結(jié)果進行集成以獲得最終的多分類結(jié)果。因此，如何對多分類任務(wù)進行拆分是關(guān)鍵。這里

主演介紹三種經(jīng)典的拆分策略：一對一（One vs One，簡稱OvO），一對其余（One vs Rest,簡稱OvR），多對多（Mnay vs Many，簡稱MvM）。

二、拆分策略

給定數(shù)據(jù)集D={(x₁,y₁),(x₂,y₂),......,(x_m,y_m)}，y_i屬于{C₁，C₂,......，C_N}

1、OvO策略

OvO將N個類別兩兩配對，從而產(chǎn)生N(N-1)/2個二分類任務(wù)，例如OvO將為區(qū)分類別C_i，C_j訓(xùn)練一個分類器，該分類器把D中的C_i類樣例作為正例，C_j類樣例作為反

例。在測試階段，新樣本將同時提交給所有分類器，于是我們將得到N(N-1)/2個分類結(jié)果，最終結(jié)果可以通過投票產(chǎn)生。示例圖如圖1所示。

2、OvR策略

OvR則是每次將一個類的樣例作為正例，所有其他類的樣例作為反例來訓(xùn)練N個分類器，在測試時若僅有一個分類器預(yù)測為正類，則對應(yīng)的類別標記作為最終分類結(jié)

果，示例圖如圖1所示。

圖1，OvO和OvR示意圖

3、MvM策略

MvM則是每次將若干個類作為正類，若干個其它類作為反類。顯然OvO和OvR是她的特例。顯然MvM的正、反類構(gòu)造必須有特殊的設(shè)計，不能隨意選取。這里介紹一種

最常用的MvM技術(shù)：糾錯輸出碼（ECOC）。

ECOC是將編碼的思想引入類別拆分，并盡可能在解碼的過程中具有容錯性。ECOC工作過程主要分為兩步：

（1）編碼：對N個類別做M次劃分，每次劃分將一部分類別劃為正類，一部分劃為反類，從而形成一個二分類訓(xùn)練集，這樣一共產(chǎn)生M個訓(xùn)練集，可訓(xùn)練出M個訓(xùn)練器。

（2）解碼：M個分類器分別對測試樣本進行預(yù)測，這些預(yù)測標記組成一個編碼。將這個與此編碼與每個類別各自的編碼進行比較，返回其中距離最小的類別最為最終預(yù)測結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的机器学习之多分类学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。