（Supervised Learning & Unsupervised Learning）

轉(zhuǎn)自：http://blog.csdn.net/zb1165048017/article/details/48579677

前言

機(jī)器學(xué)習(xí)分為：監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)（也可以用hinton所說的強(qiáng)化學(xué)習(xí)）等。

在這里，主要理解一下監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。

監(jiān)督學(xué)習(xí)（supervised learning）

從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)（模型參數(shù)），當(dāng)新的數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入輸出，也可以說是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。監(jiān)督學(xué)習(xí)就是最常見的分類（注意和聚類區(qū)分）問題，通過已有的訓(xùn)練樣本（即已知數(shù)據(jù)及其對(duì)應(yīng)的輸出）去訓(xùn)練得到一個(gè)最優(yōu)模型（這個(gè)模型屬于某個(gè)函數(shù)的集合，最優(yōu)表示某個(gè)評(píng)價(jià)準(zhǔn)則下是最佳的），再利用這個(gè)模型將所有的輸入映射為相應(yīng)的輸出，對(duì)輸出進(jìn)行簡(jiǎn)單的判斷從而實(shí)現(xiàn)分類的目的。也就具有了對(duì)未知數(shù)據(jù)分類的能力。監(jiān)督學(xué)習(xí)的目標(biāo)往往是讓計(jì)算機(jī)去學(xué)習(xí)我們已經(jīng)創(chuàng)建好的分類系統(tǒng)（模型）。

監(jiān)督學(xué)習(xí)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)和決策樹的常見技術(shù)。這兩種技術(shù)高度依賴事先確定的分類系統(tǒng)給出的信息，對(duì)于神經(jīng)網(wǎng)絡(luò)，分類系統(tǒng)利用信息判斷網(wǎng)絡(luò)的錯(cuò)誤，然后不斷調(diào)整網(wǎng)絡(luò)參數(shù)。對(duì)于決策樹，分類系統(tǒng)用它來判斷哪些屬性提供了最多的信息。

常見的有監(jiān)督學(xué)習(xí)算法：回歸分析和統(tǒng)計(jì)分類。最典型的算法是KNN和SVM。

有監(jiān)督學(xué)習(xí)最常見的就是：regression&classification

Regression：Y是實(shí)數(shù)vector。回歸問題，就是擬合(x,y)的一條曲線，使得價(jià)值函數(shù)(costfunction) L最小

???

Classification：Y是一個(gè)有窮數(shù)(finitenumber)，可以看做類標(biāo)號(hào)，分類問題首先要給定有l(wèi)able的數(shù)據(jù)訓(xùn)練分類器，故屬于有監(jiān)督學(xué)習(xí)過程。分類過程中cost function l(X,Y)是X屬于類Y的概率的負(fù)對(duì)數(shù)。

其中fi(X)=P(Y=i/X)。

?

無監(jiān)督學(xué)習(xí)（unsupervised learning）

輸入數(shù)據(jù)沒有被標(biāo)記，也沒有確定的結(jié)果。樣本數(shù)據(jù)類別未知，需要根據(jù)樣本間的相似性對(duì)樣本集進(jìn)行分類（聚類，clustering）試圖使類內(nèi)差距最小化，類間差距最大化。通俗點(diǎn)將就是實(shí)際應(yīng)用中，不少情況下無法預(yù)先知道樣本的標(biāo)簽，也就是說沒有訓(xùn)練樣本對(duì)應(yīng)的類別，因而只能從原先沒有樣本標(biāo)簽的樣本集開始學(xué)習(xí)分類器設(shè)計(jì)。

非監(jiān)督學(xué)習(xí)目標(biāo)不是告訴計(jì)算機(jī)怎么做，而是讓它（計(jì)算機(jī)）自己去學(xué)習(xí)怎樣做事情。非監(jiān)督學(xué)習(xí)有兩種思路。第一種思路是在指導(dǎo)Agent時(shí)不為其指定明確分類，而是在成功時(shí)，采用某種形式的激勵(lì)制度。需要注意的是，這類訓(xùn)練通常會(huì)置于決策問題的框架里，因?yàn)樗哪繕?biāo)不是為了產(chǎn)生一個(gè)分類系統(tǒng)，而是做出最大回報(bào)的決定，這種思路很好的概括了現(xiàn)實(shí)世界，agent可以對(duì)正確的行為做出激勵(lì)，而對(duì)錯(cuò)誤行為做出懲罰。

無監(jiān)督學(xué)習(xí)的方法分為兩大類：

(1)????一類為基于概率密度函數(shù)估計(jì)的直接方法：指設(shè)法找到各類別在特征空間的分布參數(shù)，再進(jìn)行分類。

(2)????另一類是稱為基于樣本間相似性度量的簡(jiǎn)潔聚類方法：其原理是設(shè)法定出不同類別的核心或初始內(nèi)核，然后依據(jù)樣本與核心之間的相似性度量將樣本聚集成不同的類別。

利用聚類結(jié)果，可以提取數(shù)據(jù)集中隱藏信息，對(duì)未來數(shù)據(jù)進(jìn)行分類和預(yù)測(cè)。應(yīng)用于數(shù)據(jù)挖掘，模式識(shí)別，圖像處理等。

????PCA和很多deep learning算法都屬于無監(jiān)督學(xué)習(xí)。?

兩者的不同點(diǎn)

1.??????有監(jiān)督學(xué)習(xí)方法必須要有訓(xùn)練集與測(cè)試樣本。在訓(xùn)練集中找規(guī)律，而對(duì)測(cè)試樣本使用這種規(guī)律。而非監(jiān)督學(xué)習(xí)沒有訓(xùn)練集，只有一組數(shù)據(jù)，在該組數(shù)據(jù)集內(nèi)尋找規(guī)律。

2.??????有監(jiān)督學(xué)習(xí)的方法就是識(shí)別事物，識(shí)別的結(jié)果表現(xiàn)在給待識(shí)別數(shù)據(jù)加上了標(biāo)簽。因此訓(xùn)練樣本集必須由帶標(biāo)簽的樣本組成。而非監(jiān)督學(xué)習(xí)方法只有要分析的數(shù)據(jù)集的本身，預(yù)先沒有什么標(biāo)簽。如果發(fā)現(xiàn)數(shù)據(jù)集呈現(xiàn)某種聚集性，則可按自然的聚集性分類，但不予以某種預(yù)先分類標(biāo)簽對(duì)上號(hào)為目的。

3.??????非監(jiān)督學(xué)習(xí)方法在尋找數(shù)據(jù)集中的規(guī)律性，這種規(guī)律性并不一定要達(dá)到劃分?jǐn)?shù)據(jù)集的目的，也就是說不一定要“分類”。

這一點(diǎn)是比有監(jiān)督學(xué)習(xí)方法的用途要廣。??? 譬如分析一堆數(shù)據(jù)的主分量，或分析數(shù)據(jù)集有什么特點(diǎn)都可以歸于非監(jiān)督學(xué)習(xí)方法的范疇。

4.??????用非監(jiān)督學(xué)習(xí)方法分析數(shù)據(jù)集的主分量與用K-L變換計(jì)算數(shù)據(jù)集的主分量又有區(qū)別。后者從方法上講不是學(xué)習(xí)方法。因此用K-L變換找主分量不屬于無監(jiān)督學(xué)習(xí)方法，即方法上不是。而通過學(xué)習(xí)逐漸找到規(guī)律性這體現(xiàn)了學(xué)習(xí)方法這一點(diǎn)。在人工神經(jīng)元網(wǎng)絡(luò)中尋找主分量的方法屬于無監(jiān)督學(xué)習(xí)方法。?

何時(shí)采用哪種方法

? 簡(jiǎn)單的方法就是從定義入手，有訓(xùn)練樣本則考慮采用監(jiān)督學(xué)習(xí)方法；無訓(xùn)練樣本，則一定不能用監(jiān)督學(xué)習(xí)方法。但是，現(xiàn)實(shí)問題中，即使沒有訓(xùn)練樣本，我們也能夠憑借自己的雙眼，從待分類的數(shù)據(jù)中，人工標(biāo)注一些樣本，并把它們作為訓(xùn)練樣本，這樣的話，可以把條件改善，用監(jiān)督學(xué)習(xí)方法來做。對(duì)于不同的場(chǎng)景，正負(fù)樣本的分布如果會(huì)存在偏移（可能大的偏移，可能比較小），這樣的話，監(jiān)督學(xué)習(xí)的效果可能就不如用非監(jiān)督學(xué)習(xí)了。

總結(jié)

以上是生活随笔為你收集整理的监督学习无监督学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。