K-近鄰算法（KNN）概述??

KNN是通過測量不同特征值之間的距離進(jìn)行分類。它的思路是：如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，其中K通常是不大于20的整數(shù)。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對(duì)象。該方法在定類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來決定待分樣本所屬的類別。

?

? ? ?下面通過一個(gè)簡單的例子說明一下：如下圖，綠色圓要被決定賦予哪個(gè)類，是紅色三角形還是藍(lán)色四方形？如果K=3，由于紅色三角形所占比例為2/3，綠色圓將被賦予紅色三角形那個(gè)類，如果K=5，由于藍(lán)色四方形比例為3/5，因此綠色圓被賦予藍(lán)色四方形類。

?

由此也說明了KNN算法的結(jié)果很大程度取決于K的選擇。

? ? ?在KNN中，通過計(jì)算對(duì)象間距離來作為各個(gè)對(duì)象之間的非相似性指標(biāo)，避免了對(duì)象之間的匹配問題，在這里距離一般使用歐氏距離或曼哈頓距離：

? ? ? ? ? ? ? ? ? ? ??

同時(shí)，KNN通過依據(jù)k個(gè)對(duì)象中占優(yōu)的類別進(jìn)行決策，而不是單一的對(duì)象類別決策。這兩點(diǎn)就是KNN算法的優(yōu)勢。

?? 接下來對(duì)KNN算法的思想總結(jié)一下：就是在訓(xùn)練集中數(shù)據(jù)和標(biāo)簽已知的情況下，輸入測試數(shù)據(jù)，將測試數(shù)據(jù)的特征與訓(xùn)練集中對(duì)應(yīng)的特征進(jìn)行相互比較，找到訓(xùn)練集中與之最為相似的前K個(gè)數(shù)據(jù)，則該測試數(shù)據(jù)對(duì)應(yīng)的類別就是K個(gè)數(shù)據(jù)中出現(xiàn)次數(shù)最多的那個(gè)分類，其算法的描述為：

1）計(jì)算測試數(shù)據(jù)與各個(gè)訓(xùn)練數(shù)據(jù)之間的距離；

2）按照距離的遞增關(guān)系進(jìn)行排序；

3）選取距離最小的K個(gè)點(diǎn)；

4）確定前K個(gè)點(diǎn)所在類別的出現(xiàn)頻率；

5）返回前K個(gè)點(diǎn)中出現(xiàn)頻率最高的類別作為測試數(shù)據(jù)的預(yù)測分類。

?

?轉(zhuǎn)自于：https://www.cnblogs.com/ybjourney/p/4702562.html

總結(jié)

以上是生活随笔為你收集整理的（转）K-近邻算法（KNN）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。