一、分類算法中的學(xué)習(xí)概念 因?yàn)榉诸愃惴ǘ际怯斜O(jiān)督學(xué)習(xí)，故分為以下2種學(xué)習(xí)。 1、急切學(xué)習(xí)：在給定的訓(xùn)練元組之后、接受到測(cè)試元組之前就構(gòu)造好分類模型。 算法有：貝葉斯、基于規(guī)則的分類（決策樹）、向后傳播分類、SVM（支持向量機(jī)）、基于關(guān)聯(lián)規(guī)則挖掘的分類。 2、懶惰學(xué)習(xí)：直到給定一個(gè)測(cè)試元組才開始構(gòu)造分類模型。也稱為基于實(shí)例的學(xué)習(xí)法。 算法有：KNN。 二、KNN的特點(diǎn) ???? 優(yōu)點(diǎn)：實(shí)現(xiàn)方便、支持增量學(xué)習(xí)、能對(duì)超多邊形的復(fù)雜決策空間建模 缺點(diǎn)：計(jì)算量開銷大、大規(guī)模存儲(chǔ)支持。 三、KNN算法原理 非常簡(jiǎn)單、就是在測(cè)試元組中找和訓(xùn)練元組向量空間上最接近的K個(gè)點(diǎn)中，類別最多的那個(gè)分類。 向量空間距離無非那么幾種：歐式、閔科夫斯基、曼哈頓等。 四、KNN算法的細(xì)節(jié) 1、注意屬性在向量空間的規(guī)范化、規(guī)范化公式和聚類[0,1]規(guī)范化公式一樣。 2、比較的屬性如果是2元變量或者分類變量，設(shè)定好差值。（注意最大差區(qū)間仍要在規(guī)范化空間內(nèi)部） 3、確實(shí)屬性值的處理： ① 分類（2元變量）變量直接設(shè)置差值為規(guī)范化空間的最大值。 ② 數(shù)值類型屬性 若： Ⅰ：2個(gè)元組對(duì)應(yīng)屬性均缺失，差值直接為規(guī)范化空間最大值。 Ⅱ：如果只有一個(gè)缺失，另一個(gè)取值為V，則距離差值為|1-V| 和 |0-V|?的最大值 （即Max（|規(guī)范化空間的上下界-V|）） 4、確定K的值：通過對(duì)樣本的實(shí)驗(yàn)（多次和人工結(jié)合），取出誤差最小的分類結(jié)果。 5、對(duì)噪聲的處理：在訓(xùn)練的過程中對(duì)噪聲的元組直接Kill掉。 五、KNN算法的單機(jī)實(shí)現(xiàn) 1、準(zhǔn)備訓(xùn)練數(shù)據(jù)、對(duì)數(shù)據(jù)預(yù)處理和訓(xùn)練：（具體實(shí)驗(yàn)和人工干預(yù)具體分析） 2、存儲(chǔ)訓(xùn)練數(shù)據(jù)的結(jié)果 3、預(yù)處理測(cè)試數(shù)據(jù) 4、通過訓(xùn)練數(shù)據(jù)得到參數(shù)K 5、維護(hù)一個(gè)大小為K的PriorityQueue用于存儲(chǔ)最近的KNNNode 6、隨機(jī)從訓(xùn)練元組中選出K個(gè)元素計(jì)算好測(cè)試元素和這個(gè)訓(xùn)練元素的距離并且記錄訓(xùn)練元組的組編號(hào)放入優(yōu)先隊(duì)列（優(yōu)先堆）中。 7、遍歷整個(gè)訓(xùn)練元組數(shù)據(jù)集合，如果測(cè)試距離小于優(yōu)先隊(duì)列的對(duì)頭元素的距離。則移除對(duì)頭、并且壓入這個(gè)新的KNNNode，然后從新保持優(yōu)先隊(duì)列順序。 8、遍歷完成后，計(jì)算最大的分組的組號(hào)。則測(cè)試元組屬于這個(gè)分組。 六、KNN算法的分布式實(shí)現(xiàn) MAHOUT源碼稍后補(bǔ)充。 ????????????????????

?

轉(zhuǎn)載于:https://www.cnblogs.com/lixusign/archive/2012/06/13/2548242.html

總結(jié)

以上是生活随笔為你收集整理的【分类器】- KNN的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。