第2章 k-近鄰算法

KNN 概述

k-近鄰（kNN, k-NearestNeighbor）算法主要是用來進行分類的.

KNN 場景

電影可以按照題材分類，那么如何區分?動作片?和?愛情片?呢？

動作片：打斗次數更多

愛情片：親吻次數更多

基于電影中的親吻、打斗出現的次數，使用 k-近鄰算法構造程序，就可以自動劃分電影的題材類型。

現在根據上面我們得到的樣本集中所有電影與未知電影的距離，按照距離遞增排序，可以找到 k 個距離最近的電影。 假定 k=3，則三個最靠近的電影依次是， He's Not Really into Dudes 、 Beautiful Woman 和 California Man。 knn 算法按照距離最近的三部電影的類型，決定未知電影的類型，而這三部電影全是愛情片，因此我們判定未知電影是愛情片。

KNN 原理

KNN 工作原理

假設有一個帶有標簽的樣本數據集（訓練樣本集），其中包含每條數據與所屬分類的對應關系。

輸入沒有標簽的新數據后，將新數據的每個特征與樣本集中數據對應的特征進行比較。

計算新數據與樣本數據集中每條數據的距離。

對求得的所有距離進行排序（從小到大，越小表示越相似）。

取前 k （k 一般小于等于 20 ）個樣本數據對應的分類標簽。

求 k 個數據中出現次數最多的分類標簽作為新數據的分類。

KNN 開發流程

收集數據：任何方法 準備數據：距離計算所需要的數值，最好是結構化的數據格式 分析數據：任何方法 訓練算法：此步驟不適用于 k-近鄰算法 測試算法：計算錯誤率 使用算法：輸入樣本數據和結構化的輸出結果，然后運行 k-近鄰算法判斷輸入數據分類屬于哪個分類，最后對計算出的分類執行后續處理

KNN 算法特點

優點：精度高、對異常值不敏感、無數據輸入假定 缺點：計算復雜度高、空間復雜度高 適用數據范圍：數值型和標稱型

KNN 項目案例

項目案例1: 優化約會網站的配對效果

項目概述

海倫使用約會網站尋找約會對象。經過一段時間之后，她發現曾交往過三種類型的人:

• 不喜歡的人
• 魅力一般的人
• 極具魅力的人

她希望：

工作日與魅力一般的人約會

周末與極具魅力的人約會

不喜歡的人則直接排除掉

現在她收集到了一些約會網站未曾記錄的數據信息，這更有助于匹配對象的歸類。

開發流程

收集數據：提供文本文件 準備數據：使用 Python 解析文本文件 分析數據：使用 Matplotlib 畫二維散點圖 訓練算法：此步驟不適用于 k-近鄰算法 測試算法：使用海倫提供的部分數據作為測試樣本。測試樣本和非測試樣本的區別在于：測試樣本是已經完成分類的數據，如果預測分類與實際類別不同，則標記為一個錯誤。 使用算法：產生簡單的命令行程序，然后海倫可以輸入一些特征數據以判斷對方是否為自己喜歡的類型。

收集數據：提供文本文件

海倫把這些約會對象的數據存放在文本文件?datingTestSet2.txt?中，總共有 1000 行。海倫約會的對象主要包含以下 3 種特征：

• 每年獲得的飛行?？屠锍虜?/li>
• 玩視頻游戲所耗時間百分比
• 每周消費的冰淇淋公升數

文本文件數據格式如下：

40920 8.326976 0.953952 3 14488 7.153469 1.673904 2 26052 1.441871 0.805124 1 75136 13.147394 0.428964 1 38344 1.669788 0.134296 1

準備數據：使用 Python 解析文本文件

將文本記錄轉換為 NumPy 的解析程序

def file2matrix(filename):""" Desc: 導入訓練數據 parameters: filename: 數據文件路徑 return: 數據矩陣 returnMat 和對應的類別 classLabelVector """ fr = open(filename) # 獲得文件中的數據行的行數 numberOfLines = len(fr.readlines()) # 生成對應的空矩陣 # 例如：zeros(2，3)就是生成一個 2*3的矩陣，各個位置上全是 0 returnMat = zeros((numberOfLines, 3)) # prepare matrix to return classLabelVector = [] # prepare labels return fr = open(filename) index = 0 for line in fr.readlines(): # str.strip([chars]) --返回移除字符串頭尾指定的字符生成的新字符串 line = line.strip() # 以 '\t' 切割字符串 listFromLine = line.split('\t') # 每列的屬性數據 returnMat[index, :] = listFromLine[0:3] # 每列的類別數據，就是 label 標簽數據 classLabelVector.append(int(listFromLine[-1])) index += 1 # 返回數據矩陣returnMat和對應的類別classLabelVector return returnMat, classLabelVector

分析數據：使用 Matplotlib 畫二維散點圖

import matplotlib import matplotlib.pyplot as plt fig = plt.figure() ax = fig.add_subplot(111) ax.scatter(datingDataMat[:, 1], datingDataMat[:, 2], 15.0*array(datingLabels), 15.0*array(datingLabels)) plt.show()

下圖中采用矩陣的第一和第三列屬性得到很好的展示效果，清晰地標識了三個不同的樣本分類區域，具有不同愛好的人其類別區域也不同。

• 歸一化數據 （歸一化是一個讓權重變為統一的過程，更多細節請參考：?https://www.zhihu.com/question/19951858）

序號玩視頻游戲所耗時間百分比每年獲得的飛行常客里程數每周消費的冰淇淋公升數樣本分類

1	0.8	400	0.5	1
2	12	134 000	0.9	3
3	0	20 000	1.1	2
4	67	32 000	0.1	2

樣本3和樣本4的距離： $$\sqrt{(0-67)^2 + (20000-32000)^2 + (1.1-0.1)^2 }$$

歸一化特征值，消除特征之間量級不同導致的影響

def autoNorm(dataSet):""" Desc: 歸一化特征值，消除特征之間量級不同導致的影響 parameter: dataSet: 數據集 return: 歸一化后的數據集 normDataSet. ranges和minVals即最小值與范圍，并沒有用到 歸一化公式： Y = (X-Xmin)/(Xmax-Xmin) 其中的 min 和 max 分別是數據集中的最小特征值和最大特征值。該函數可以自動將數字特征值轉化為0到1的區間。 """ # 計算每種屬性的最大值、最小值、范圍 minVals = dataSet.min(0) maxVals = dataSet.max(0) # 極差 ranges = maxVals - minVals normDataSet = zeros(shape(dataSet)) m = dataSet.shape[0] # 生成與最小值之差組成的矩陣 normDataSet = dataSet - tile(minVals, (m, 1)) # 將最小值之差除以范圍組成矩陣 normDataSet = normDataSet / tile(ranges, (m, 1)) # element wise divide return normDataSet, ranges, minVals

訓練算法：此步驟不適用于 k-近鄰算法

因為測試數據每一次都要與全量的訓練數據進行比較，所以這個過程是沒有必要的。

測試算法：使用海倫提供的部分數據作為測試樣本。如果預測分類與實際類別不同，則標記為一個錯誤。

kNN 分類器針對約會網站的測試代碼

def datingClassTest():""" Desc: 對約會網站的測試方法 parameters: none return: 錯誤數 """ # 設置測試數據的的一個比例（訓練數據集比例=1-hoRatio） hoRatio = 0.1 # 測試范圍,一部分測試一部分作為樣本 # 從文件中加載數據 datingDataMat, datingLabels = file2matrix('input/2.KNN/datingTestSet2.txt') # load data setfrom file # 歸一化數據 normMat, ranges, minVals = autoNorm(datingDataMat) # m 表示數據的行數，即矩陣的第一維 m = normMat.shape[0] # 設置測試的樣本數量， numTestVecs:m表示訓練樣本的數量 numTestVecs = int(m * hoRatio) print 'numTestVecs=', numTestVecs errorCount = 0.0 for i in range(numTestVecs): # 對數據測試 classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]) if (classifierResult != datingLabels[i]): errorCount += 1.0 print "the total error rate is: %f" % (errorCount / float(numTestVecs)) print errorCount

使用算法：產生簡單的命令行程序，然后海倫可以輸入一些特征數據以判斷對方是否為自己喜歡的類型。

約會網站預測函數

def clasdifyPerson():resultList = ['not at all', 'in small doses', 'in large doses'] percentTats = float(raw_input("percentage of time spent playing video games ?")) ffMiles = float(raw_input("frequent filer miles earned per year?")) iceCream = float(raw_input("liters of ice cream consumed per year?")) datingDataMat, datingLabels = file2matrix('datingTestSet2.txt') normMat, ranges, minVals = autoNorm(datingDataMat) inArr = array([ffMils, percentTats, iceCream]) classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels, 3) print "You will probably like this person: ", resultList[classifierResult - 1]

實際運行效果如下:

>>> kNN.classifyPerson() percentage of time spent playing video games?10 frequent flier miles earned per year?10000 liters of ice cream consumed per year?0.5 You will probably like this person: in small doses

完整代碼地址:?https://github.com/apachecn/MachineLearning/blob/master/src/python/2.KNN/kNN.py

項目案例2: 手寫數字識別系統

項目概述

構造一個能識別數字 0 到 9 的基于 KNN 分類器的手寫數字識別系統。

需要識別的數字是存儲在文本文件中的具有相同的色彩和大小：寬高是 32 像素 * 32 像素的黑白圖像。

開發流程

收集數據：提供文本文件。 準備數據：編寫函數 img2vector(), 將圖像格式轉換為分類器使用的向量格式 分析數據：在 Python 命令提示符中檢查數據，確保它符合要求 訓練算法：此步驟不適用于 KNN 測試算法：編寫函數使用提供的部分數據集作為測試樣本，測試樣本與非測試樣本的區別在于測試樣本是已經完成分類的數據，如果預測分類與實際類別不同，則標記為一個錯誤 使用算法：本例沒有完成此步驟，若你感興趣可以構建完整的應用程序，從圖像中提取數字，并完成數字識別，美國的郵件分揀系統就是一個實際運行的類似系統

收集數據: 提供文本文件

目錄?trainingDigits?中包含了大約 2000 個例子，每個例子內容如下圖所示，每個數字大約有 200 個樣本；目錄?testDigits?中包含了大約 900 個測試數據。

準備數據: 編寫函數 img2vector(), 將圖像文本數據轉換為分類器使用的向量

將圖像文本數據轉換為向量

def img2vector(filename):returnVect = zeros((1,1024)) fr = open(filename) for i in range(32): lineStr = fr.readLine() for j in range(32): returnVect[0,32*i+j] = int(lineStr[j]) return returnVect

分析數據：在 Python 命令提示符中檢查數據，確保它符合要求

在 Python 命令行中輸入下列命令測試 img2vector 函數，然后與文本編輯器打開的文件進行比較:

>>> testVector = kNN.img2vector('testDigits/0_13.txt') >>> testVector[0,0:31] array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]) >>> testVector[0,31:63] array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 1., 1., 1., 1., 1., 1., 1., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])

訓練算法：此步驟不適用于 KNN

因為測試數據每一次都要與全量的訓練數據進行比較，所以這個過程是沒有必要的。

測試算法：編寫函數使用提供的部分數據集作為測試樣本，如果預測分類與實際類別不同，則標記為一個錯誤

def handwritingClassTest():# 1. 導入訓練數據hwLabels = []trainingFileList = listdir('input/2.KNN/trainingDigits') # load the training set m = len(trainingFileList) trainingMat = zeros((m, 1024)) # hwLabels存儲0～9對應的index位置， trainingMat存放的每個位置對應的圖片向量 for i in range(m): fileNameStr = trainingFileList[i] fileStr = fileNameStr.split('.')[0] # take off .txt classNumStr = int(fileStr.split('_')[0]) hwLabels.append(classNumStr) # 將 32*32的矩陣->1*1024的矩陣 trainingMat[i, :] = img2vector('input/2.KNN/trainingDigits/%s' % fileNameStr) # 2. 導入測試數據 testFileList = listdir('input/2.KNN/testDigits') # iterate through the test set errorCount = 0.0 mTest = len(testFileList) for i in range(mTest): fileNameStr = testFileList[i] fileStr = fileNameStr.split('.')[0] # take off .txt classNumStr = int(fileStr.split('_')[0]) vectorUnderTest = img2vector('input/2.KNN/testDigits/%s' % fileNameStr) classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr) if (classifierResult != classNumStr): errorCount += 1.0 print "\nthe total number of errors is: %d" % errorCount print "\nthe total error rate is: %f" % (errorCount / float(mTest))

使用算法：本例沒有完成此步驟，若你感興趣可以構建完整的應用程序，從圖像中提取數字，并完成數字識別，美國的郵件分揀系統就是一個實際運行的類似系統

完整代碼地址:?https://github.com/apachecn/MachineLearning/blob/master/src/python/2.KNN/kNN.py

---

• 作者：羊三?小瑤
• GitHub地址:?https://github.com/apachecn/MachineLearning
• 版權聲明：歡迎轉載學習 => 請標注信息來源于?ApacheCN

轉載于:https://www.cnblogs.com/apachecnxy/p/7462628.html

總結

以上是生活随笔為你收集整理的【机器学习实战】第2章 k-近邻算法（kNN）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。