sklearn k-近鄰算法

• 1. sklearn k-近鄰算法API
• 2. k近鄰算法實例-預測入住位置

核心思想：你的“鄰居”來推斷出你的類別
定義：如果一個樣本在特征空間中的 k個最相似(即特征空間中最鄰近)的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別。
來源：KNN算法最早是由Cover和Hart提出的一種分類算法

如何求距離：計算距離公式
兩個樣本的距離可以通過如下公式計算，又叫歐式距離

比如說，a(a1,a2,a3),b(b1,b2,b3)

相似樣本，特征之間的值應該都是相近的。
sklearn k-近鄰算法是需要做標準化處理的。

1. sklearn k-近鄰算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')n_neighbors：int,可選（默認= 5），k_neighbors查詢默認使用的鄰居數 algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可選用于計算最近鄰居的算法：‘ball_tree’將會使用 BallTree，‘kd_tree’將使用 KDTree。‘auto’將嘗試根據傳遞給fit方法的值來決定最合適的算法。 (不同實現方式影響效率)

k值取值：會影響結果。

2. k近鄰算法實例-預測入住位置

數據來源

確定此問題是一種分類問題：
特征值：x,y坐標， 定位準確性，年，日，時，周 目標值：入住位置的ID

處理：0<x<10 0<y<10
1.由于數據量大，為了縮小數據量，縮小x，y
2.時間戳處理（年、月、日、周、時、分、秒），當做新的特征
3.幾千幾萬，少于指定簽到人數的位置刪除

數據的處理

1、縮小數據集范圍
DataFrame.query()
2、處理日期數據
pd.to_datetime
pd.DatetimeIndex
3、增加分割的日期數據
4、刪除沒用的日期數據**
pd.drop
5、將簽到位置少于n個用戶的刪除
place_count =data.groupby(‘place_id’).aggregate(np.count_nonzero)tf = place_count[place_count.row_id > 3].reset_index()
data = data[data[‘place_id’].isin(tf.place_id)]

from sklearn.neighbors import KNeighborsClassifier import pandas as pd def knncls():"""K-近鄰預測用戶簽到位置:return:None"""# 讀取數據data = pd.read_csv("./data/FBlocation/train.csv")# print(data.head(10))# 處理數據# 1、縮小數據,查詢數據曬訊data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")# 處理時間的數據time_value = pd.to_datetime(data['time'], unit='s')print(time_value)# 把日期格式轉換成 字典格式,可以從里面單獨獲取時分秒time_value = pd.DatetimeIndex(time_value)# 構造一些特征data['day'] = time_value.daydata['hour'] = time_value.hourdata['weekday'] = time_value.weekday# 把時間戳特征刪除data = data.drop(['time'], axis=1)print(data)# 把簽到數量少于n個目標位置刪除place_count = data.groupby('place_id').count()tf = place_count[place_count.row_id > 3].reset_index()#reset_index()把索引變成列data = data[data['place_id'].isin(tf.place_id)]# 取出數據當中的特征值和目標值y = data['place_id']x = data.drop(['place_id'], axis=1)# 進行數據的分割訓練集合測試集x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)#順序不可以改# 特征工程（標準化）std = StandardScaler()# 對測試集和訓練集的特征值進行標準化x_train = std.fit_transform(x_train)x_test = std.transform(x_test)# 進行算法流程 # 超參數knn = KNeighborsClassifier()# # fit輸入數據， predict預測數據,score得出準確率# knn.fit(x_train, y_train)## # 得出預測結果# y_predict = knn.predict(x_test)## print("預測的目標簽到位置為：", y_predict)## # 得出準確率 # print("預測的準確率:", knn.score(x_test, y_test))# 構造一些參數的值進行搜索param = {"n_neighbors": [3, 5, 10]}# 進行網格搜索gc = GridSearchCV(knn, param_grid=param, cv=2)gc.fit(x_train, y_train)# 預測準確率print("在測試集上準確率：", gc.score(x_test, y_test))print("在交叉驗證當中最好的結果：", gc.best_score_)print("選擇最好的模型是：", gc.best_estimator_)print("每個超參數每次交叉驗證的結果：", gc.cv_results_)return None if __name__ == "__main__":knncls()

k-近鄰算法優缺點
優點：
簡單，易于理解，易于實現，無需估計參數，無需訓練

缺點：
懶惰算法，對測試樣本分類時的計算量大，內存開銷大
必須指定K值，K值選擇不當則分類精度不能保證

1、k值取多大？有什么影響？
k值取很小：容易受異常點影響
k值取很大：容易受最近數據太多導致比例變化

總結

以上是生活随笔為你收集整理的【机器学习】sklearn k-近邻算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。