机器学习(实战)facebook地址预测
生活随笔
收集整理的這篇文章主要介紹了
机器学习(实战)facebook地址预测
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
一、讀取數據
二、 數據處理
1、縮小數據范圍
2、得到正常時分秒
?2-1、時間戳化時分秒
2-2、得到時間列表
2-3、添加時間信息到數據data中
3、得到數據集
3-1、獲取各地點簽到次數
3-2、過濾簽到次數過少的地點
3-3、篩選特征值和目標值
3-4、數據集劃分
4、特征工程(標準化)
5、KNN算法預估器訓練
6、模型評估
總代碼
特征值:坐標、準確度、hour、day、weekday。
目標值:地址id。
一、讀取數據
文件下載地址1(推薦):?train.rar(train.csv,facebook簽到信息)-機器學習文檔類資源-CSDN下載
文件下載地址2(不推薦):
https://pan.baidu.com/s/17DeVm48VRG0tlEzQM0KfSA?
提取碼:gx4a
# 1、讀取數據
data = pd.read_csv('train.csv')
二、 數據處理
可以看出,上面的數據量非常大。
1、縮小數據范圍
# 2-1、縮小數據范圍
data = data.query('x>2.0 & x<2.5 & y>1.0 & y<1.5')
2、得到正常時分秒
可以看到時間戳是這種,需要轉換成時分秒。
?
?2-1、時間戳化時分秒
# 2-2、轉換時間戳為時分秒
time_value = pd.to_datetime(data['time'], unit='s')
?
2-2、得到時間列表
# 獲取時間列表
time_list = pd.DatetimeIndex(time_value)
2-3、添加時間信息到數據data中
# 添加時間信息到數據data中
data['hour'] = time_list.hour
data['day'] = time_list.day
data['weekday'] = time_list.weekday
3、得到數據集
3-1、獲取各地點簽到次數
# 3、過濾簽到次數過少的地點
place_count = data.groupby('place_id').count()['row_id']
3-2、過濾簽到次數過少的地點
# 3-2、過濾簽到次數過少的地點
place_count = place_count[place_count>3]
?
可以看出,現在的簽到次數都是在3次以上了,3次及以下的已經被過濾掉了。?
?獲得簽到次數過少地點的索引:
index = data['place_id'].isin(place_count.index)
?過濾:
data = data[index]
3-3、篩選特征值和目標值
選取特征值和目標值
train = data[['x', 'y', 'accuracy', 'hour', 'day', 'weekday']] #特征值
target = data['place_id'] #目標值
3-4、數據集劃分
# 3-4、數據集劃分
train_data, test_data, train_target, test_target = train_test_split(train, target)
4、特征工程(標準化)
# 4、特征工程(標準化)
transfer = StandardScaler()
train_data = transfer.fit_transform(train_data)
test_data = transfer.transform(test_data)
# 注:不進行fit處理:測試集要用訓練集的特征值和標準差(否則測試集就是在自己對自己進行測試,沒有意義)
# 注:target是目標值,不能進行標準化(所以train_target和test_target不進行標準化)
5、KNN算法預估器訓練
# 5、KNN算法預估器
# 5-1、得到預估器
estimator = KNeighborsClassifier() #后面會有超參數搜索,這里先不用設置k值
# 5-2、超參數搜索(模型選擇與調優):得到最佳k值(最佳預估器)
# 1、參數準備
param_dict = {'n_neighbors':[3,5,7,9]}
# 2、開始搜索
estimator = GridSearchCV(estimator, param_dict, cv=3)
# 預估器 參數范圍 選擇次數
# 5-3、訓練(用預估器對訓練值進行訓練)
estimator.fit(train_data, train_target)
6、模型評估
# 6、模型評估
# 6-1、得到預測結果
predict = estimator.predict(test_data)
print(predict)
# 6-2、對比預測值和測量目標值
print("直接比對預測值和測量目標值:\n", predict==test_target)
# 6-3、得到準確率(對比特征集和目標集測試值)
score = estimator.score(test_data, test_target)
print("準確率:\n", score)
總代碼
# 簽到地址預估
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV# 1、讀取數據
data = pd.read_csv('train.csv')# 2、數據處理
# 2-1、縮小數據范圍
data = data.query('x>2.0 & x<2.5 & y>1.0 & y<1.5')# 2-2、轉換時間戳為時分秒
time_value = pd.to_datetime(data['time'], unit='s')
# 獲取時間列表
time_list = pd.DatetimeIndex(time_value)
# print(time_list)# 添加時間信息到數據data中
data['hour'] = time_list.hour
data['day'] = time_list.day
data['weekday'] = time_list.weekday# 3、過濾簽到次數過少的地點
# 3-1、獲取各地點簽到次數
place_count = data.groupby('place_id').count()['row_id']# 3-2、過濾簽到次數過少的地點
place_count = place_count[place_count>3]
# 獲取簽到次數過少地點的索引
index = data['place_id'].isin(place_count.index)
# 過濾
data = data[index]# 3-3、篩選特征值和目標值
train = data[['x', 'y', 'accuracy', 'hour', 'day', 'weekday']] #特征值
target = data['place_id'] #目標值# 3-4、數據集劃分
train_data, test_data, train_target, test_target = train_test_split(train, target)# 4、特征工程(標準化)
transfer = StandardScaler()
train_data = transfer.fit_transform(train_data)
test_data = transfer.transform(test_data)
# 注:不進行fit處理:測試集要用訓練集的特征值和標準差(否則測試集就是在自己對自己進行測試,沒有意義)
# 注:target是目標值,不能進行標準化(所以train_target和test_target不進行標準化)# 5、KNN算法預估器
# 5-1、得到預估器
estimator = KNeighborsClassifier() #后面會有超參數搜索,這里先不用設置k值
# 5-2、超參數搜索(模型選擇與調優):得到最佳k值(最佳預估器)
# 1、參數準備
param_dict = {'n_neighbors':[3,5,7,9]}
# 2、開始搜索
estimator = GridSearchCV(estimator, param_dict, cv=3)
# 預估器 參數范圍 選擇次數
# 5-3、訓練(用預估器對訓練值進行訓練)
estimator.fit(train_data, train_target)# 6、模型評估
# 6-1、得到預測結果
predict = estimator.predict(test_data)
print(predict)
# 6-2、對比預測值和測量目標值
print("直接比對預測值和測量目標值:\n", predict==test_target)
# 6-3、得到準確率(對比特征集和目標集測試值)
score = estimator.score(test_data, test_target)
print("準確率:\n", score)print(data)
總結
以上是生活随笔為你收集整理的机器学习(实战)facebook地址预测的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器学习(6)KNN算法(K-近邻算法)
- 下一篇: 机器学习(8)朴素贝叶斯算法(20条新闻