說到learning to rank,大家應該都比較熟悉,但是說到用XGB做learning to rank,很少有人實現過.舉個例子,比方說賽馬,我們可以基于馬的個頭,體重,歷史戰績等信息,建立XGB模型,進行二分類,最后選擇贏的概率最高的馬.這樣做并沒有問題,但是考慮到馬是否能跑贏,和對手緊密相關,不管我選的馬能力如何,只要他能跑贏同場比賽其他馬即可,這就是排序.

Learning To Rank

學習排序其實也是有監督學習的一部分,和多分類和回歸模型相比,我們并不是要預估一條樣本的概率,而是預估很多個樣本點的順序.排序經常被用于搜索引擎,還有一些購物建議.在搜索框里搜任何一條query,top 3展示的一定是最相關的,越往后翻頁相關度越低.

回到XGBoost,有3個目標函數,Point Wise,Pairwise和Listwise,這3種方法都可以用來排序,每個方法都有其優缺點.對于pointwise而言,每次僅僅考慮一個樣本,預估的是每一條和query的相關性,基于此進行排序.Pairwise是每次取一對樣本,預估這一對樣本的先后順序,不斷重復預估一對對樣本,從而得到某條query下完整的排序.Listwise同時考慮多個樣本,找到最優順序.

Point Wise雖然簡單,但是存在不少問題.比如說賽馬場景,馬的輸贏取決于對手.再比如搜索場景,我們確實可以預估每個query到每個document的點擊率做為排序依據,但是點擊率要考慮rank,例如排的越靠前的document點擊率上占據優勢,這些point-wise模型很難考慮進去.基于此,我們需要做learning to rank的模型.

建模

首先要明確的是訓練數據,訓練數據必須包含一列query id,該id下指明哪些樣本要放到一起進行排序.同時特別需要注意的是,在訓練集和測試集進行拆分時,需要按query id進行分割,如果直接隨機拆分,同一個query id下的數據就會被分開,這樣會導致模型出問題.我們可以用如下代碼進行拆分.

from sklearn.model_selection import GroupShuffleSplit gss = GroupShuffleSplit(test_size=.40, n_splits=1, random_state = 7).split(df, groups=df['query_id']) X_train_inds, X_test_inds = next(gss)train_data= df.iloc[X_train_inds] X_train = train_data.loc[:, ~train_data.columns.isin(['id','rank'])] y_train = train_data.loc[:, train_data.columns.isin(['rank'])]# 模型需要輸入按query_id排序后的樣本 # 并且需要給定每個query_id下樣本的數量 groups = train_data.groupby('id').size().to_frame('size')['size'].to_numpy()test_data= df.iloc[X_test_inds]#We need to keep the id for later predictions X_test = test_data.loc[:, ~test_data.columns.isin(['rank'])] y_test = test_data.loc[:, test_data.columns.isin(['rank'])]

我們的數據格式應該如下所示,如果數據長這樣,那么我們上述代碼中的groups就是[3, 4]:

然后我們就可以建模了,可以用XGBRanker訓練排序模型,在這個場景下,我們無法自定義objective,也無法自定義mertic了.

import xgboost as xgbmodel = xgb.XGBRanker( tree_method='gpu_hist',booster='gbtree',objective='rank:pairwise',random_state=42, learning_rate=0.1,colsample_bytree=0.9, eta=0.05, max_depth=6, n_estimators=110, subsample=0.75 )model.fit(X_train, y_train, group=groups, verbose=True)

訓練完后我們就可以進行預估,因為預估方法并不會輸入groups,所以我們需要做一些特殊處理:

def predict(model, df):return model.predict(df.loc[:, ~df.columns.isin(['id'])])predictions = (data.groupby('id').apply(lambda x: predict(model, x)))

這里選擇了"rank:pairwise"作為loss,看官方文檔還有其他rank loss可供嘗試:

pair wise 方法相比pointwise有優勢，可以學習到一些順序。但是pairwise也有缺點：

1.只能給出排序,并不能給出有多好,好多少.比如在搜索場景下,可能一條與query相關的doc都沒,pointwise可以通過卡閾值得到這個信息,但是rank方式就不能區分.

2.當一個query下有很多doc，會產生大量的pairs。

3.對噪聲的label 非常敏感。

感興趣的趕緊嘗試起來吧!

用XGB learning to rank

總結

以上是生活随笔為你收集整理的用 XGBoost 做 Learning To Rank的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。