推薦系統(tǒng)最重要的就是解決高維稀疏的user-item矩陣推薦問題,基于百萬用戶感興趣的item給一個用戶推薦他最感興趣的item是相當(dāng)有挑戰(zhàn)的事.這篇論文<GLocal-K: Global and Local Kernels for Recommender Systems>就提出了一個新的框架Global Local Kernel-based matrix completion(GLocal-K)去解決高維系數(shù)的user-item矩陣補(bǔ)全問題.

GLocal-K可分為兩個主要階段。首先，我們使用局部核化權(quán)重矩陣預(yù)訓(xùn)練一個自動編碼器，它使用2d RBF核將數(shù)據(jù)從一個空間轉(zhuǎn)換為特征空間。然后預(yù)訓(xùn)練的自動編碼器通過基于卷積的global kernel對rating矩陣進(jìn)行fine-tune.

如下圖所示,兩個階段分別用了兩種kernel

• 預(yù)訓(xùn)練階段 - local kernelised weight matrix
• fine-tuning階段 - global-kernel based matrix

需要注意的是在預(yù)訓(xùn)練階段使用個finite support kernel讓密集的連接更加密集,讓稀疏的連接更加稀疏.這篇論文關(guān)注的就是矩陣補(bǔ)全,推斷出矩陣R(m * n)所有的打分,一共有n個user和m個item. i = {1, 2, ..., m}, 每個i由向量ri = (Ri1, Ri2, ..., Rin)表示.

首先先訓(xùn)練個基于item的auto encoder,模型如下公式所示:

W(e)是h*m的矩陣,W(d)是個m*h的矩陣,b和b‘是bias.f(.)和g(.)都是非線性激活函數(shù).

為了強(qiáng)調(diào)密集和稀疏連接，論文重新參數(shù)化權(quán)重矩陣,在AE中使用徑向基函數(shù)（RBF）核,這是已知的kernel trick.

RBF定義如下,K(.)就是RBF核函數(shù),用于計(jì)算兩個集合U/V向量之間的相似度.

核函數(shù)可以描述為一個核矩陣LK,如圖所示,其中每個元素是1表示一樣的向量,接近0表示ui和vj距離較遠(yuǎn),然后我們就可以計(jì)算 local kernelised weight matrix,如下所示:

W'兩個矩陣的Hadamard-product乘法得到的.距離在每個向量之間 和 決定神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的連接，隨著訓(xùn)練向量的變化,稀疏度也是動態(tài)變化的。將核技巧應(yīng)用于權(quán)重矩陣可以正則化權(quán)重矩陣并學(xué)習(xí)到泛化更強(qiáng)的向量表示.

最后用rating matrix去fine-tune預(yù)訓(xùn)練的auto encoder. global kernel的構(gòu)建和應(yīng)用過程如下:

如圖所示,decoder已經(jīng)輸出了預(yù)訓(xùn)練模型,也已經(jīng)用預(yù)估的ratings初始化了rating矩陣,用基于item的平均池化,總結(jié)了每個item的所有信息,得到了pooling結(jié)果M = {u1, u2, ..., um},然后用多個核 K = {k1, k2, ...,km}(m*t^2的矩陣),通過內(nèi)積聚和pooling結(jié)果,就如圖所示.聚合后的GK(t * t)就是global convolution kernel,并將其用于user-item矩陣的特征抽取作為fine-tuning的輸入.

參考文獻(xiàn)

1、GLocal-K: Global and Local Kernels for Recommender Systems

https://arxiv.org/pdf/2108.12184v1.pdf

總結(jié)

以上是生活随笔為你收集整理的如何解决高维稀疏的user-item矩阵推荐问题？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。