AI入门:不用任何公式把推荐系统讲清楚
全文共 2573?字,13?幅圖,
預(yù)計閱讀時間 14 分鐘。
文末有彩蛋!
我還是推薦系統(tǒng)小白,因此對此課題理解相當(dāng)淺顯,但一定很好懂。這才是學(xué)一樣新東西的正確開始方式。
01
故事的背景包括 4 個小孩和 5 部動畫,每個小孩為每部動畫打分
1 分代表最不喜歡
5 分代表最喜歡
02
悠悠覺得「小豬佩奇」還可以,給了 3 分。建立一個 4 × 5 的矩陣
每行代表一個小孩給所有動畫打的分?jǐn)?shù)
每列代表一部動畫被所有小孩打的分?jǐn)?shù)
當(dāng)悠悠給「小豬佩奇」打完分后,在矩陣第 1 行第 1 列填入 3 分。
03
假設(shè) 4 個小孩為 5 部動畫打分完畢,哪一個打分矩陣最像真的?
最左邊不像,小孩的喜好不會這么千篇一律
最右邊不像,小孩的喜好不會這么毫無聯(lián)系
中間的最像,小孩的喜好會有一定的規(guī)律
04
悠悠和丫丫年齡差不多,總在一起看動畫片,她倆的對動畫的品位出奇相似(5 部動畫給出同樣的評分),比如大愛「小豬佩奇」,小愛「獅子王」,不喜歡「冰雪奇緣」「超人特工隊」「瑪莎和熊」。
規(guī)律 1:不同用戶的喜好可能相似。
05
樂樂喜歡看帶「人物」的動畫,他給「冰雪奇緣」和「超人特工隊」高分;丫丫喜歡看帶「動物」的動畫,她給「小豬佩奇」和「獅子王」高分;多多還比較小,只要是動畫都喜歡,他給所有動畫高分(多多給的分是樂樂和丫丫給的分之和)。
規(guī)律 2:一個用戶的喜好可能包含其他多個用戶的喜好。
06
「瑪莎和熊」的評分是「獅子王」和「冰雪奇緣」的評分的均值。可能原因是「獅子王」里只含有動物,「冰雪奇緣」里絕大部分是人,而「瑪莎和熊」里既有動物又有人,而且數(shù)目相當(dāng)。
規(guī)律 3:一個動畫內(nèi)容可能包含其他多個動畫內(nèi)容。
08
先看一個最簡單的推薦系統(tǒng)。
當(dāng)所有人給所有電影打 3 分,問丫丫應(yīng)該給「超人特工隊」打多少分?
從評分矩陣來看,每個人對每個電影喜歡一樣,因此預(yù)測出丫丫會給「超人特工隊」打 3 分。
09
再看一個稍微復(fù)雜的推薦系統(tǒng)。
問丫丫應(yīng)該給「瑪莎和熊」打多少分?
從評分矩陣第一行和第三行來看,悠悠和丫丫的喜歡相同,因此預(yù)測出丫丫會給「瑪莎和熊」打 2 分,和悠悠一樣。
10
上面例子太簡單,如果小孩有很多個,動畫有很多部,我們怎么才能從評分矩陣中學(xué)到所有的規(guī)律呢?
答案:找到隱含特征!
回到上面的例子,如果特征是動畫片的類別,那么特征值有兩個,人物類和動物類。那么根據(jù)不同小孩對這兩類動畫特征的喜好,如上圖,
悠悠和丫丫喜歡動物類,不喜歡人物類
樂樂喜歡人物類,不喜歡動物類
多多都喜歡
再根據(jù)具體動畫片含這兩類特征的比重,如下圖
我們可以將?4 × 5 的評分矩陣分解成
4 × 2?的「小孩-特征」矩陣
2?× 5?的「特征-動畫」矩陣
如下。
11
因此我們要做的事情就是講評分矩陣分解成兩個非負(fù)矩陣的乘積,專業(yè)術(shù)語是非負(fù)矩陣分解(Non-negative Matrix Factorization, NMF), 機(jī)器學(xué)習(xí)包 Scikit-Learn 里有實現(xiàn)哦。
import numpy as np from sklearn.decomposition import NMF用上面數(shù)據(jù)試了下,雖然分別的矩陣不是完全一樣,但矩陣中是 0 的還是 0,其他元素只是差了一個縮放因子(scaling factor),你看最后把兩個分解矩陣相乘,差不到能得到原來的評分矩陣。
實際情況下,不可能每個小孩對每部動畫都給出評分,因此不能直接用 NMF,那些缺失值才體會推薦系統(tǒng)的價值,我們要根據(jù)已有的評分來預(yù)測未給的評分,再決定是否推薦。
12
實際情況,打 ?都是未給出評分,這時
設(shè)「小孩-特征」矩陣為 U
設(shè)「特征-動畫」矩陣為 V
用以下誤差函數(shù)(只考慮未缺失的 Ri,j)
????(Ri,j – U?第?i?行和 V?第?j?列內(nèi)積)2
怎么解?梯度下降唄!解完 U 和 V 后相乘發(fā)現(xiàn) R4,4?= 5,那么妥妥的給多多推薦獅子王!
13
以上我理解的推薦系統(tǒng)只是皮毛,想全方位了解它,可參考新書《推薦系統(tǒng)開發(fā)實戰(zhàn)》!
往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)在線手冊AI基礎(chǔ)下載(pdf更新到25集)備注:加入本站微信群或者qq群,請回復(fù)“加群”獲取一折本站知識星球優(yōu)惠券,請回復(fù)“知識星球”
喜歡文章,點個在看
總結(jié)
以上是生活随笔為你收集整理的AI入门:不用任何公式把推荐系统讲清楚的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2018-2019年度 AI方向Top1
- 下一篇: 入门:现实世界中的推荐系统(术语、技术等