CF、FM、DSSM、DeepFM等这些推荐模型的原理以及使用场景是什么?
由于近些年深度學(xué)習(xí)技術(shù)的飛速發(fā)展,大力加速推動了AI在互聯(lián)網(wǎng)以及傳統(tǒng)各個行業(yè)的商業(yè)化落地,尤其是推薦系統(tǒng)、計算廣告等領(lǐng)域。由于推薦系統(tǒng)與提升用戶量以及商業(yè)化變現(xiàn)有著密不可分的聯(lián)系,各大公司都放出了眾多推薦系統(tǒng)相關(guān)職位,且薪水不菲,目前發(fā)展勢頭迅猛。?
大多數(shù)欲從事推薦系統(tǒng)相關(guān)工作的同學(xué),往往都是通過自學(xué)的方式來進行學(xué)習(xí),但是這樣很明顯的問題是:
1. 雖然學(xué)習(xí)了解了很多推薦算法模型,如:協(xié)同過濾、FM、DeepFM等,但是卻不清楚這些模型在工業(yè)界推薦系統(tǒng)中是如何串聯(lián)、如何配合、有哪些坑,哪些trick的,導(dǎo)致無論面試還是真正去業(yè)界做推薦系統(tǒng),都會被推薦領(lǐng)域的”老槍老炮“們一眼識別出小白屬性。
2. 對于算法原理理解不深刻,這就會導(dǎo)致實際應(yīng)用時不能很好地將模型的性能發(fā)揮出來,另外面試時對于大廠面試官的刨根問底,只能是眼睜睜的丟掉offer。
CF、FM、DSSM、DeepFM等這些推薦業(yè)界明星模型,你真的清楚他們的內(nèi)部運行原理以及使用場景嗎?真的了解FM模型與SVM有什么相似之處嗎?FM固然可以用作為打分模型,但它可以用來做matching嗎,如果可以,如何做?item2Vec模型在業(yè)界是如何緩解冷啟動的問題的?雙塔模型優(yōu)勢在哪?深度模型到底是如何做matching的,是離線計算好結(jié)果還是實時的對網(wǎng)絡(luò)進行前向計算?DeepFM具體實現(xiàn)時,wide端和deep端的優(yōu)化方式是一樣的嗎?基于Graph的推薦方法在業(yè)界的應(yīng)用目前是怎樣的?
為了真正全面系統(tǒng)的培養(yǎng)面向工業(yè)界的推薦系統(tǒng)人才,貪心學(xué)院推出了《推薦系統(tǒng)工程師培養(yǎng)計劃3期》,在前兩期的基礎(chǔ)上做了全面升級,深度探索推薦系統(tǒng)算法知識,并落地實操工業(yè)級項目,由資深的推薦系統(tǒng)負責(zé)人全程直播講解,幫助你融會貫通,輕松拿offer。?
推薦系統(tǒng)工程師培養(yǎng)計劃
助你成為行業(yè)TOP10%的工程師
對課程有意向的同學(xué)
掃描二維碼咨詢
01 課程大綱
第一部分:推薦系統(tǒng)之內(nèi)容理解與畫像構(gòu)建
Week1?機器學(xué)習(xí)基礎(chǔ) 邏輯回歸模型 梯度下降法 神經(jīng)網(wǎng)絡(luò)模型 過擬合與正則 常用的評價指標 常用的優(yōu)化算法 向量、矩陣基礎(chǔ) | Week2 推薦系統(tǒng)基礎(chǔ) 推薦系統(tǒng)概述、架構(gòu)設(shè)計 推薦系統(tǒng)后臺數(shù)據(jù)流設(shè)計 常用的技術(shù)棧 推薦系統(tǒng)中的評價指標 簡單的用戶協(xié)同 環(huán)境搭建 |
Week3 內(nèi)容畫像的構(gòu)建以及NLP技術(shù) 內(nèi)容畫像的搭建基礎(chǔ) 關(guān)鍵詞提取技術(shù)tf-idf,?textRank LSTM與注意力機制 Attention的幾種常用方式 Self-Attention Multi-head Attention 雙線性Attention NLP工具的使用 MySQL數(shù)據(jù)庫的搭建與內(nèi)容畫像存儲 | Week4 用戶畫像的構(gòu)建 用戶畫像與內(nèi)容畫像的關(guān)系 用戶畫像的架構(gòu) 用戶畫像的擴展 用戶畫像與排序特征 用途:基于標簽的用戶畫像 標簽權(quán)重的計算方法(貝葉斯平滑、時間衰減) 基于用戶畫像的召回方法 Redis的搭建與使用 基于Redis的用戶畫像存儲 Hadoop, Hive, Spark等工具使用 |
第二部分:召回模型與策略、數(shù)據(jù)與采樣的學(xué)問
Week5 傳統(tǒng)Matching方法 MF召回法以及求解 特征值分解 傳統(tǒng)奇異值分解之SVM FunkSVD? ALS方法 SVD++ 基于物品的協(xié)同Item-CF | Week6 深度 Matching方法 理解Embedding技術(shù) Embedding為什么有效 Embedding與稀疏ID類特征的關(guān)系 Item-CF召回與Item2Vec Airbnb序列召回與冷啟動緩解思路 NCF召回以及變種 YouTube召回方法 從DSSM到雙塔模型 雙塔模型工業(yè)界的部署方法 多興趣召回 MIND召回 Faiss工具介紹? KD樹,LSH,Simhash |
Week7 Graph Embedding與用戶行為構(gòu)建圖 隨機游走于傳統(tǒng)協(xié)同方法 Deepwalk Node2Vec及其同質(zhì)性與結(jié)構(gòu)性 LINE? 隨機游走的實現(xiàn) Alias采樣方法 Neo4j講解 Graph Embedding的實現(xiàn) Node2Vec的實現(xiàn) | Week8 圖推薦、圖神經(jīng)網(wǎng)絡(luò)、采樣與熱度打壓 Graph Embedding優(yōu)化 EGS,注意力機制及其變種 Ripple網(wǎng)絡(luò)方法 召回層采樣的坑與技巧 熱度抑制 EGES的實現(xiàn) GCN和GAT? GraphSage |
第三部分:排序模型、重排序與多目標
Week9 經(jīng)典Ranking模型方法 Ranking與用戶畫像 物品畫像 LR模型 GBDT+ LR FM模型詳解、業(yè)界使用方法與坑 FFM模型 AUC與GAUC 增量學(xué)習(xí)與Online Learning 從L1稀疏化、FOBOS到FTRL算法 基于FM實現(xiàn)Ranking精排序 | Week10 深度Ranking模型與工業(yè)采樣技巧 粗排與精排及其意義 主流深度推薦模型的幾種范式 特征自動組合:Deep&Cross, XDeepFM, PNN 特征重要度提取以及無用特征去噪:AFM,DeepFFM 序列推薦模型:DIN,DIEN,AttRes,Stamp 獨辟蹊徑之序列推薦的優(yōu)化思路 深度模型工具的介紹與使用 MLSQL DeepCTR等與工業(yè)界采樣方法 |
Week11 重排序與多目標學(xué)習(xí) 多目標學(xué)習(xí)的幾種范式 范式一:樣本加權(quán) 范式二:多模型融合 范式三:聯(lián)合訓(xùn)練、ESMM,MMOE框架,ESM2等 ESMM的實現(xiàn) |
第四部分:實時召回策略與前沿推薦技術(shù)
Week12-13 工業(yè)界新聞推薦系統(tǒng)中冷啟動與熱點文章實時召回 人群分桶 實時交互正反饋 實時召回與實時畫像技術(shù) 人群投票 人群等級投票 降維分發(fā) 后驗與先驗的結(jié)合 引入注意力機制的優(yōu)化興趣增加和衰減 熱點文章召回策略 本地文章召回策略 算法策略與運營配合協(xié)作 | Week14 強化學(xué)習(xí)與推薦系統(tǒng)、AutoML與推薦系統(tǒng) 強化學(xué)習(xí)概念、以及在推薦系統(tǒng)中的對應(yīng) DP算法本質(zhì)思想 馬爾科夫決策 蒙特卡洛搜索所樹(MCTS) UCB及其在推薦系統(tǒng)中的應(yīng)用 湯普森采樣法 Q-Learning、DRN、策略梯度 強化學(xué)習(xí)在推薦場景中的應(yīng)用 |
Week15 項目總結(jié),部署以職業(yè)規(guī)劃 工業(yè)界項目的部署 推薦系統(tǒng)崗位的面試要點 大廠的面試攻略 如何準備簡歷、包裝自己 職業(yè)規(guī)劃 |
推薦系統(tǒng)工程師培養(yǎng)計劃
助你成為行業(yè)TOP10%的工程師
對課程有意向的同學(xué)
掃描二維碼咨詢
02?課程中的實戰(zhàn)項目
1.?相似推薦場景項目
? ?項目描述:
工業(yè)界中,推薦系統(tǒng)已經(jīng)逐步滲入到各個場景下,從最常見的信息流、首頁猜你喜歡等,到看了又看、買了又買,以及相似物品推薦等。本項目將以此為切入點,帶領(lǐng)學(xué)員們體驗相似推薦場景的算法與工具、以及工業(yè)界的使用經(jīng)驗、心得、trick。
???項目預(yù)期結(jié)果:
掌握相似推薦場景的常用算法和工具、以及使用經(jīng)驗,具備獨立完成相似推薦場景的能力。
2. 資訊信息流召回場景項目
???項目描述:
目前業(yè)界最主流的推薦系統(tǒng)使用“多路召回+精排”的方式,本項目中,帶你掌握這種工業(yè)界最流行的推薦方式,你將使用DSSM等深度網(wǎng)絡(luò)算法,并基于ANN檢索的方式實現(xiàn)召回,最后使用精排,對每個候選物品進行打分并排序,最后按照得分對用戶進行物品展示,用此種方式還原真實工業(yè)界場景。?
???項目預(yù)期結(jié)果:
此項目將為學(xué)員帶來完整的工業(yè)界推薦算法與數(shù)據(jù)流,麻雀不大,但五臟俱全,令你掌握深度召回、向量化檢索、深度排序以及工程化部署等,完全具備一個合格的推薦算法工程師能力。
3.?多目標排序場景項目
???項目描述:
隨著推薦系統(tǒng)的發(fā)展,無論是流量化場景,還是商業(yè)化場景,多目標的擬合在推薦系統(tǒng)中的重要性,慢慢的從小荷才露尖尖角,迅速的發(fā)展成為執(zhí)牛耳的地位,本項目將多目標排序單獨作為一個模塊,分別利用工業(yè)界經(jīng)典以及最新方法來體驗多目標排序的美妙。
???項目預(yù)期結(jié)果:
掌握推薦領(lǐng)域的高階技術(shù)-多目標排序的算法的工程實踐,在深度排序的基礎(chǔ)上進一步拓展排序的優(yōu)化空間。
推薦系統(tǒng)工程師培養(yǎng)計劃
助你成為行業(yè)TOP10%的工程師
對課程有意向的同學(xué)
掃描二維碼咨詢
03部分案例和作業(yè)
01
實現(xiàn)基于用戶協(xié)同的文本推薦
在深度學(xué)習(xí)盛行的時代,經(jīng)典的協(xié)同過濾方法是否還在各大公司的推薦引擎中使用呢?答案是肯定的,協(xié)同算法在推薦領(lǐng)域中有這不可磨滅的基因,作為分發(fā)和傳播能力極強的方法,至今,協(xié)同過濾方法仍然在工業(yè)界有這廣泛的應(yīng)用。此案例中,同學(xué)們將親手實踐協(xié)同算法的威力。
02
基于NLP技術(shù)、Redis構(gòu)建與存儲內(nèi)容畫像
用戶畫像在推薦領(lǐng)域有著至關(guān)重要的作用,主流的協(xié)同以及今天大火的深度召回方法,如雙塔、YouToBe召回方法等的情況下,基于用戶畫像的召回方法仍然適用,因其極具可控性與解釋性,推薦領(lǐng)域,因其有這天然的業(yè)務(wù)性,導(dǎo)致推薦系統(tǒng)對可解釋性要求極高,當(dāng)出現(xiàn)推薦的bad case時,基于用戶畫像的召回策略是查找bad case的重要手段。
03
Item2Vec的實現(xiàn)
推薦業(yè)務(wù)領(lǐng)域常常有如下場景,相關(guān)推薦、猜你還喜歡等,熟悉吧?背后支持的算法和系統(tǒng)策略邏輯是什么呢?答案就在此案例中,類似的相關(guān)推薦場景,即為:根據(jù)現(xiàn)有物品推薦另一相關(guān)的物品或者商品,借助于用戶行為與word2vec思路,將item Embedding引入此場景,并適當(dāng)引入side info信息來做商品的相關(guān)推薦方法,此案例將為你揭曉其中的秘密。
04
FM方法的實現(xiàn)
MF(矩陣分解)算法作為推薦算法經(jīng)典代表作之一,其是最早體現(xiàn)出Embedding泛化擴展思想的雛形;之后,FM(因子分解機)算法在MF(矩陣分解)基礎(chǔ)之上發(fā)揚光大,將Embedding思想進一步引入傳統(tǒng)的機器學(xué)習(xí)做推薦,FM算法看成推薦領(lǐng)域的萬金油,召回、粗排、精排均可用FM實現(xiàn),在深度學(xué)習(xí)上線資源較困難的情況下,可視為推薦領(lǐng)域的baseline的不二法門,此案例中,你將親自感受FM算法的魅力。?
05
Wide&Deep算法實現(xiàn)
推薦算法本質(zhì)上就是在解決兩個問題:記憶和泛化,傳統(tǒng)的LR等模型,將大量的ID類稀疏特征直接喂給模型,再由廣義線性模型直接學(xué)習(xí)這些ID類特征的權(quán)重,本質(zhì)上就是模型對特征的簡單粗暴的記憶,因此,泛化擴展性得不到保證,從未出現(xiàn)過的特征(如很重要的交叉特征等),模型無法學(xué)習(xí)該特征權(quán)重,故特征的指征能力無法體現(xiàn)。
因此,深度學(xué)習(xí)模型引入Embedding稠密向量概念,將不同特征之間的一部分共性抽象出,放入Embedding空間進行學(xué)習(xí),這樣的操作可以近乎看作是模糊查找,具有較強的泛化能力,但記憶性顯然不如LR等模型,wide&&deep的提出是兼容記憶性與泛化性的考慮,在此基礎(chǔ)上,后續(xù)的DeepFM等模型,也只是在wide端加強了模型對特征的顯式交叉,但架構(gòu)本質(zhì)與wide&&deep模型是一樣的。此案例就來帶大家實操WDL方法。
推薦系統(tǒng)工程師培養(yǎng)計劃
助你成為行業(yè)TOP10%的工程師
對課程有意向的同學(xué)
掃描二維碼咨詢
04?學(xué)習(xí)收獲
1.?掌握每一個核心技術(shù)點、學(xué)完之后在技術(shù)上可滿足絕大部分推薦系統(tǒng)崗位的要求
2.?深入理解每一個技術(shù)背后的算法細節(jié)和全部推導(dǎo)過程
3.?通過大量案例的實戰(zhàn),達到學(xué)以致用的目的,并學(xué)習(xí)工業(yè)界一線的經(jīng)驗
4.?緊跟技術(shù)的發(fā)展、走在時代的前沿
05 課程適合誰?
大學(xué)生
l理工科相關(guān)專業(yè)的本科/碩士/博士生,畢業(yè)后想從事AI工作的人
l今后想從事推薦系統(tǒng)相關(guān)工作的人
l希望能夠深入AI領(lǐng)域,為科研或者出國做準備
l希望系統(tǒng)性學(xué)習(xí)推薦相關(guān)的技術(shù)
在職人士
l目前從事IT相關(guān)的工作,今后想做跟推薦相關(guān)的項目
l目前從事AI相關(guān)的工作,希望與時俱進,加深對技術(shù)的理解
l希望能夠及時掌握前沿技術(shù)
06?入學(xué)標準
1.?理工科相關(guān)專業(yè)學(xué)生,或者IT從業(yè)者
2.?具有良好的Python編程能力
3.?掌握機器學(xué)習(xí)基礎(chǔ)(如線性回歸、邏輯回歸、SVM等)
07?報名須知
1. 本課程為收費教學(xué)。
2.?剩余名額有限。
3.?品質(zhì)保障!正式開課后7天內(nèi),無條件全額退款。
4. 學(xué)習(xí)本課程需要具備一定的機器學(xué)習(xí)基礎(chǔ)。
推薦系統(tǒng)工程師培養(yǎng)計劃
助你成為行業(yè)TOP10%的工程師
對課程有意向的同學(xué)
掃描二維碼咨詢
總結(jié)
以上是生活随笔為你收集整理的CF、FM、DSSM、DeepFM等这些推荐模型的原理以及使用场景是什么?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【Python】相当全面的Pandas文
- 下一篇: 如何右键文件夹以Sublime 打开