人民大学赵鑫:基于知识与推理的序列化推荐技术研究
不到現場,照樣看最干貨的學術報告!
嗨,大家好。這里是學術報告專欄,讀芯術小編不定期挑選并親自跑會,為大家奉獻科技領域最優(yōu)秀的學術報告,為同學們記錄報告干貨,并想方設法搞到一手的PPT和現場視頻——足夠干貨,足夠新鮮!話不多說,快快看過來,希望這些優(yōu)秀的青年學者、專家杰青的學術報告 ,能讓您在業(yè)余時間的知識閱讀更有價值。
人工智能論壇如今浩如煙海,有硬貨、有干貨的講座卻百里挑一?!癆I未來說·青年學術論壇”系列講座由中國科學院大學主辦,承辦單位為中國科學院大學學生會,協辦單位為中國科學院計算所研究生會、網絡中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會,百度為支持單位,讀芯術、PaperWeekly為合作自媒體。“AI未來說·青年學術論壇”第九期“個性化內容推薦”專場已于2019年9月22日下午在中科院舉行。人民大學趙鑫為大家?guī)韴蟾妗痘谥R與推理的序列化推薦技術研究》。
趙鑫全場報告視頻
趙鑫,中國人民大學信息學院副教授,博士生導師。近五年內在國內外著名學術期刊與會議上以主要作者身份發(fā)表論文60余篇。所發(fā)表的學術論文取得了一定的關注度,據Google Scholar統計,已發(fā)表論文共計被引用2800余次,其中以第一作者發(fā)表的《Comparing Twitter and Traditional Media Using Topic Models》被引用1100余次。擔任多個重要的國際會議或者期刊評審,入選第二屆CCF青年人才發(fā)展計劃。曾獲得CIKM 2017最佳短文候選以及AIRS 2017最佳論文獎。
報告內容:推薦系統一直是工業(yè)界和學術界的研究熱點。傳統序列化推薦算法已經取得了非常不錯的實戰(zhàn)效果,但是這些已有算法對于可解釋性關注不夠,所采用的模型大部分只能刻畫用戶行為的序列性。本次報告主要借鑒最近幾年深度學習模型在推理機制方面和知識融入方面的進展,提出了能夠同時刻畫序列性和可解釋性的推薦算法。為了加強推理能力、改善可解釋性,在推薦算法中引入了外部知識信息。經過實驗驗證,所提出算法在推薦準確率以及可解釋性兩個方面均有提升。
基于知識與推理的序列化推薦技術研究
趙鑫老師首先簡單概括了報告的內容,報告內容與知識圖譜和序列化推薦相關,但是集中于序列化推薦這個點上,并簡要介紹了學術界和工業(yè)界做推薦的差異。
然后先講了序列化推薦系統的整體概覽,在推薦系統中,用戶的采納行為是一個序列決策過程,包括next-basket和next-item的推薦。然后介紹了推薦系統中的常用方法,大致可分為經典方法和主流方法兩類。
其中,經典方法包括基于頻率的馬爾可夫模型和基于頻率的個性化馬爾可夫模型,前者主要是基于轉移矩陣,項目之間存在轉移,比如項目A后大概率是項目B,項目B后大概率是項目C,但是所有人共享這樣的轉移矩陣顯然不是特別合理的,所以后者在前者的基礎上進行了改進,使用個性化的分解模型,使下一個物品和上一個物品的表示,和當前的用戶表示是有關系的,該模型也可以計算出當前候選物品的得分。
在介紹主流方法之前,先介紹了基本的RNN模型。其中,主流方法包括個性化推薦的層級RNN模型和基于注意力的RNN模型。層級RNN模型可以更好地從層次化和個性化方面建模推薦系統,而基于注意力的RNN模型則把注意力集中于最需要關注的事物上,對一些對相應的推薦作用比較小的事物具有一定的過濾作用,對于長序列的建模很重要。
對于推薦系統來說,上下文是很重要的,而且很多種類的非結構化信息是可以獲得的,因此基于上下文的推薦系統也是很常用的。其常見的方法有因子分解機(Factorization Machine,FM)和具有上下文意識(Context-aware)的RNN模型。
接著,又介紹了鏈接知識庫的推薦系統。由于知識庫包含的實體擁有豐富的屬性和關系信息,因而對于推薦系統來說有輔助的作用。然后講到了自己所在團隊提出的一個大的公共的鏈接知識庫推薦系統的KB4Rec數據集,并介紹了數據集的數據格式和相關的統計信息。此外,進一步介紹了現有的基于知識庫的推薦系統方法,如協同知識庫嵌入(Colloborative Knowledge base Embedding)模型、深度知識意識的網絡(Deep Knowledge-aware Network)模型和連鎖網絡(Ripple Network)模型。
在介紹完現有的典型的方法之后,趙鑫老師又介紹了自己所在團隊提出的三類方法,分別為基于屬性的記憶網絡的知識整合模型(SIGIR 2018)、基于分類記憶網絡的知識整合模型(WSDM 2019)和基于元路徑的協同注意力網絡的知識整合模型(SIGKDD 2018)。
現有的基于RNN的方法仍存在一些問題:1)很難進行解釋,比如任何事物都是被嵌入表達的;2)有限制的模型建模能力,如長時序依賴和弱的推理能力。而基于屬性的記憶網絡知識整合模型可以解決這些問題。該模型由知識圖譜、GRU網絡和鍵-值記憶網絡(Key-Value Memory Network)組成,通過連接推薦系統中的項目實體和知識圖譜中存在的實體,來增強鍵-值記憶網絡的語義表達能力。其中,GRU網絡用于捕捉序列的偏好,而鍵-值記憶網絡用于捕捉基于屬性的偏好。
在介紹基于分類記憶網絡的知識整合模型之前,先介紹了先前的基于多跳推理推薦方法存在的一些問題,比如對于每一跳缺乏必要的解釋,典型的實例為連鎖網絡(Ripple Net)。而基于分類記憶網絡的知識整合模型使用了分類結構進行多跳推理對齊的方法,可以解決這些問題,該模型由GRU網絡和層級多跳記憶網絡組成,可以根據不同級別的項目類別層級地學習多個細粒度的喜好表達,而且可以在項目選擇的過程中捕捉用戶喜好的演化和改進。
在介紹基于元路徑的協同注意力網絡的知識整合模型之前,先介紹了異質信息網路和元路徑的定義,并列舉了元路徑的實例。該模型是為了尋找更靈活的結構來表示知識?,F有的基于異質信息網絡(HIN-based)的方法主要存在兩類:1)基于路徑的語義關聯作為推薦特征的方法,如OptRank和SemRec;2)基于路徑的增強用戶或項目表達的相似度的方法,如HeteRec、FMG和NeuACF。其缺點包括:1)很少顯示地表達推薦的路徑或元路徑;2)集中于兩通路的用戶和項目的交互,沒有考慮用戶、項目和路徑之間的相互的影響。針對這些問題,趙鑫老師所在的團隊提出了相應的解決方法:1)學習基于元路徑的上下文剪枝的用于推薦的顯式表達;2)描述一個三通路的交互<用戶、元路徑、項目>。
最后,趙鑫老師對報告的內容進行了總結:1)知識庫對于提高序列推薦系統的性能是很有用的;2)知識可以被有效地融合于潛在的神經網絡的推理架構中;3)記憶網絡可以在長時間內存儲知識和有用信息。
?
AI未來說*青年學術論壇
第一期 數據挖掘專場
1.?李國杰院士:理性認識人工智能的“頭雁”作用
2.?百度熊輝教授:大數據智能化人才管理
3.?清華唐杰教授:網絡表示學習理論及應用
4.?瑞萊智慧劉強博士:深度學習時代的個性化推薦
5.?清華柴成亮博士:基于人機協作的數據管理
第二期?自然語言處理專場
1.?中科院張家俊:面向自然語言生成的同步雙向推斷模型
2.?北郵李蕾:關于自動文本摘要的分析與討論
3.?百度孫珂:對話技術的產業(yè)化應用與問題探討
4.?阿里譚繼偉:基于序列到序列模型的文本摘要及淘寶的實踐
5.?哈工大劉一佳:通過句法分析看上下文相關詞向量
第三期?計算機視覺專場
1.?北大彭宇新:跨媒體智能分析與應用
2.?清華魯繼文:深度強化學習與視覺內容理解
3.?百度李穎超:百度增強現實技術及應?
4.?中科院張士峰:基于深度學習的通用物體檢測算法對比探索
5.?港中文李弘揚 :物體檢測最新進展
第四期?語音技術專場
1.?
2.?
3.?
4.?
5.?
第五期?量子計算專場
1.?
2.?
3.?
4.?
5.?
第六期?機器學習專場
1.?中科院張文生:健康醫(yī)療大數據時代的認知計算
2.?中科院莊福振:基于知識共享的機器學習算法研究及應用
3.?百度胡曉光:飛槳(PaddlePaddle)核心技術與應用實踐
4.?清華大學王奕森:Adversarial Machine Learning: Attack and Defence
5.?南京大學趙申宜:SCOPE - Scalable Composite Optimization for Learning
第七期 自動駕駛專場
1.?北京大學查紅彬:基于數據流處理的SLAM技術
2.?清華大學鄧志東:自動駕駛的“感”與“知” - 挑戰(zhàn)與機遇
3.?百度朱帆:開放時代的自動駕駛 - 百度Apollo計劃
4.?北理宋文杰:時空域下智能車輛未知區(qū)域自主導航技術
第八期 深度學習專場
1.?中科院文新:深度學習入門基礎與學習資源
2.?中科院陳智能:計算機視覺經典——深度學習與目標檢測
3.?中科院付鵬:深度學習與機器閱讀
留言 點贊 發(fā)個朋友圈
我們一起分享AI學習與發(fā)展的干貨
推薦文章閱讀
ACL2018論文集50篇解讀
EMNLP2017論文集28篇論文解讀
2018年AI三大頂會中國學術成果全鏈接
ACL2017 論文集:34篇解讀干貨全在這里
10篇AAAI2017經典論文回顧
長按識別二維碼可添加關注
讀芯君愛你
總結
以上是生活随笔為你收集整理的人民大学赵鑫:基于知识与推理的序列化推荐技术研究的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 变频器LED显示灯闪烁_东莞变频器常见故
- 下一篇: 发放豆瓣电台邀请!