?作者 |?林子涵

學(xué)校 |?中國人民大學(xué)信息學(xué)院碩士

來源?|?RUC AI Box

引言

點(diǎn)擊率（Click-Through Rate，簡稱 CTR）預(yù)測任務(wù)在各類互聯(lián)網(wǎng)應(yīng)用中大量存在，相關(guān)算法的表現(xiàn)好壞影響經(jīng)濟(jì)效益和用戶體驗(yàn)，而隨著深度學(xué)習(xí)方法的發(fā)展，各類最新的深度神經(jīng)模型被提出并不斷刷新在此任務(wù)上的性能。本文簡單梳理 CTR 預(yù)測任務(wù)中深度模型的發(fā)展過程，從特征交互、用戶行為建模、自動(dòng)化結(jié)構(gòu)搜索三個(gè)方面對各個(gè)模型進(jìn)行簡單的總結(jié)和介紹，并在最后給出本任務(wù)中亟待解決的幾個(gè)重大挑戰(zhàn)。

背景

個(gè)性化的在線服務(wù)自從互聯(lián)網(wǎng)誕生之時(shí)就出現(xiàn)了雛形，最近幾年隨著多媒體類互聯(lián)網(wǎng)應(yīng)用的興起，電商平臺商品推薦、廣告精準(zhǔn)投放、個(gè)性化搜索引擎等大量場景下會產(chǎn)生點(diǎn)擊率預(yù)測的任務(wù)。由于用戶的每一次點(diǎn)擊行為都可以看作是其偏好的一種展示，點(diǎn)擊率預(yù)測就是從存儲的用戶歷史數(shù)據(jù)中學(xué)習(xí)用戶的偏好，然后用其預(yù)測未來行為的過程。在此任務(wù)中，數(shù)據(jù)會被組織為表格的形式，每一行對應(yīng)一條數(shù)據(jù)，每一列則為一個(gè)用戶或商品特征項(xiàng)，所有的訓(xùn)練數(shù)據(jù)首先會經(jīng)過特征工程模塊，對數(shù)值特征進(jìn)行歸一化、離散化、哈希、索引等預(yù)處理，之后每一條數(shù)據(jù)都會變?yōu)閮H僅包含標(biāo)準(zhǔn)特征的多維向量，其中標(biāo)簽列為 0 或 1（0 代表用戶沒有點(diǎn)擊行為，1 代表有點(diǎn)擊行為），一組數(shù)據(jù)樣例展示如下圖：

由于標(biāo)簽為 0 或 1，則本任務(wù)可以建模為一個(gè)二分類任務(wù)，常用的損失函數(shù)便是交叉熵?fù)p失：

其中， 為 sigmoid 函數(shù)， 為模型預(yù)測函數(shù)， 代表模型參數(shù)， 分別代表輸入的特征向量和標(biāo)簽。

CTR 預(yù)測模型的發(fā)展可以分為兩個(gè)方面：自動(dòng)的特征工程和提升模型能力。對于早期的 CTR 預(yù)測模型，受限于計(jì)算能力，大家更多的采用人工特征工程+簡單機(jī)器學(xué)習(xí)模型的方式，后來出現(xiàn)的神經(jīng)網(wǎng)絡(luò)模型將人力從特征工程中解放了出來，但是隨著深層模型進(jìn)入瓶頸，最近的研究又重新返回特征工程，使用可學(xué)習(xí)的參數(shù)化方法來完成特征構(gòu)造的過程，將復(fù)雜的模型和可學(xué)習(xí)的特征工程相結(jié)合成為了目前研究的熱點(diǎn)。

由淺到深的 CTR 模型

針對二元分類任務(wù)，最簡單的模型便是線性的邏輯斯蒂回歸，其最大的優(yōu)勢在于高效和易于部署，計(jì)算公式如下：

其中， 為模型參數(shù)， 為特征維度。這種模型的一個(gè)嚴(yán)重缺點(diǎn)就是無法處理不同特征間的組合問題，如中國人更加喜歡中餐館而非西餐館。因此一個(gè)直接的辦法就是手動(dòng)的將特征之間進(jìn)行組合形成新的交叉特征。

基于這種想法，POLY2 模型將所有特征兩兩組合并為每一個(gè)交叉項(xiàng)設(shè)置一個(gè)權(quán)重參數(shù)，由于總共需要 個(gè)參數(shù)，這樣的模型在數(shù)據(jù)稀疏時(shí)并不能很好的學(xué)習(xí)參數(shù)。另一種方式是使用梯度下降決策樹（GBDT）來學(xué)習(xí)特征的權(quán)重，但由于其無法并行，所以訓(xùn)練效果依舊不好且無法大規(guī)模部署。

在這種場景下，因子分解機(jī)（Factorization Machine，簡稱FM）為每一個(gè)特征創(chuàng)建一個(gè)可學(xué)習(xí)的參數(shù)向量 并通過一種靈活的乘積方式計(jì)算特征交互：

其中每兩個(gè)特征項(xiàng)之間通過向量點(diǎn)積 的大小和正負(fù)來衡量，在具備高效的計(jì)算性能的同時(shí)又具備相當(dāng)?shù)目山忉屝浴Ｑ刂?FM 模型的思路，一系列升級版模型針對不同側(cè)重點(diǎn)進(jìn)行了優(yōu)化，如：FFM、GBFM、HOFM、FwFM等模型。從這些模型開始，繁重的人工特征工程逐漸被部分替代。

從 2015 年開始，受到 GPU 計(jì)算能力提升和神經(jīng)網(wǎng)絡(luò)結(jié)果出色表現(xiàn)的影響，深度模型逐步開始使用在 CTR 預(yù)測任務(wù)中。由于神經(jīng)網(wǎng)絡(luò)只能處理連續(xù)的數(shù)值型數(shù)據(jù)，所以需要將原本離散的特征向量轉(zhuǎn)換為連續(xù)實(shí)數(shù)向量，這一步也成為特征嵌入。完成轉(zhuǎn)換后，向量可以被連接后送入多層感知機(jī)（MLP）模型中來進(jìn)行預(yù)測，工業(yè)界中也稱這樣的模型為DNN或SNN。這樣的模型可以自動(dòng)提取不同特征之間的高層交互，但參數(shù)失去了可解釋性。后來，在同時(shí)考慮線性特征和深層交互特征的Wide&Deep中，DNN 和 LR 被同時(shí)使用來加強(qiáng)不同層級的建模能力，表示如下：值得說明的是，人工構(gòu)造的一些強(qiáng)特征也可以作為向量輸入到深度模型中，這樣在模型中的深度部分作用相當(dāng)于學(xué)習(xí)淺層模型與標(biāo)簽之間的殘差。同樣實(shí)現(xiàn)類似功能的還有DeepCross模型，它通過一種隱式的交互來自動(dòng)構(gòu)建特征交互。

盡管這些早期的深度模型通過 MLP 來達(dá)到更好的特征交互，其劣勢也相當(dāng)明顯，訓(xùn)練一個(gè)好的神經(jīng)網(wǎng)絡(luò)是十分困難的，不敏感梯度可能導(dǎo)致網(wǎng)絡(luò)無法刻畫離散的特征交互，同時(shí)使用 MLP 來模擬簡單的向量點(diǎn)積都是十分困難的。正是由于這些問題的存在，后續(xù)出現(xiàn)了很多結(jié)構(gòu)上更加復(fù)雜也更加有效的網(wǎng)絡(luò)結(jié)構(gòu)來試圖解決這些問題。它們可以被分為三類：（1）特征交互模型，這類模型關(guān)注于如何設(shè)計(jì)更加合理的方式來完成單個(gè)數(shù)據(jù)項(xiàng)內(nèi)的不同特征間的交互。（2）用戶行為建模模型，這類模型以用戶為標(biāo)準(zhǔn)對數(shù)據(jù)分組，建模用戶的興趣在不同的行為數(shù)據(jù)項(xiàng)上的變化情況。（3）自動(dòng)結(jié)構(gòu)搜索方法，這類模型考慮使用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）技術(shù)來同時(shí)解決上述兩個(gè)方面。下面對這三類方法簡單介紹。

特征交互

在深度神經(jīng)網(wǎng)絡(luò)模型中，輸入的特征都已經(jīng)轉(zhuǎn)換為獨(dú)熱向量，所有的向量會首先經(jīng)過一個(gè)嵌入層轉(zhuǎn)換為連續(xù)向量，接下來會被輸入到一個(gè)特征表示學(xué)習(xí)層中，這一層通過顯式的特征交互，獲取高階的特征交互表示，神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到較好的表現(xiàn)往往直接取決于這一層得到的特征交互是否合適，沿著這樣的思路，很多模型可以被表達(dá)為：其中的 MLP 結(jié)構(gòu)在這類模型中并不是必須的，接下來我們分為三類簡單介紹這類重點(diǎn)在特征交互的模型。

點(diǎn)積模型

為了直接的建模特征之間的二階交互，PNN模型首次引入在嵌入層和神經(jīng)網(wǎng)絡(luò)層之間引入了一個(gè)點(diǎn)積層，這一層通過將不同特征之間的表示向量兩兩進(jìn)行點(diǎn)積來顯式的獲得特征交互結(jié)果，根據(jù)使用點(diǎn)積類型的不同，其有兩種變種，分別是使用內(nèi)積的IPNN和使用外積的OPNN，下圖展示了使用內(nèi)積的點(diǎn)積層的結(jié)構(gòu)。實(shí)驗(yàn)顯示，加入點(diǎn)積層的深度模型能夠更好的收斂且效果更出色。在相似的動(dòng)機(jī)下被設(shè)計(jì)的模型還有NFM，其加入了一個(gè)雙向交互層來成對的對特征進(jìn)行交互并同樣取得了更好的訓(xùn)練效果。但是這類模型的特征交互完全交由神經(jīng)網(wǎng)絡(luò)進(jìn)行黑盒訓(xùn)練，無法控制交互的層級，Cross Network通過在每一層引入特征的交互來解決這個(gè)問題，這樣交互的階數(shù)與模型的層數(shù)就產(chǎn)生了關(guān)聯(lián)。更進(jìn)一步，在Cross Network V2 中，特征交互向量被交互矩陣替代，模型的表達(dá)能力也進(jìn)一步提高。采用顯式的點(diǎn)積特征交互結(jié)構(gòu)的模型還有 CIN、KPNN、PIN等。

卷積模型

除了使用點(diǎn)積進(jìn)行特征交互以外，一些模型也嘗試使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和圖卷積網(wǎng)絡(luò)（GCN）來進(jìn)行特征交互。最早的使用卷積的模型是CCPM，其將所有的特征向量拼接為二維矩陣，并使用卷積和池化操作提取其任意階的特征交互，其模型框架如下圖所示：這種直接在特征圖上使用卷積的方法受限于感受野的大小，其只能對相鄰的特征進(jìn)行交互，為了解決這個(gè)問題，FGCNN引入了一個(gè)重聚合層來建模不相鄰的特征，同時(shí)其將 CNN 生成的高階特征交互與原始特征共同輸入到后續(xù)網(wǎng)絡(luò)中，極大的減輕了訓(xùn)練深度網(wǎng)絡(luò)的難度。這類方法由于卷積自身的特點(diǎn)無法建模任意的特征交互，受到圖圖結(jié)構(gòu)的啟發(fā)，FiGNN 將所有的特征作為圖上節(jié)點(diǎn)并為所有節(jié)點(diǎn)之間連邊形成一個(gè)全連接圖，之后使用 GCN 在圖上傳播來進(jìn)行特征交互。

注意力模型

隨著注意力結(jié)構(gòu)的興起，一些模型也嘗試在模型中引入注意力來進(jìn)行特征交互。AFM使用注意力來加強(qiáng)FM模型，使得不同的特征交互對結(jié)果的貢獻(xiàn)不同。在每一次計(jì)算中，一對特征交互的結(jié)果會經(jīng)過一個(gè)注意力網(wǎng)絡(luò)來計(jì)算其各自的權(quán)重，如下圖所示：這些權(quán)重會與交互向量相乘來作為對結(jié)果不同程度的貢獻(xiàn)。受到自然語言處理中自注意力結(jié)構(gòu)的影響，AutoInt模型使用一個(gè)帶殘差鏈接的多頭注意力網(wǎng)絡(luò)來顯式的進(jìn)行不同階的特征交互，同時(shí)其得到的權(quán)重賦予模型一定程度的可解釋性。在此基礎(chǔ)上，InterHAt模型將注意力結(jié)構(gòu)升級為了 Transformer 模塊，使得訓(xùn)練的效率進(jìn)一步提高。

用戶行為建模

用戶的行為中包含了用戶的偏好模式，最近，對用戶的行為進(jìn)行建模已經(jīng)成為了 CTR 預(yù)測任務(wù)中的一個(gè)重要主題。通常，用戶的行為會被表示為一個(gè)多值向量，每個(gè)值代表其中的一個(gè)行為，行為一般按照時(shí)間順序進(jìn)行排序，每一個(gè)行為中包含商品 ID 和相對應(yīng)的商品特征，整體的結(jié)構(gòu)如下圖所示：這其中最關(guān)鍵的部分便是設(shè)計(jì)一個(gè)有效的建模行為序列的函數(shù)來學(xué)習(xí)到行為特征的連續(xù)表示，之后此表示可以與其他的特征連接后輸入后續(xù)深度網(wǎng)絡(luò)中得到最終的預(yù)測。接下來我們簡單介紹其中的三類代表性方法。

注意力方法

DIN模型是第一個(gè)將注意力引入用戶行為建模的方法，其通過注意力模塊根據(jù)用戶的歷史行為與當(dāng)前商品的相關(guān)度為其賦予不同的權(quán)值。由于用戶的偏好是隨著時(shí)間動(dòng)態(tài)變化的，從用戶的行為中挖掘其時(shí)間特征就非常重要，這也是DIEN模型的出發(fā)點(diǎn)。其使用包含注意力機(jī)制的兩層 GRU 網(wǎng)絡(luò)，第一層負(fù)責(zé)提取用戶的偏好，第二層則刻畫偏好在時(shí)序上的動(dòng)態(tài)性，同時(shí)其引入了輔助損失來監(jiān)督每一步行為隱狀態(tài)的建模，讓其具備非常強(qiáng)的表達(dá)能力。除此之外，自注意力模塊同樣可以使用在行為建模中。BST模型直接使用一個(gè)多頭注意力層來提取序列行為之間的相關(guān)性。DSIN模型將用戶行為按照時(shí)間分為不同的節(jié)，在每一個(gè)節(jié)內(nèi)使用自注意力得到精確的行為表示，在節(jié)之間使用雙向 LSTM 刻畫動(dòng)態(tài)性。上述這些模型都是注意力方法在行為建模上的成功使用。

記憶網(wǎng)絡(luò)方法

由于在電商平臺中，一個(gè)用戶可能具有海量的歷史行為數(shù)據(jù)，所以處理長行為序列并挖掘長距離行為的聯(lián)系便十分重要。DIN和DIEN這類模型在面對長序列時(shí)計(jì)算的復(fù)雜度太高，因此記憶網(wǎng)絡(luò)成為一個(gè)很好的解決這個(gè)問題的辦法。在HPMN模型中，一個(gè)終身記憶單元被用來存儲用戶的偏好表示，同時(shí)隨著時(shí)間記憶狀態(tài)被不斷的用戶行為所更新。HPMN整體結(jié)構(gòu)時(shí)多層的 GRU 結(jié)構(gòu)，上層更新頻率慢于下層，因此其能夠建模長距離的時(shí)序信息。基于相同的出發(fā)點(diǎn)，在UIC模型中，十分耗時(shí)的行為表示模塊被分解在了實(shí)時(shí)預(yù)測當(dāng)中，用戶的行為表示會在線下預(yù)先計(jì)算，當(dāng)進(jìn)行推理是直接從記憶單元中取出參與計(jì)算。由于用戶的偏好往往是多方面的，其使用一種多面用戶偏好存儲單元來計(jì)算用戶行為表示。相比于HPMN模型，UIC模型更加偏向于工業(yè)化的一種系統(tǒng)解決方法。

行為檢索方法

在上述的所有模型中，建模用戶偏好所使用的都是最近相鄰的行為，再配合復(fù)雜的結(jié)構(gòu)來刻畫長序列信息，這給系統(tǒng)的負(fù)載帶來了很大的負(fù)擔(dān)。UBR4CTR模型提出了一種新的結(jié)構(gòu)，其使用搜索引擎技術(shù)，從用戶的所有歷史行為中檢索出最相關(guān)的行為來參與計(jì)算，這樣在每一次推理中都只有一小部分行為參與計(jì)算。這種方法不僅極大的減少了時(shí)間開銷而且能夠有效的緩解長連續(xù)行為序列中的噪聲影響。此模型使用搜索引擎技術(shù)檢索最相關(guān)的 k 個(gè)歷史行為，查詢中包含當(dāng)前目標(biāo)商品的特征，因此整個(gè)檢索過程是可學(xué)習(xí)的，并且可以通過強(qiáng)化學(xué)習(xí)的方式進(jìn)行優(yōu)化。SIM模型是另外一種包含硬檢索和軟檢索的方法，對于硬檢索，其使用預(yù)定義的 ID 信息作為索引，而在軟檢索中，其使用嵌入向量進(jìn)行局部敏感哈希實(shí)現(xiàn)檢索。上述兩種方法都已經(jīng)在實(shí)際線上場景中得到應(yīng)用。

自動(dòng)結(jié)構(gòu)搜索

在計(jì)算機(jī)視覺中，一些自動(dòng)設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到了跟人工設(shè)計(jì)的網(wǎng)絡(luò)相媲美的程度，所以推薦領(lǐng)域的研究者也在探索使用自動(dòng)搜索的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來建模特征和行為。下面我們簡單介紹其中的三類代表性方法。

嵌入維度搜索

特征的嵌入表示在 CTR 預(yù)測中是一個(gè)十分關(guān)鍵的因素，其往往是模型參數(shù)的主要組成部分，嚴(yán)重決定模型的表現(xiàn)，因此一些工作嘗試為不同的特征自適應(yīng)的搜索其合適的嵌入維度。NIS和ESAPN模型都使用了強(qiáng)化學(xué)習(xí)的方法來搜索混合嵌入維度。NIS模型首先將全局的維度空間根據(jù)經(jīng)驗(yàn)分為幾個(gè)快，然后使用強(qiáng)化學(xué)習(xí)來生成為不同特征選擇維度的決策序列，在反饋函數(shù)中同時(shí)考慮了最終的精度和內(nèi)存消耗。ESAPN同樣使用了一些候選維度，但其使用一個(gè)策略網(wǎng)絡(luò)來為不同特征動(dòng)態(tài)的選擇維度，動(dòng)態(tài)網(wǎng)絡(luò)以當(dāng)前維度為輸入判斷是否需要增加維度。

上述兩種方法都是從一系列候選維度中選擇特征嵌入維度，而DNIS和PEP模型考慮在一個(gè)連續(xù)的空間內(nèi)進(jìn)行搜索。具體的來說，DNIS模型為每一個(gè)特征塊構(gòu)造一個(gè)二值索引矩陣來對應(yīng)相應(yīng)的維度，然后一個(gè)軟選擇層被用來將搜索空間對應(yīng)到連續(xù)空間，最后使用一個(gè)預(yù)定義的閾值來控制篩選那些不重要的維度。然而，這個(gè)閾值的選擇非常困難，為此PEP模型進(jìn)一步將這個(gè)閾值調(diào)整為根據(jù)數(shù)據(jù)自適應(yīng)學(xué)習(xí)得出。

上述方法都是在搜索空間中選擇單一的結(jié)構(gòu)，一些其他的模型考慮使用一種軟選擇策略，即多個(gè)嵌入維度共同作用，代表性的有AutoEmb和AutoDim模型，它們都是使用一種可學(xué)習(xí)的注意力權(quán)重來為不同的特征學(xué)習(xí)不同的維度權(quán)重，最終使用多個(gè)維度的聚合信息做預(yù)測。

特征交互搜索

正如前面提到的，特征交互在深度 CTR 預(yù)測模型中非常重要，因此自動(dòng)的提取一些有用的特征交互就具有非常強(qiáng)的研究價(jià)值。AutoFIS模型能夠自動(dòng)識別和選擇重要的特征交互輸入給因子分解模型，其枚舉所有的特征交互組合并使用一系列結(jié)構(gòu)參數(shù)進(jìn)行選擇，所有的參數(shù)都可以通過梯度進(jìn)行優(yōu)化，然而AutoFIS模型限制特征只能通過點(diǎn)積來進(jìn)行交互，但是在之前的模型中一些發(fā)現(xiàn)一些其他的復(fù)雜結(jié)構(gòu)能夠比點(diǎn)積更有效，所以自動(dòng)的選擇交互方式同樣十分重要。基于這樣的原因SIF和AutoFeature模型被提出，SIF模型能夠根據(jù)數(shù)據(jù)集的不同自動(dòng)的選擇合適的交互函數(shù)，包括 MLP 網(wǎng)絡(luò)和五個(gè)預(yù)定義的函數(shù)。AutoFeature模型更進(jìn)一步，可以為不同的特征組合匹配不同的子網(wǎng)絡(luò)結(jié)構(gòu)且整個(gè)過程通過進(jìn)化算法進(jìn)行優(yōu)化。

然后上述的兩個(gè)模型都無法處理高階的特征組合，因?yàn)樗鼈兌夹枰杜e所有的特征組合。為了避免這樣的暴力枚舉，AutoGroup模型嘗試為特征分組，每個(gè)特征初始都有 0.5 的概率進(jìn)入任何一個(gè)組，組內(nèi)的所有特征都可以進(jìn)行交互，這個(gè)入選概率可以使用 CTR 任務(wù)的監(jiān)督信號來進(jìn)行訓(xùn)練。上述的所有模型都是通過選擇或生成特征交互來完成自動(dòng)搜索，而BP-FIS模型是第一個(gè)識別特征交互重要性的模型，其使用貝葉斯生成模型為每一個(gè)用戶識別個(gè)性化的特征重要性。

全局結(jié)構(gòu)搜索

最后的一些工作則更加開放，它們嘗試對整個(gè)模型結(jié)構(gòu)進(jìn)行搜索以同時(shí)完成各個(gè)子任務(wù)。AutoCTR模型將整個(gè)模型分為兩個(gè)層級，首先所有的功能模塊被劃分為不同的塊，塊與塊之間連接成一個(gè)有向無環(huán)圖（DAG）外層負(fù)責(zé)搜索圖上的連接關(guān)系，而內(nèi)層則搜索每一個(gè)塊內(nèi)部的超參數(shù)，整個(gè)過程同樣可以使用進(jìn)化算法優(yōu)化。AMER模型可以同時(shí)對序列化的行為特征進(jìn)行序列結(jié)構(gòu)搜索和為普通特征進(jìn)行結(jié)構(gòu)搜索。一方面，其可以通過選擇不同的層完成結(jié)構(gòu)的搜索，另一方面，其還可以通過逐漸增加特征交互的階數(shù)來篩選合適的特征交互。

總結(jié)與未來方向

本文簡單介紹了 CTR 預(yù)測任務(wù)的發(fā)展過程。通過顯式的進(jìn)行特征交互，深度模型能夠更好的建模高階的特征信息并得到更好的性能。用戶的歷史行為同樣被注意力、記憶網(wǎng)絡(luò)等結(jié)構(gòu)出色的建模來進(jìn)一步豐富特征信息。同時(shí)一些最新的工作將神經(jīng)結(jié)構(gòu)搜索方法使用的模型中來讓整個(gè)過程更加自動(dòng)化。

盡管最近幾年 CTR 預(yù)測任務(wù)發(fā)展迅速且取得了非常大的突破，依舊有一些挑戰(zhàn)還沒有被很好解決：

• 深度學(xué)習(xí)理論 盡管很多模型在效果上都非常好，但是大多模型都缺少對其原理的解釋和挖掘，包括采樣復(fù)雜度分析、特征交互原理、梯度分析等。

• 預(yù)訓(xùn)練 在文本或者圖結(jié)構(gòu)數(shù)據(jù)上的預(yù)訓(xùn)練模型取得了很大的成功，同樣的，在離散特征數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練同樣是一個(gè)值得期待的方向，但目前還鮮有工作在這個(gè)方向做出成果。

• 多模態(tài)數(shù)據(jù)的使用 在現(xiàn)在信息系統(tǒng)中，存在大量的多模態(tài)數(shù)據(jù)可以利用，能夠充分利用這些數(shù)據(jù)可能是未來 CTR 預(yù)測模型進(jìn)一步提升的關(guān)鍵所在。

• 策略化的數(shù)據(jù)處理 最近在用戶歷史行為處理上的深度模型給出了一種自動(dòng)化數(shù)據(jù)處理的可能，在這方面還存在巨大的潛力值得挖掘，將數(shù)據(jù)處理過程變得可學(xué)習(xí)化是未來的一個(gè)潛在研究點(diǎn)。

參考文獻(xiàn)

[1] Deep Learning for Click-Through Rate Estimation. IJCAI 2021

[2] Factorization Machines. ICDM 2010

[3] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. IJCAI 2017

[4] Learnable Embedding Sizes for Recommender Systems. CoRR 2021

[5] User Behavior Retrieval for Click-Through Rate Prediction. SIGIR 2020

[6] Bayesian Personalized Feature Interaction Selection for Factorization Machines. SIGIR 2019

[7] Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction. CIKM 2019

[8] Interpretable Click-Through Rate Prediction through Hierarchical Attention. WSDM 2020

[9] Product-Based Neural Networks for User Response Prediction over Multi-Field Categorical Data. ACM Trans. Inf. Syst. 2019

[10] AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks. CIKM 2019

[11] Predicting clicks: estimating the click-through rate for new ads. WWW 2007

[12] Training and Testing Low-degree Polynomial Data Mappings via Linear SVM. 2010

[13] Gradient boosting factorization machines. RecSys 2014

[14] Field-aware Factorization Machines for CTR Prediction. RecSys 2016

[15] Higher-Order Factorization Machines. NIPS 2016

[16] Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising. WWW 2018

[17] Wide&Deep Learning for Recommender Systems. RecSys 2016

[18] Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features. KDD 2016

[19] Neural Factorization Machines for Sparse Predictive Analytics. SIGIR 2017

[20] DCN-M: Improved Deep & Cross Network for Feature Cross Learning in Web-scale Learning to Rank Systems. CoRR 2020

[21] xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems. KDD 2018

[22] A Convolutional Click Prediction Model. CIKM 2015

[23] Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction. WWW 2019

[24] Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks. IJCAI 2017

[25] Deep Interest Network for Click-Through Rate Prediction. KDD 2018

[26] Deep Interest Evolution Network for Click-Through Rate Prediction. AAAI 2019

[27] Behavior Sequence Transformer for E-commerce Recommendation in Alibaba. CoRR 2019

[28] Deep Session Interest Network for Click-Through Rate Prediction. IJCAI 2019

[29] Lifelong Sequential Modeling with Personalized Memorization for User Response Prediction. SIGIR 2019

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識真正流動(dòng)起來。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時(shí)聯(lián)系方式（微信），以便我們在稿件選用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的深度学习下的点击率预测：交互与建模的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。