關(guān)于 KDD

ACM SIGKDD（國際數(shù)據(jù)挖掘與知識發(fā)現(xiàn)大會，簡稱 KDD）是國際數(shù)據(jù)挖掘領(lǐng)域的頂級會議，由 ACM 的數(shù)據(jù)挖掘及知識發(fā)現(xiàn)專委會（SIGKDD）主辦，被中國計(jì)算機(jī)協(xié)會推薦為A類會議。自 1995 年以來已連續(xù)舉辦 26 屆，今年將于 8月14日至18日 在新加坡舉辦。

據(jù) KDD2021 官方發(fā)布的信息，本屆會議共吸引了 1541 篇論文投遞，其中有 238 篇論文被接收，接收率為15.44%，相比 KDD2020 的接收率16.9%有所下降。

阿里媽媽論文概述

阿里媽媽技術(shù)團(tuán)隊(duì)此次共有6篇論文被接收，涵蓋深度學(xué)習(xí)、投放策略推薦、端到端機(jī)制優(yōu)化、協(xié)同競價博弈等多個方向的技術(shù)沉淀和應(yīng)用。關(guān)注公眾號，回復(fù) KDD?一次性獲取已公開論文下載鏈接~

為系統(tǒng)性探討深度學(xué)習(xí)在大規(guī)模工業(yè)級稀疏數(shù)據(jù)上的應(yīng)用實(shí)踐及高度個性化內(nèi)容體驗(yàn)?zāi)繕?biāo)下的數(shù)字廣告趨勢，阿里媽媽資深技術(shù)專家懷人和廣呆還將在會議期間組織和主持兩場 workshop（線上線下同步）：DLP-KDD 和 AdKDD，歡迎感興趣的同學(xué)關(guān)注并參與。

今天，我們帶來了這次被接收的6篇論文（其中5篇已開放下載）。接下來，我們會陸續(xù)邀請論文作者來為大家詳細(xì)解析論文思路和技術(shù)成果，敬請期待！

???A Unified Solution to Constrained Bidding in Online Display Advertising

一種對在線展示廣告約束出價問題的通用解決方案

摘要：在線展示廣告場景下，廣告主通常以實(shí)時競價的方式獲取曝光機(jī)會。在大多數(shù)廣告平臺，廣告主最常見的需求就是在預(yù)算及某些KPI約束下最大化競得流量的價值（如在預(yù)算和點(diǎn)擊成本約束下最大化點(diǎn)擊量）。每個廣告主的投放需求在營銷目標(biāo)（如點(diǎn)擊、曝光）、KPI約束類型（如點(diǎn)擊成本上界、點(diǎn)擊率下界）以及KPI約束數(shù)量三個維度上都有很大不同?，F(xiàn)有的研究通常局限于某個特定的投放需求，缺乏通用性，或者很難達(dá)到最優(yōu)投放結(jié)果。

在本文中，我們將廣告主的各種投放需求形式化為約束出價問題，并且推導(dǎo)出了統(tǒng)一的最優(yōu)出價策略。對于每個廣告投放計(jì)劃來說，其最優(yōu)出價公式由m個參數(shù)組成，m為約束數(shù)量。然而在實(shí)際應(yīng)用過程中，由于參競環(huán)境不斷波動，確定每天的最優(yōu)出價參數(shù)是很困難的事。針對該問題，本文提出了一個強(qiáng)化學(xué)習(xí)方法，該方法會在計(jì)劃投放過程中根據(jù)投放狀態(tài)動態(tài)調(diào)整出價參數(shù)，使其盡可能逼近最優(yōu)參數(shù)。其中，我們基于約束出價問題的子問題特性，對強(qiáng)化學(xué)習(xí)訓(xùn)練過程進(jìn)行了優(yōu)化，使其能夠更快地收斂到最優(yōu)解。我們將提出的統(tǒng)一的約束出價問題的形式化與強(qiáng)化學(xué)習(xí)方法稱為Unified Solution to Constrained Bidding in Online(USCB)。USCB在工業(yè)場景真實(shí)數(shù)據(jù)集上取得了很好的效果，與此同時，該方法已經(jīng)在阿里媽媽廣告投放策略平臺成功部署，為各個業(yè)務(wù)線提供出價參數(shù)調(diào)控服務(wù)，為平臺收入與廣告主投放效果帶來了顯著提升。

???NeuralAuction: End-to-End Learning of Auction Mechanisms for E-Commerce Advertising

NeuralAuction: 電商廣告中的端到端機(jī)制優(yōu)化方法

摘要：在電商廣告系統(tǒng)中，綜合考慮多利益方（用戶、廣告主、平臺）的目標(biāo)十分關(guān)鍵。傳統(tǒng)的拍賣機(jī)制（例如GSP/VCG）由于分配規(guī)則確定且專注于優(yōu)化單一目標(biāo)（例如收入/社會福利），在優(yōu)化多利益方指標(biāo)時可能是次優(yōu)解。一種可能的研究方向是使用基于數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)方法，它能從真實(shí)數(shù)據(jù)中直接學(xué)習(xí)拍賣機(jī)制，并有能力使機(jī)制朝著給定的業(yè)務(wù)目標(biāo)靈活調(diào)控。然而，拍賣機(jī)制的執(zhí)行過程中涉及一些不可導(dǎo)的操作（如排序等），這些操作可能和基于梯度的大多數(shù)深度學(xué)習(xí)方法難以兼容，制約了機(jī)制模型的學(xué)習(xí)能力。

在本文中，我們進(jìn)一步將深度學(xué)習(xí)和機(jī)制設(shè)計(jì)方法深度融合，提出一種可端到端學(xué)習(xí)的深度拍賣機(jī)制——Deep Neural Auction (DNA)，并將其應(yīng)用在工業(yè)界電商廣告場景中。DNA使用深度神經(jīng)網(wǎng)絡(luò)從原始拍賣數(shù)據(jù)中提取特征信息，并將機(jī)制分配過程編碼到模型內(nèi)部，利用一種可微分算子對該分配過程中的排序操作進(jìn)行松弛，在分配結(jié)果和反饋信號間建立可微分梯度計(jì)算關(guān)系以支持端到端訓(xùn)練。此外，我們將機(jī)制的博弈均衡屬性（廣告主激勵兼容）顯式融入模型設(shè)計(jì)中。DNA機(jī)制已被部署在淘寶電商廣告系統(tǒng)中，在大規(guī)模離線數(shù)據(jù)集實(shí)驗(yàn)以及在線A/B實(shí)驗(yàn)中，DNA機(jī)制對比傳統(tǒng)機(jī)制在優(yōu)化多利益方指標(biāo)上都展現(xiàn)出了更好的效果。

論文下載：https://arxiv.org/abs/2106.03593

???Real Negatives Matter: Continuous Training with Real Negatives for Delayed Feedback Modeling

一種使用真負(fù)樣本的在線延遲反饋建模

摘要：轉(zhuǎn)化率 (CVR) 預(yù)測的難點(diǎn)之一是轉(zhuǎn)化可能會延遲并在點(diǎn)擊后很長時間內(nèi)發(fā)生。延遲反饋帶來了挑戰(zhàn)：新數(shù)據(jù)有利于在線學(xué)習(xí)，但在它們在注入到訓(xùn)練流程時可能沒有完整的標(biāo)簽信息。為了平衡模型新鮮度和標(biāo)簽確定性，以前的方法設(shè)置了一個較短的等待窗口，甚至不等待轉(zhuǎn)化信號。如果轉(zhuǎn)換發(fā)生在等待窗口之外，則此樣本將被復(fù)制并以正標(biāo)簽注入到訓(xùn)練流程中。但是，這些方法存在一些問題。首先，他們假設(shè)觀察到的特征分布與實(shí)際分布保持一致。但是由于獲取了重復(fù)樣本，這個假設(shè)不成立。其次，轉(zhuǎn)化動作的確定性僅來自正例。但由于商業(yè)系統(tǒng)中的轉(zhuǎn)化數(shù)據(jù)很少，因此正例很少。這些問題在延遲反饋的建模過程中會導(dǎo)致偏差。

在本文中，我們提出了 Defer建模方法來解決這些問題。所提出的方法將真實(shí)的負(fù)樣本注入到訓(xùn)練管道中。注入真實(shí)負(fù)樣本確保觀察到的特征分布與實(shí)際分布等效，從而減少偏差。真實(shí)負(fù)樣本的注入也給轉(zhuǎn)化帶來了更多確定性信息。為了糾正分布偏移，Defer使用重要性采樣來權(quán)衡損失函數(shù)。工業(yè)數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果驗(yàn)證了Defer 的優(yōu)越性。Defer 已部署在阿里巴巴的展示廣告系統(tǒng)中，在多個場景下獲得超過 6.0% 的 CVR 提升。

論文下載：https://arxiv.org/abs/2104.14121

???We Know What You Want: An Advertising Strategy Recommender System for Online Advertising

廣告主端的“猜你喜歡”：在線廣告投放策略推薦系統(tǒng)

摘要：廣告主在電子商務(wù)平臺中起著重要作用，其廣告支出是電子商務(wù)平臺的主要收入來源。通過減少廣告實(shí)時出價過程中的試錯成本為廣告主提供更好的廣告體驗(yàn)，對于電子商務(wù)平臺的長期收入至關(guān)重要。為了實(shí)現(xiàn)這一目標(biāo)，廣告平臺需要了解廣告主的獨(dú)特營銷需求，并積極為其推薦個性化和最佳的廣告策略。在這項(xiàng)工作中，我們首先在淘寶展示廣告平臺上部署了一個原型推薦系統(tǒng)，以實(shí)現(xiàn)廣告主人群出價和人群選擇的優(yōu)化。然后，我們提出了一種新穎的用于動態(tài)出價策略推薦的推薦系統(tǒng)，該系統(tǒng)將廣告主的策略推薦問題建模為上下文老虎機(jī)問題。我們使用神經(jīng)網(wǎng)絡(luò)，根據(jù)廣告主的信息和歷史采納行為來預(yù)測廣告主的需求。基于預(yù)測的需求，我們應(yīng)用模擬競價來推導(dǎo)用于推薦的最佳出價策略，并通過顯示預(yù)估的廣告效果與廣告主進(jìn)行交互。為了解決探索/利用問題，我們用Dropout表示網(wǎng)絡(luò)的不確定性，以進(jìn)行有效的策略探索，可以證明這種方式近似等價于湯普森采樣。在線評估表明，原型推薦系統(tǒng)可以優(yōu)化廣告主的廣告效果，廣告主愿意打開該系統(tǒng)，選擇并采納建議，這也進(jìn)一步增加了平臺的收入?；诎⒗锇桶驮诰€競價數(shù)據(jù)的仿真實(shí)驗(yàn)證明，上下文老虎機(jī)算法可以有效優(yōu)化廣告主的采納率。對比實(shí)驗(yàn)證明湯普森采樣可以更好地平衡探索和利用，進(jìn)一步優(yōu)化模型的性能。

論文下載：https://arxiv.org/abs/2105.14188

???Multi-Agent Cooperative Bidding Games for Multi-Objective Optimization in e-Commercial Sponsored Search

基于多智能體協(xié)同競價博弈的電商搜索廣告多目標(biāo)競價優(yōu)化

摘要：在線廣告是一種以互聯(lián)網(wǎng)為載體，幫助廣告主觸達(dá)目標(biāo)消費(fèi)者，從而實(shí)現(xiàn)商業(yè)訴求的廣告形式。在線廣告通常通過實(shí)時競價的方式?jīng)Q定勝出者。電商搜索廣告是一種主流的在線廣告：消費(fèi)者在電商平臺表達(dá)搜索請求，觸發(fā)相關(guān)廣告主的實(shí)時競價以及平臺流量分配，并帶來可能的成交行為。在高度動態(tài)的電商市場，每天通常有數(shù)百萬的廣告主，這些廣告主訴求各異，經(jīng)由上千億次的實(shí)時競價競爭接近百億次的用戶曝光。如何在如此大規(guī)模的電商流量場景下，通過優(yōu)化實(shí)時競價，滿足廣告主多樣化目標(biāo)訴求是一個頗具挑戰(zhàn)的問題。學(xué)術(shù)界和工業(yè)界已經(jīng)深入研究了單廣告主視角的競價優(yōu)化問題，這些研究往往即假設(shè)其他競爭者不改變出價，這一強(qiáng)假設(shè)往往不成立，導(dǎo)致策略在運(yùn)用于多廣告主真實(shí)競價時往往表現(xiàn)較差。少量現(xiàn)有工作從多廣告主視角，利用多智能體強(qiáng)化學(xué)習(xí)，通過構(gòu)建一致的目標(biāo)進(jìn)行出價的協(xié)同優(yōu)化，但他們存在如下缺陷：（1）由于信息完全共享，這些方法很難避免多廣告主串謀的問題，一種顯而易見的更優(yōu)解是廣告主串通出較低價競價流量，導(dǎo)致平臺收益受損；（2）在復(fù)雜動態(tài)的競價環(huán)境中，這些策略需要較長時間收斂并且極度不穩(wěn)定。此外，針對電商搜索廣告競價優(yōu)化問題，以往的工作很少考慮同時優(yōu)化廣告主多樣化的訴求目標(biāo)。

針對以上問題，本文提出了一套新穎的多目標(biāo)協(xié)同出價優(yōu)化框架，即多智能體協(xié)同出價博弈。在該合作博弈框架中，本文通過引入一個全局的目標(biāo)以優(yōu)化所有廣告主的總體利益，鼓勵了廣告主更好的協(xié)同，從而間接保護(hù)了自主出價廣告主的利益，使得流量分配更加公平。為解決多廣告主串謀問題，本文也額外引入了平臺的收入作為約束。本文通過理論分析給出了最優(yōu)出價公式的泛函形式，并設(shè)計(jì)了一種策略網(wǎng)絡(luò)用于探索泛函出價公式中的最優(yōu)參數(shù)。為尋找最優(yōu)參數(shù)，本文同時設(shè)計(jì)了一種高效的多智能體進(jìn)化策略搜索算法。進(jìn)化策略不需要顯式建模動態(tài)環(huán)境，使得求解過程具有更好的魯棒性。淘寶搜索廣告平臺上廣泛的離線評測和在線A/B測試，都顯示本文的方法顯著優(yōu)于現(xiàn)有最新的工作。該模型已經(jīng)上線部署到淘寶搜索廣告平臺，每天服務(wù)上百萬廣告主的實(shí)時競價優(yōu)化，使得整體大盤效率指標(biāo)以及廣告主自身訴求均有5%以上提升。

論文下載：https://arxiv.org/abs/2106.04075

???Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning

基于深度置信度感知學(xué)習(xí)的廣告投放探索方案

摘要：目前先進(jìn)的在線廣告系統(tǒng)得益于個性化方法，例如點(diǎn)擊率預(yù)估技術(shù)。依托于深度學(xué)習(xí)豐富的表示能力，深層點(diǎn)擊率預(yù)估模型在工業(yè)界獲得大規(guī)模應(yīng)用，并取得了巨大成功。但是，這些方法可能會受限于“缺乏探索”問題。此前的一系列工作借助上下文賭博機(jī)（Contextual Bandit）方法來解決探索與利用的權(quán)衡問題，但這些方法難以兼容深層模型，因而表示能力受限。

在本文中，我們提出了一種新穎的深度置信度感知學(xué)習(xí)（DUAL）方法，基于高斯過程（Gaussian Process）學(xué)習(xí)點(diǎn)擊率模型。該方法可以在保持深層模型靈活表示能力的同時，提供模型預(yù)估不確定性的估計(jì)。DUAL可以輕松地在現(xiàn)有模型上實(shí)現(xiàn)，并以極少的額外計(jì)算開銷部署于實(shí)時系統(tǒng)中。通過結(jié)合DUAL對模型預(yù)估不確定性的估計(jì)能力與Bandit算法，我們進(jìn)一步提出了基于DUAL的廣告投放策略，以提高廣告系統(tǒng)的長期效用。在幾個公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均表明了該方法的有效性。同時，在阿里巴巴展示外投廣告平臺上部署的在線A/B測試結(jié)果顯示，DUAL方法顯著提升了平臺收入等指標(biāo)。

論文下載：https://arxiv.org/abs/2012.02298

寫在最后

據(jù)不完全統(tǒng)計(jì)，在過去三年，阿里媽媽技術(shù)團(tuán)隊(duì)發(fā)表在國際頂會的論文數(shù)量超過50篇，相信很多內(nèi)容也有被業(yè)內(nèi)同學(xué)所關(guān)注。

比如，在 KDD2018 上由阿里媽媽技術(shù)團(tuán)隊(duì)首先提出的深度興趣網(wǎng)絡(luò)（Deep Interest Network，簡稱 DIN），被普遍認(rèn)為是該領(lǐng)域的開篇之作。DIN 是一種有效的用于 CTR（點(diǎn)擊率）、個性化推薦的深度學(xué)習(xí)模型，其效果在阿里媽媽的業(yè)務(wù)中得到驗(yàn)證并已經(jīng)開源，可適用于其他很多場景。感興趣同學(xué)可在公眾號回復(fù) DIN 獲取相關(guān)資料~

接下來，阿里媽媽技術(shù)團(tuán)隊(duì)會持續(xù)以深度學(xué)習(xí)為核心，在阿里自研的業(yè)?AIOS、MaxComputer 等基礎(chǔ)上面，構(gòu)建?XDL、MDL、EULER?三大AI平臺（其中?XDL、EULER?已經(jīng)開源）和八大智能方向，包括：深度匹配（Intelligent Matching）、行為預(yù)測（Deep Response Prediction）、機(jī)制設(shè)計(jì)學(xué)習(xí)（Learning-based Mechanism Design）、智能出價（Smart Bidding）、智能創(chuàng)意（Smart Creative）、智能多觸點(diǎn)歸因（Multi-Touch Attribution）、聯(lián)邦學(xué)習(xí)（Federated Learning）、圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）。當(dāng)然，我們也會定期分享我們在業(yè)務(wù)上的技術(shù)創(chuàng)新與實(shí)踐，希望給從事相關(guān)工作的同學(xué)帶來啟發(fā)。

正如阿里媽媽 CTO 鄭波所提到的：“深研AI前沿技術(shù)，是為了大規(guī)模應(yīng)用于實(shí)際業(yè)務(wù)；論文不是目的，重要的是分享。我們也會盡可能多的開源，和大家共享AI技術(shù)帶來的紅利?！?/p>

瘋狂暗示↓↓↓↓↓↓↓

總結(jié)

以上是生活随笔為你收集整理的KDD2021 放榜，6 篇论文带你了解阿里妈妈AI技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。