文 | 洪九(李戈)

源 | 知乎

---

個性化推薦系統的出現為處理信息過載問題提供了一個有效的工具，已經成為互聯網各大平臺(電商、信息流等)的標配，并在技術(個性化召回、個性化排序等)上取得了長足的發展，逐漸從傳統模型過度到深度學習時代。但是，當前個性化推薦以及相關算法的關注點大多數在提高推薦的精準性，而忽略了推薦結果的多樣性，導致容易出現"high similar items were clustered together"現象，即相似的Item扎堆，用戶的興趣被局限到一個相對"較窄"(信息量為0的"精準推薦")的推薦視野中，進而傷害了用戶體驗(尤其是興趣寬泛、偏逛、需求不明確的用戶)。如下圖，可以看到在手淘的首頁推薦流中展示了多個類目的商品，比如3C、衛衣、化妝品等，可見已經關注了多樣性問題。

▲手淘首頁推薦流

推薦系統的多樣性反應了一個推薦列表中內容不相似的程度。通過推薦多樣性更高的內容，既能夠給用戶更多的機會去發現新內容，也能夠讓推薦系統更容易發現用戶潛在的興趣。但需要注意的是，精確性和多樣性是一對Trade Off，提升多樣性的代價往往以犧牲準確性為代價，因此如何平衡準確性和多樣性是一個需要權衡的地方，或者從另一個角度講如何在短期目標和長期目標間做平衡。 對比專賣店和大型綜合超市(銀座、萬達等)，專賣店(Nike專賣店、蘋果專賣店等)的購買準確率高于大型綜合超市，但由于大型綜合超市的多樣性比較好，客人在超市內可以有購物、看電影等多種選擇，因此客人在超市內花費的時間就約長，留存也就越高。

需要特別注意的是:多樣性不是目標，但是實踐證明多樣性可以幫助提升時長、點擊、用戶長期留存等核心業務指標。此外，與精排階段的點擊率預估(用戶是否點擊)任務不同，多樣性處理通常是沒有groudtruth(真值)的，通常需要A/B實驗來確定多樣性策略的優劣。

▲推薦系統目標

推薦多樣性問題的本質是排序中CTR(點擊率)或類似(CVR轉化率等)預估問題是單點(Point-wise)最優預測，而通常真實業務中往往是給到用戶一個列表(List-wise排列組合優化)，即Point-wise和List-wise之間往往存在著較大的Gap。

▲推薦系統主要流程

如上圖是典型推薦系統的核心流程，為了增強推薦結果的多樣性，通常可以在各個階段采取不同的改進策略。比如在召回階段，可以融合不同推薦召回算法的推薦結果，即多路召回。在重排序階段多樣性優化策略，工業界的代表性方法有:MRR(Maximal Marginal Relevance), Google、Youtube和Hulu推薦的DPP(Determinantal Point Process)，阿里提出的基于Transformer的PRM，Google、Youtube提出的基于強化學習的模型SlateQ等。

下面會分別介紹：

• 推薦多樣性類型

• 推薦多樣性評價指標

• 推薦多樣性策略

• • 召回多樣性策略

  • 精排層(Rank)多樣性策略

  • 重排序(Rerank)多樣性策略

  • 于用戶多樣性偏好的策略

1.推薦多樣性類型

推薦多樣性類型包括個體多樣性、總體多樣性、時序多樣性。

• 個體多樣性

個體多樣性從單個用戶的視角衡量推薦的多樣性，考察系統能夠找到用戶喜歡的冷門項目的能力。

• 總體多樣性

總體多樣性主要強調針對不同用戶的推薦應盡可能的不同。也就是所謂的"千人千面"。

• 時序多樣性

時序多樣性是指用戶興趣的動態進化或者用戶情景的時變，即與過去的推薦相比，新的推薦體現出的多樣性。

評價一個推薦系統的多樣性可以從以上三個維度考量。

2. 推薦多樣性評價指標**

無法衡量就無法優化，對于多樣性通常可以參考如下衡量指標。

2.1 ILS(intra-list similarity)

ILS主要是針對單個用戶，一般來說ILS值越大，單個用戶推薦列表多樣性越差。

其中， 和 為Item,為推薦列表長度， 為相似性度量。

2.2 海明距離(Hamming distance)

其中， 為推薦列表長度， 為系統推薦給用戶 和 兩個推薦列表中相同Item的數量。 衡量了不同用戶間的推薦結果的差異性，其值越大說明不同用戶間的多樣性程度越高。

2.3 SSD (self-system diversity)

SSD指推薦列表中沒有包含在以前的推薦列表中的比例，主要考察推薦結果的時序多樣性。

其中， 是的上一次推薦， 。SSD值越小，推薦列表的時序多樣性越好。

2.4 覆蓋率(coverage)

覆蓋率是推薦給用戶的Item占所有Item的比例，用來衡量對長尾Item的推薦能力。

2.5 次重復率

在一次推薦請求中，同一類別的Item連續出現 次的比率。

2.6 Hellinger距離

通過計算生成的topK結果的多樣性分布和理想的多樣性分布之間的Hellinger距離，來衡量top K結果多樣性的好壞。

其中， 和 為離散概率分布。

對于特定維度的理想多樣性分布，可以基于用戶反饋統計。可以參考下文中介紹的思路。

谷育龍Eric：Airbnb搜索：重排序階段如何優化搜索結果多樣性？(https://zhuanlan.zhihu.com/p/239824669)

3.推薦多樣性策略

3.1 召回多樣性策略

3.1.1 多路召回策略

俗話說"巧婦難為無米之炊"，從上圖召回階段(紅色框)在推薦系統流程中的位置可以看出，如果召回階段候選集本身不具備多樣性，例如只有開心內容，就無法保證整個推薦系統的多樣性。因此解決推薦系統的多樣性問題，首先需要考慮的是召回階段的多樣性。實踐中通常使用多路召回保證更多樣的內容可以進入后續階段，工程上可以采用多線程并發召回。

▲多路召回

不同召回策略在準確性、多樣性、新穎性、覆蓋率等指標上存在較大差異，綜合利用各路召回給后面的策略更大的發揮空間。

▲召回策略詞云

3.1.2 長尾多樣性優化

常見的基于協同過濾的召回算法(ItemCF、DSSM等)容易導致"熱門"推薦"熱門"，使得長尾的"利基"Item被淹沒，因而不利于推薦多樣性，此時可以考慮如下策略緩解。

• 熱度降權

在原有相似度計算公式中對Item的熱度做降權。

• 熱度模型分割

基本思想如下圖所示:

3.1.3 用戶興趣多樣性探索

在基于用戶興趣標簽的召回策略中，往往使得用戶興趣標簽收斂到固定的標簽子集。理想的情況是，對于用戶明確表達出興趣的標簽以較大的概率曝光，而對于用戶沒有行為的標簽也以一定的概率曝光。

如下圖用戶-算法-內容三者交互圖:

▲用戶-算法-內容三者關系

由于推薦庫中娛樂類的數量和熱度占有較大優勢，推薦給用戶的娛樂類就比較多，同時用戶點擊娛樂的概率越大，會更加傾向于給用戶推薦娛樂類內容。此外，由于協同過濾算法的效應，導致推薦給其他用戶的娛樂類內容也偏多。為了緩解此問題，可以借助MAB(multi-arm bandit)中的EXP3算法。

EXP3，全稱是Exponential-weight algorithm for Exploration and Exploitation，即勘探和開發的指數權重算法。EXP3簡要流程如下:

EXP3，初始化各個"臂"的權重因子，每一輪:

• 1). 根據"臂"的權重分布隨機抽樣下一次選擇的臂(比如各個標簽等)。

• 2). 定義估計量(比如CTR、CVR、時長占比等)。

• 3). 依據反饋更新選中臂的權重因子。

隨機抽樣保證了每個臂都有可能被抽取到，避免了收斂到固定的幾個臂，同時收益較優的臂被抽取的可能性較大，從而確保了推薦的準確性。

▲EXP3算法描述

在推薦系統中的運用如下:

Python Code(參考自https://github.com/j2kun/exp3)

from probability import distr, draw import math import random# exp3: int, (int, int -> float), float -> generator # perform the exp3 algorithm. # numActions is the number of actions, indexed from 0 # rewards is a function (or callable) accepting as input the action and # producing as output the reward for that action # gamma is an egalitarianism factor def exp3(numActions, reward, gamma, rewardMin = 0, rewardMax = 1):weights = [1.0] * numActionst = 0while True:probabilityDistribution = distr(weights, gamma)choice = draw(probabilityDistribution)theReward = reward(choice, t)scaledReward = (theReward - rewardMin) / (rewardMax - rewardMin) # rewards scaled to 0,1estimatedReward = 1.0 * scaledReward / probabilityDistribution[choice]weights[choice] *= math.exp(estimatedReward * gamma / numActions)yield choice, theReward, estimatedReward, weightst = t + 1def test():numActions = 10numRounds = 10000biases = [1.0 / k for k in range(2,12)]rewardVector = [[1 if random.random() < bias else 0 for bias in biases] for _ in range(numRounds)]rewards = lambda choice, t: rewardVector[t][choice]# 計算最優的臂(娛樂、健康類目等)bestAction = max(range(numActions), key=lambda action: sum([rewardVector[t][action] for t in range(numRounds)]))bestUpperBoundEstimate = 2 * numRounds / 3gamma = math.sqrt(numActions * math.log(numActions) / ((math.e - 1) * bestUpperBoundEstimate))cumulativeReward = 0bestActionCumulativeReward = 0weakRegret = 0t = 0for (choice, reward, est, weights) in exp3(numActions, rewards, gamma):cumulativeReward += rewardbestActionCumulativeReward += rewardVector[t][bestAction]weakRegret = (bestActionCumulativeReward - cumulativeReward)regretBound = (math.e - 1) * gamma * bestActionCumulativeReward + (numActions * math.log(numActions)) / gammat += 1if t >= numRounds:breakprint(cumulativeReward)

3.2 精排層(Rank)多樣性策略

通過在精排模型中加入User、Item、環境特征，達到在不同的維度的多樣性，一般來講特征越豐富個性化越強同時多樣性越強。

3.3 重排序(Rerank)多樣性策略

重排序的本質是最大化list-wise的打分函數，在相關性和多樣性間取得平衡，從運籌學角度來講是一個典型的組合優化問題，一般也是NP-Hard(不能在有限時間內得到精確最優解)。

3.3.1 基于規則的多樣性策略

1).去重策略

對于已經推薦的Item，短時間內不再進行推薦。在內容治理角度講，需要盡量保證推薦源沒有重復Item。

2).頻控策略

對于具有相同屬性的Item，比如作者、類別等，短時間內控制推薦的次數。這里的"短時間"，在不同業務場景不同Item類型都是不一樣的，比如用戶一次請求、用戶session會話周期、商品復購周期等。

3).打散策略

• 最小間隔 ，即最多允許某一類別連續出現 次，盡量避免用戶感覺到內容的同質化。

• 最多次數, 即最多允許某一類別在一次請求中出現 次。

• 窗口打散，即在大小為 的窗口(下圖中 )內不允許出現同一類目的Item。

▲推薦結果列表(盜圖-如侵刪)

• 分桶打散

該方法把長度為N的物品序列在關鍵指標維度下進行分桶打散，桶內可以按相關性進行倒排， 然后依次取桶內排序靠前的物品，最終生成topk個結果。

推薦看這一篇——《百年芭蕾：推薦系統漫談之多樣性策略》https://zhuanlan.zhihu.com/p/268363776

4).長尾加權

降低熱門Item被推薦的概率，提升冷門"利基"Item被推薦的概率，提高長尾新穎性。可以使用逆用戶頻率做加權:

3.3.2 MMR (Maximal Marginal Relevance)- 最大邊界相關算法

推薦系統多樣性問題需要在準確性和多樣性之間做平衡(trade off)。在搜索中，MMR算法將排序結果的相關性與多樣性綜合在下列公式中:

其中， 表示待查詢文檔， 表示候選集，表示已經選擇的集合， 權重系數(用來調節準確性和多樣性)， 表示查詢文檔和候選集間的相關度，表示候選文檔間的相似度。

上式的含義是從未選擇的集合(R\S)中選擇一個文檔 加入到 使得相關性與與已選擇列表集合的相關性的差值最大，即選擇與用戶最相關同時與已選擇文檔最不相似的文檔。

另外，在搜索中 代表查詢Query，而在推薦中 可以代表用戶。在推薦中，可以用預估CTR表示， 可以計算兩兩Item間的泛化特征(類目、Tag、作者等)相似度。

參考代碼(如侵刪):

def MMR(itemScoreDict, similarityMatrix, lambdaConstant=0.5, topN=20):s, r = [], list(itemScoreDict.keys())while len(r) > 0:score = 0selectOne = None# 遍歷所有剩余項for i in r:firstPart = itemScoreDict[i]# 計算候選項與"已選項目"集合的最大相似度secondPart = 0for j in s:sim2 = similarityMatrix[i][j]if sim2 > second_part:secondPart = sim2equationScore = lambdaConstant * (firstPart - (1 - lambdaConstant) * secondPart)if equationScore > score:score = equationScoreselectOne = iif selectOne == None:selectOne = i# 添加新的候選項到結果集r，同時從s中刪除r.remove(selectOne)s.append(selectOne)return (s, s[:topN])[topN > len(s)]

MMR算法的時間復雜度是 ，實際中一次不需要返回給用戶太多Item，可以限制下時間復雜度。

3.3.3.3 DPP 行列式點過程多樣性算法

先回顧下行列式的相關知識。

• 行列式定義

行列式是由一些數據排列成的方陣經過規定的計算方法而得到的一個數。在二維平面中，矩陣行列式的絕對值代表一個平行四邊形的面積；在三維空間中，矩陣行列式的絕對值代表一個平行六面體的體積。

二階行列式:

三階行列式:

幾何意義:

二階行列式的幾何意義就是由行列式的向量所張成的平行四邊形的面積。對于兩個推薦Item的語義向量，如果向量間的夾角比較小，則向量所構成的面積也就越小，同時行列式值也就越小。相關關系傳遞如下:

語義向量相似=>夾角較小=>面積較小=>行列式較小

如下圖所示:

▲向量間相似與面積大小關系示意圖

這樣我們就在"向量語義相似"和"矩陣行列式"之間建立起聯系。

階行列式定義:

泛化到 階行列式就是: 行列式中的行或列向量所構成的超平行多面體的有向面積或有向體積。

• Cholesky Decomposition (Cholesky分解)

如果半正定矩陣且 ，則 可以分解成如下形式:

其中 和 如下:

Cholesky分解在線形代數中起到非常重要的作用。Cholesky分解把矩陣分解為一個下三角矩陣以及它的共軛轉置矩陣的乘積(類比于實數求平方根運算)，與一般的矩陣分解求解方程的方法比較，Cholesky分解效率很高。

▲Python Cholesky分解實例

Tips:Cholesky是生于19世紀末的法國數學家，曾就讀于巴黎綜合理工學院。Cholesky分解是他在學術界最重要的貢獻。后來，Cholesky參加了法國軍隊，不久在一戰初始陣亡。

• 行列式點過程(Determinantal point process)

行列式點過程(Determinantal Point Process, DPP) 是一種性能較高的概率模型，DPP將復雜的概率計算轉換成簡單的行列式計算，在圖片分割、文本摘要和商品推薦系統中均具有較成功的應用。在推薦中，DPP通過最大后驗概率估計，找到商品集中相關性和多樣性最大的子集，從而作為推薦給用戶的商品集。
(鬼話連篇~_~) 行列式點過程 刻畫的是一個離散集合 中每個子集合出現的概率。當 給定空集合的概率時，存在一個由集合 的元素構成的半正定矩陣 ，對于每一個集合 的子集 ，使得子集出現的概率 ，其中， 表示有行和列的下標屬于 構成的矩陣 的子矩陣。

接下來解釋講解，如果將相關性(準確性)和多樣性融入到上面所講的DPP數學模型中。

首先設列向量 ，其中:

• 為item i與user之間的相關性（比如可以為ctr等），且

• 為item i的語義向量

• 為item i 與 item j之間的相似度度量，且

接著構造 矩陣:

顯然， 為實對稱矩陣，同時也是半正定矩陣。從中任意抽取子矩陣 ,那么矩陣也為實對稱矩陣(半正定矩陣)。

進一步由行列式的定義以及運算規則得:

至此，將相關性和多樣性統一到 的行列式計算:

即從中任意抽取子矩陣 使得 最大，則集合 就是我們希望的結果。建立如下的最優化問題:

然而，從一個離散集合中選取子集合是一個組合優化問題，典型的NP-Hard問題。陳拉明團隊則利用貪婪算法，提出了一種能加速行列式點過程推理過程的方法。通常NP難的組合優化問題，由于線上實時性的限制，有效解決方法無非是貪心策略以及更聰明的貪心策略，去尋找一個近似最優解。而貪心策略包含兩個核心要素:

• 初始解的選取。好的起點非常重要。

• 迭代策略。好的方向事半功倍。

為了構造有效的貪婪算法，陳拉明將原始最優化問題變成如下形式:

因此，這里的迭代策略是每次貪心的選取使得 增長最大的 , 用經濟學中的概念就叫做"邊際收益"，即做出投入產出最大的決策。之所以加 是由于其先增長較快后增長緩慢，因此有利于加快迭代的收斂速度，如下圖:

▲log函數圖像

似乎找到了一個好的貪心迭代策略，但實際上行列式 的計算也是非常time-costed，講到這里，Cholesky分解終于要閃亮登場了。

其中 為可逆的下三角矩陣。對任意 ， 的Cholesky分解可以定為:

其中，等式右邊右上角的子矩陣為0向量，是因為是一個下三角矩陣。

根據矩陣乘法公式(上圖， )，行向量和標量滿足：

同時也可以根據 的定義得到如下關系:

附錄推導上述公式所用到的公式如下(自己試著推導下^_^):

• 分塊上(下)三角矩陣的行列式

表示矩陣 的行列式

• 矩陣乘積的行列式定義

設 和 都是 階矩陣，則

也就是說候選子集的行列式值可以通過增量更新的方法計算，即和是已經計算出來了的，當一個新item被添加到之后，的Cholesky因子可以被有效更新。

對于每個，和也是可以被增量更新的，將和定義為新的需求求解的向量和標量，其中，其中 為上一個新添加的item。根據前面的結論可以做如下運算:

得到 :

進而 :

在算法開始時，即時 ，根據前面提到的如下公式:

可以推導出，具體到推薦系統也就是貪心的選擇相關性(CTR、CVR等)最大item。

參考代碼(出處:絕密伏擊：行列式點過程DPP在推薦系統中的應用https://zhuanlan.zhihu.com/p/95607668):

import numpy as np import mathclass DPPModel(object):def __init__(self, **kwargs):self.item_count = kwargs['item_count']self.item_embed_size = kwargs['item_embed_size']self.max_iter = kwargs['max_iter']self.epsilon = kwargs['epsilon']def build_kernel_matrix(self):rank_score = np.random.random(size=(self.item_count)) # 用戶和每個item的相關性item_embedding = np.random.randn(self.item_count, self.item_embed_size) # item的embeddingitem_embedding = item_embedding / np.linalg.norm(item_embedding, axis=1, keepdims=True)sim_matrix = np.dot(item_embedding, item_embedding.T) # item之間的相似度矩陣self.kernel_matrix = rank_score.reshape((self.item_count, 1)) \* sim_matrix * rank_score.reshape((1, self.item_count))def dpp(self):c = np.zeros((self.max_iter, self.item_count))d = np.copy(np.diag(self.kernel_matrix))j = np.argmax(d)Yg = [j]iter = 0Z = list(range(self.item_count))while len(Yg) < self.max_iter:Z_Y = set(Z).difference(set(Yg))for i in Z_Y:if iter == 0:ei = self.kernel_matrix[j, i] / np.sqrt(d[j])else:ei = (self.kernel_matrix[j, i] - np.dot(c[:iter, j], c[:iter, i])) / np.sqrt(d[j])c[iter, i] = eid[i] = d[i] - ei * eid[j] = 0j = np.argmax(d)if d[j] < self.epsilon:breakYg.append(j)iter += 1return Ygif __name__ == "__main__":kwargs = {'item_count': 100,'item_embed_size': 100,'max_iter': 100,'epsilon': 0.01}dpp_model = DPPModel(**kwargs)dpp_model.build_kernel_matrix()print(dpp_model.dpp())

3.3.3.4 基于概率的啟發式算法

前面講過重排序本質上是個組合優化問題。而MRR、DPP等都是基于貪心的策略，容易陷入局部最優解。了解運籌學相關算法的同學應該聽說過模擬退火算法，其以一定概率跳出局部最優解，緩解了貪心法的缺點。

算法流程如下:

模擬退火的核心:

• 初始解，基于貪心法獲得初始解。

• 鄰域搜索算子，比如隨機交換兩個Item。

• 相關參數，收斂性判定準則。

參考谷育龍Eric：Airbnb搜索：重排序階段如何優化搜索結果多樣性？（https://zhuanlan.zhihu.com/p/239824669)?中的Location Diversity Ranker小節。

3.3.3.5 基于模型的多樣性打分

3.4 基于用戶多樣性偏好的策略

目前為止我們在用戶維度上無差異的討論多樣性策略，事實上不同用戶對多樣性的訴求也是不同的。例如針對重度二次元用戶，放寬多樣性限制反而是比較友好的。針對用戶多樣性偏好的差異性進一步細化多樣性策略也是一個優化方向。

經驗上，對低活用戶，優先考慮準確率，忽略薦多樣性；對高活用戶，可以犧牲部分準確性來換取多樣性。除去經驗性的認知外，對于行為較豐富的高活用戶可以設計相關指標來衡量多樣性偏好，可以考慮如下指標:

1). 用戶交互物品的平均流行度

推薦結果的物品流行程度很大程度上和推薦結果的多樣性是正相關聯系的。如果一個用戶交互過的Item的平均流行度相對較低，則說明該用戶的類目偏好性比較強，應該減弱多樣性。

2). 用戶多樣性熵

利用信息論中的熵對多樣性進行建模。熵是熱力學領域的概念，可以度量"無序化"的程度，在信息論中則用來衡量不確定程度。如果用戶訪問的各類目Item分布比較均勻，則熵值較大，反之熵值較小(比如只點擊二次元內容)。

其中， 為用戶對 類目的訪問概率。

在得到用戶的多樣性熵后就可以針對不同用戶采用差異化的多樣性策略了，比如各種超參數的取值等。

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

?

[1]推薦系統應該如何保障推薦的多樣性？https://www.zhihu.com/question/68299606/answer/776092528

[2]騰訊QQ大數據:神盾推薦--MAB算法應用總結https://blog.csdn.net/kl28978113/article/details/96303148 http://www.360doc.com/content/18/0714/21/3175779_770404760.shtml

[3]曹歡歡：推薦內容的多樣性越好，用戶的長期留存概率越大http://scitech.people.com.cn/GB/n1/2019/0712/c1007-31229289.html

[4]信息流推薦多樣性https://blog.csdn.net/chunyun0716/article/details/103376936

[5]推薦多樣性研究講述https://max.book118.com/html/2017/0329/97669662.shtm

[6]個性化推薦系統的多樣性研究進展http://www.doc88.com/p-0137412059454.html

[8]【實踐】信息流推薦算法實踐 & 深入https://blog.csdn.net/dengxing1234/article/details/79756265

[9]初讀師兄論文---面向多樣性的推薦算法研究https://blog.csdn.net/qq_28298991/article/details/80697205

[10]Set Cover Problem (集合覆蓋問題)https://www.jianshu.com/p/df54fade1269

[11]EXP3算法https://blog.csdn.net/weixin_39550091/article/details/102484513

[12]貪心算法:集合覆蓋問題https://blog.csdn.net/zhi_neng_zhi_fu/article/details/101752753

[13]Multi-armed Bandits(多臂老虎機問題)https://blog.csdn.net/wangh0802/article/details/87913867

[14]冷啟動中的多臂老虎機問題(Multi-Armed Bandit，MAB)https://blog.csdn.net/Gamer_gyt/article/details/102560272

[15]推薦系統-推薦列表多樣性處理

[16]LTV預測模型：如何實現高質量用戶增長https://leeguoren.blog.csdn.net/article/details/96989034

[17]通過實例運營策略提升推薦結果多樣性https://help.aliyun.com/document_detail/171774.html

[18]面向個性化推薦的偏好多樣性建模研究進展https://m.163.com/newsapp/applinks.html

[19]多模態商品推薦與認知智能背后的數學https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/105248807

[20]Hulu是如何提升推薦多樣性的？https://blog.csdn.net/hulu_beijing/article/details/107538159

[21]基于行列式點過程的推薦多樣性提升算法的直觀理解https://www.zhihu.com/question/68299606/answer/776092528

[22]Determinantal point process 入門 https://blog.csdn.net/qq_23947237/article/details/90698325

[23]長尾推薦算法論文閱讀筆記合集https://blog.csdn.net/qq_41536315/article/details/104527428

[24]A Generic Top-N Recommendation Framework For Trading-off Accuracy, Novelty, and Coveragehttps://blog.csdn.net/qq_35771020/article/details/87854554

[25]【論文閱讀筆記】Challenging the Long Tail Recommendation(挑戰長尾推薦)https://blog.csdn.net/qq_41536315/article/details/103762117

[26]Airbnb搜索：重排序階段如何優化搜索結果多樣性？https://zhuanlan.zhihu.com/p/239824669

[27]矩陣行列式的幾何意義https://www.cnblogs.com/tsingke/p/10671318.html

[28]fast-map-dpp介紹http://d0evi1.com/fast-map-dpp/

[29]《基于行列式點過程的推薦多樣性提升算法》原理詳解https://blog.csdn.net/yz930618/article/details/84862751

[30]【推薦系統】行列式點過程(DPP)算法推導https://blog.csdn.net/qq_41629800/article/details/107339054

[31]行列式https://www.pianshen.com/article/94381258640/

[32]基于排序學習的Top-N推薦算法研究

[33]行列式點過程的簡單介紹https://www.doc88.com/p-8089116412071.html

[34]baidu Query-Ad Matching算法介紹http://d0evi1.com/baidu-matching/

[35]個性化推薦系統的多樣性研究進展http://www.doc88.com/p-0137412059454.html

[36]推薦系統怎樣實現多路召回的融合排序https://zhuanlan.zhihu.com/p/90796257

[37]召回模塊:多召回策略https://blog.csdn.net/zimiao552147572/article/details/106976141

[38]推薦系統學習筆記——八、推薦系統多路召回融合排序https://blog.csdn.net/Lynnzxl/article/details/105251213

[39]推薦系統從0到1[二]:個性化召回https://cloud.tencent.com/developer/article/1174893

[40]推薦算法總結(召回+排序+工程化)https://blog.csdn.net/qq_34219959/article/details/104495432

[41]推薦系統召回策略之多路召回與Embedding召回https://juejin.im/post/6854573221707317261

[42]【】轉載】搜狗信息流推薦算法實踐（推薦工作流理解-召回、排序）_敗八-CSDN博客https://blog.csdn.net/ChaosJ/article/details/94302505

[43]基于Embedding的推薦系統召回策略https://www.ctolib.com/amp/topics-138378.html

[44]The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries

[45]wide_deep https://github.com/Lapis-Hong/wide_deep

[46]Contextual Bandit算法在推薦系統中的實現及應用https://zhuanlan.zhihu.com/p/35753281

[47]行列式點過程DPP在推薦系統中的應用https://zhuanlan.zhihu.com/p/95607668

[48]Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Diversity https://proceedings.neurips.cc/paper/2018/file/dbbf603ff0e99629dda5d75b6f75f966-Paper.pdf

[49]UC 信息流推薦模型在多目標和模型優化方面的進展https://zhuanlan.zhihu.com/p/86607378

[50]從貪心選擇到探索決策：基于強化學習的多樣性排序https://zhuanlan.zhihu.com/p/56053546

[51]Diversified Retrieval（多樣性檢索，MMR，DPP）https://blog.csdn.net/qq_39388410/article/details/109706683

[52]多樣性算法在58部落的實踐和思考https://blog.csdn.net/hellozhxy/article/details/108982131

總結

以上是生活随笔為你收集整理的聊聊如何提升推荐系统的结果多样性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。