[[TOC]]

基于協同過濾的在線鮮花店推薦系統

項目需求：

• 基于店鋪的客戶訂單記錄，實現店鋪的推薦需求：

  • 基于RFM模型，得到客戶的價值分類，對高價值客戶進行重點跟蹤，推薦其潛在的商品列表，即實現：給定用戶編號，返回10個推薦商品列表。
  • 對店鋪滯銷商品，進行有針對性的促銷活動，推薦給最有可能購買的10個用戶，結合一些針對性的促銷優惠活動，向10個用戶推薦。即實現：給定物品編號，返回10個推薦用戶列表。

• 店鋪尚未搭建Spark大數據環境，可搭建TensorFlow2的環境，因此使用TensorFlow2實現協同過濾算法中的矩陣分解。現有資料絕大部分是基于一個模板復制出來的，且基于TensorFlow1，因此需要親自動手，用TensorFlow2實現。

• 若搭建好了Spark環境，可在Spark中，直接調用spark.mllib.recommendation.ALS() ，可實現相同功能。

---

推薦算法原理：

在推薦系統中，協同過濾算法是很常用的推薦算法。中心思想：物以類聚（以物品相似度推薦物品），人以群分（以用戶相似度推薦類似用戶的商品列表）。也就是口味相同的人，把他喜歡的物品或者電影歌曲推薦給你；或者是將你喜歡的物品，類似的物品推薦給你。

• 整體流程：
  1、 獲取用戶對商品的評分、購買記錄等
  2、 構造協同矩陣M
  3、 基于矩陣進行分解M=U*V
  4、 利用要推薦的物品或者用戶，和U或者V計算相似度

---

計算相似度：

TensorFlow2可以自動幫你求導更新參數，太方便了，你要做的就是構造損失函數loss而已。
loss函數可以理解為，我們分解得到U*V得到預測的M_pre，用M和M_pre求歐式距離：即歐幾里得距離（Euclidean Distance）
公式具體為：

大致意思就是分解一個大矩陣為兩個小矩陣相乘。

• 注意事項：

  • 歐氏距離能夠體現個體數值特征的絕對差異，所以更多的用于需要從維度的數值大小中體現差異的分析，如使用用戶行為指標分析用戶價值的相似度或差異。
  • 余弦距離更多的是從方向上區分差異，而對絕對的數值不敏感，更多的用于使用用戶對內容評分來區分興趣的相似度和差異，同時修正了用戶間可能存在的度量標準不統一的問題（因為余弦距離對絕對數值不敏感）。
  • 用戶對內容評分，按5分制，X和Y兩個用戶對兩個內容的評分分別為（1,2）和（4,5），使用余弦相似度得到的結果是0.98，兩者極為相似。但從評分上看X似乎不喜歡2這個 內容，而Y則比較喜歡，余弦相似度對數值的不敏感導致了結果的誤差，需要修正這種不合理性就出現了調整余弦相似度，即所有維度上的數值都減去一個均值，比如X和Y的評分均值都是3，那么調整后為（-2，-1）和（1,2），再用余弦相似度計算，得到-0.8，相似度為負值并且差異不小，但顯然更加符合現實。

• *余弦相似度的python實現*

  • python原生代碼：

    import numpy as npdef cosine_similarity(x, y, norm=False):""" 計算兩個向量x和y的余弦相似度 """assert len(x) == len(y), "len(x) != len(y)"zero_list = [0] * len(x)if x == zero_list or y == zero_list:return float(1) if x == y else float(0)# method 1res = np.array([[x[i] * y[i], x[i] * x[i], y[i] * y[i]] for i in range(len(x))])cos = sum(res[:, 0]) / (np.sqrt(sum(res[:, 1])) * np.sqrt(sum(res[:, 2])))return 0.5 * cos + 0.5 if norm else cos # 歸一化到[0, 1]區間內if __name__ == '__main__':print cosine_similarity([0, 0], [0, 0]) # 1.0print cosine_similarity([1, 1], [0, 0]) # 0.0print cosine_similarity([1, 1], [-1, -1]) # -1.0print cosine_similarity([1, 1], [2, 2]) # 1.0print cosine_similarity([3, 3], [4, 4]) # 1.0print cosine_similarity([1, 2, 2, 1, 1, 1, 0], [1, 2, 2, 1, 1, 2, 1]) # 0.938194187433

矩陣分解TensorFlow2代碼：

TensorFlow2可以自動幫你求導更新參數，太方便了，你要做的就是構造損失函數loss而已。

具體代碼為：

'''================================================= @Function -> 用TensorFlow2實現協同過濾矩陣的分解 @Author ：luoji @Date ：2021-10-19 =================================================='''def matrixDecomposition(alike_matrix,rank=10,num_epoch= 5000,learning_rate=0.001,reg=0.01):row,column = len(alike_matrix),len(alike_matrix[0])avg = np.average(alike_matrix)matrix_avged = alike_matrix-avg# 這里解釋一下為什么要減去平均值進行歸一化# 因為余弦相似度在數值上的不敏感，會導致這樣一種情況存在：## 用戶對內容評分，按5分制，X和Y兩個用戶對A,B兩個內容的評分分別為（1, 2）和（2, 4），使用余弦相似度得到的結果是1# ，兩者極為相似。但從評分上看X似乎不喜歡B這個內容，而Y則比較喜歡，余弦相似度對數值的不敏感導致了結果的誤差，需要修正這種不合理性就出現了調整余弦相似度，# 即所有維度上的數值都減去一個均值，比如X和Y的評分均值都是3，那么調整后為（-1.25，-0.25）和（0.25, 1.25），再用余弦相似度計算，得到 -0.38，相似度為負值并且差異不小，但顯然更加符合現實。# 那么是否可以在（用戶 - 商品 - 行為數值）矩陣的基礎上進行調整,使用余弦相似度計算比普通余弦夾角算法要強。## 歐氏距離能夠體現個體數值特征的絕對差異，所以更多的用于需要從維度的數值大小中體現差異的分析，如使用用戶行為指標分析用戶價值的相似度或差異。y_true = tf.constant(matrix_avged, dtype=tf.float32) # 構建y_trueU = tf.Variable(shape=(row, rank), initial_value=np.random.random(size=(row, rank)),dtype=tf.float32) # 構建一個變量U，代表user權重矩陣V = tf.Variable(shape=(rank, column), initial_value=np.random.random(size=(rank, column)),dtype=tf.float32) # 構建一個變量，代表權重矩陣，初始化為0variables = [U,V]optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)for batch_index in range(num_epoch):with tf.GradientTape() as tape:y_pre = tf.matmul(U, V)loss = tf.reduce_sum(tf.norm(y_true-y_pre, ord='euclidean')+ reg*(tf.norm(U,ord='euclidean')+tf.norm(V,ord='euclidean'))) #正則化項print("batch %d : loss %f" %(batch_index,loss.numpy()))grads = tape.gradient(loss,variables)optimizer.apply_gradients(grads_and_vars=zip(grads,variables))return U,V,tf.matmul(U, V)+avgif __name__ == "__main__":# 把矩陣分解為 M=U*V ，U和V由用戶指定秩rankalike_matrix = [[1.0, 2.0, 3.0],[4.5, 5.0, 3.1],[1.0, 2.0, 3.0],[4.5, 5.0, 5.1],[1.0, 2.0, 3.0]]U,V,preMatrix = matrixDecomposition(alike_matrix,rank=2,reg=0.5,num_epoch=2000) # reg 減小則num_epoch需增大print(U)print(V)print(alike_matrix)print(preMatrix)print("this difference between alike_matrix and preMatrix is :")print(alike_matrix-preMatrix)print('loss is :',sum(sum(abs(alike_matrix - preMatrix))))

待分解的矩陣：
[[1.0, 2.0, 3.0],
[4.5, 5.0, 3.1],
[1.0, 2.0, 3.0],
[4.5, 5.0, 5.1],
[1.0, 2.0, 3.0]]

分解后，相乘的到的矩陣：

[[1.0647349 1.929376 2.9957888]
[4.6015587 4.7999315 3.1697667]
[1.0643657 1.9290545 2.9957101]
[4.287443 5.211667 4.996485 ]
[1.0647217 1.9293401 2.9957187]],

可以看出兩者還是很相似的，證明我們用TensorFlow2進行的矩陣分解是正確的。
注意，正則化項reg需要和num_epoch配套，reg越大，收斂越快，但效果不一定最好。

---

項目產出和亮點：

利用TensorFlow2，實現協同過濾算法中的矩陣分解，而且該模塊可以直接復用。滿足需求。

• 給定用戶編號，返回10個推薦商品列表。
• 給定物品編號，返回10個推薦用戶列表。

亮點：

• TensorFlow2太神奇了，只要找到損失函數loss，模型就可以訓練。Amazing！
• 利用TensorFlow2進行的矩陣分解，目前是所有分解算法中誤差最小的。
• 全網找不到第二家基于TensorFlow2實現的。在Spark中，直接調用spark.mllib.recommendation.ALS() 就好了。

代碼下載地址github：

• 源碼地址：
  GitHub

• CSDN 技術博客地址：

CSDN

1、TensorFlow2太神奇了，只要找到損失函數loss，模型就可以訓練。Amazing！
2、CSDN 技術博客1 篇，全網找不到第二個基于TensorFlow2實現的。好奇為什么TensorFlow2不幫我們實現了，在Spark中，直接調用spark.mllib.recommendation.ALS() 就好了

總結

以上是生活随笔為你收集整理的基于协同过滤算法的在线鲜花店推荐系统详解及GitHub下载的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。