http://ihoge.cn/2018/ML1.html

協(xié)同過濾算法

? 獲取spark自帶的MovieLens數(shù)據(jù)集，其中每行包含一個用戶、一個電影、一個該用戶對該電影的評分以及時間戳。我們使用默認的ALS.train() 方法，即顯性反饋（默認implicitPrefs 為false）來構建推薦模型并根據(jù)模型對評分預測的均方根誤差來對模型進行評估。

導入需要的包：

import org.apache.spark.ml.evaluation.RegressionEvaluator import org.apache.spark.ml.recommendation.ALS

根據(jù)數(shù)據(jù)結構創(chuàng)建讀取規(guī)范

創(chuàng)建一個Rating類型，即[Int, Int, Float, Long];然后建造一個把數(shù)據(jù)中每一行轉化成Rating類的函數(shù)。

case class Rating(userId: Int, movieId: Int, rating: Float, timestamp: Long) def parseRating(str: String): Rating = {val fields = str.split("::")assert(fields.size == 4)Rating(fields(0).toInt, fields(1).toInt, fields(2).toFloat, fields(3).toLong)}

讀取數(shù)據(jù)：

導入implicits，讀取MovieLens數(shù)據(jù)集，把數(shù)據(jù)轉化成Rating類型；

import spark.implicits._ val ratings = spark.sparkContext.textFile("file:///home/hduser/spark/data/mllib/als/sample_movielens_ratings.txt").map(parseRating).toDF()

然后打印數(shù)據(jù)

ratings.show()

構建模型

把MovieLens數(shù)據(jù)集劃分訓練集和測試集

val Array(training, test) = ratings.randomSplit(Array(0.8, 0.2))

使用ALS來建立推薦模型，這里我們構建了兩個模型，一個是顯性反饋，一個是隱性反饋

val alsExplicit = new ALS().setMaxIter(5).setRegParam(0.01).setUserCol("userId"). setItemCol("movieId").setRatingCol("rating") val alsImplicit = new ALS().setMaxIter(5).setRegParam(0.01).setImplicitPrefs(true). setUserCol("userId").setItemCol("movieId").setRatingCol("rating")

在 ML 中的實現(xiàn)有如下的參數(shù):

• numBlocks 是用于并行化計算的用戶和商品的分塊個數(shù) (默認為10)。
• rank 是模型中隱語義因子的個數(shù)（默認為10）。
• maxIter 是迭代的次數(shù)（默認為10）。
• regParam 是ALS的正則化參數(shù)（默認為1.0）。
• implicitPrefs 決定了是用顯性反饋ALS的版本還是用適用隱性反饋數(shù)據(jù)集的版本（默認是false，即用顯性反饋）。
• alpha 是一個針對于隱性反饋 ALS 版本的參數(shù)，這個參數(shù)決定了偏好行為強度的基準（默認為1.0）。

• nonnegative 決定是否對最小二乘法使用非負的限制（默認為false）。

  可以調整這些參數(shù)，不斷優(yōu)化結果，使均方差變小。比如：imaxIter越大，regParam越 小，均方差會越小，推薦結果較優(yōu)。

接下來，把推薦模型放在訓練數(shù)據(jù)上訓練：

val modelExplicit = alsExplicit.fit(training) val modelImplicit = alsImplicit.fit(training)

模型預測

使用訓練好的推薦模型對測試集中的用戶商品進行預測評分，得到預測評分的數(shù)據(jù)集

val predictionsExplicit = modelExplicit.transform(test) val predictionsImplicit = modelImplicit.transform(test)

我們把結果輸出，對比一下真實結果與預測結果：

predictionsExplicit.show() predictionsImplicit.show()

模型評估

通過計算模型的均方根誤差來對模型進行評估，均方根誤差越小，模型越準確：

val evaluator = new RegressionEvaluator().setMetricName("rmse").setLabelCol("rating"). setPredictionCol("prediction") val rmseExplicit = evaluator.evaluate(predictionsExplicit) val rmseImplicit = evaluator.evaluate(predictionsImplicit)

打印出兩個模型的均方根誤差 ：

println(s"Explicit:Root-mean-square error = $rmseExplicit") println(s"Implicit:Root-mean-square error = $rmseImplicit")

可以看到打分的均方差值為1.69和1.80左右。由于本例的數(shù)據(jù)量很少，預測的結果和實際相比有一定的差距。

總結

以上是生活随笔為你收集整理的Spark ML - 协同过滤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。