reduceByKey
? ?函數簽名
def reduceByKey(func: (V, V) => V): RDD[(K, V)]
def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]
? ?函數說明
可以將數據按照相同的 Key 對 Value 進行聚合
val dataRDD1 = sparkContext.makeRDD(List(("a",1),("b",2),("c",3),("a",4)))
val dataRDD2 = dataRDD1.reduceByKey(_+_)
val dataRDD3 = dataRDD1.reduceByKey(_+_, 2)
? ?小功能：WordCount

總結

以上是生活随笔為你收集整理的spark rdd reduceByKey示例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。