原文鏈接：http://blog.csdn.net/u013086392/article/details/55666912

-----------------------------------------------------------------------------------

map:?
我們可以看到數(shù)據(jù)的每一行在map之后產(chǎn)生了一個數(shù)組，那么rdd存儲的是一個數(shù)組的集合

JavaRDD<String[]> mapresult=lines.map()

• 1

flatMap:?
同map函數(shù)一樣：對每一條輸入進行指定的操作，然后為每一條輸入返回一個對象?
最后將所有對象合并為一個對象

JavaRDD<String> objectJavaRDD = lines.flatMap()

• 1

mappartition:?
rdd的mapPartitions是map的一個變種，它們都可進行分區(qū)的并行處理。兩者的主要區(qū)別是調(diào)用的粒度不一樣?
map的輸入變換函數(shù)是應(yīng)用于RDD中每個元素，而mapPartitions的輸入函數(shù)是應(yīng)用于每個分區(qū)。也就是把每個分區(qū)中的內(nèi)容作為整體來處理的。

JavaRDD<String> objectJavaRDD = lines.mappartition()

• 1

flatMapToPair:?
同map函數(shù)一樣：對每一條輸入進行指定的操作，然后為每一條輸入返回一個key－value對象?
最后將所有key－value對象合并為一個對象 Iterable

JavaPairRDD<String,String> pair=lines.flatMapToPair()

• 1

總結(jié)

以上是生活随笔為你收集整理的map flatmap mappartition flatMapToPair四种用法区别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。