今天犯了一個致命理解錯誤，Spark中的RDD Map操作只是一個計算式的傳遞，并不是Action，也就是在for循環(huán)中不會產(chǎn)生真正的計算。

?

因此，如果for循環(huán)中出現(xiàn)了RDD的Map類似操作，都會引起異常，例如棧溢出等等，屬于相互引用錯誤。

?

把我的錯誤代碼貼在下面，加深理解。

?

List<String> list = new ArrayList<>();list.add("OK1");JavaRDD<String> temp = jsc.parallelize(list);for (int i=0; i<num; i++) {for (int j=i+1; j<num; j++) {List<String> list2 = new ArrayList<>();list2.add("OK2");temp = temp.union(jsc.parallelize(list2));}}List<String> list3 = temp.collect();

　　

轉(zhuǎn)載于:https://www.cnblogs.com/shixiangwan/p/6379710.html

總結(jié)

以上是生活随笔為你收集整理的For循环中不可以嵌套RDD操作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。