Spark 作業中的并行度指各個 stage 的 task 的數量。
如果并行度設置不合理而導致并行度過低，會導致資源的極大浪費，例如，20 個 Executor，每個 Executor 分配 3 個 CPU core，而 Spark 作業有 40 個 task，這樣每個 Executor 分配到的task 個數是 2 個，這就使得每個 Executor 有一個 CPU core 空閑，導致資源的浪費。理想的并行度設置，應該是讓并行度與資源相匹配，簡單來說就是在資源允許的前提下，并行度要設置的盡可能大，達到可以充分利用集群資源。合理的設置并行度，可以提升整個Spark 作業的性能和運行速度。
Spark 官方推薦，task 數量應該設置為 Spark 作業總 CPU core 數量的 2~3 倍。之所以沒有推薦 task 數量與 CPU core 總數相等，是因為 task 的執行時間不同，有的 task 執行速度快而有的 task 執行速度慢，如果 task 數量與 CPU core 總數相等，那么執行快的 task 執行完成后，會出現 CPU core 空閑的情況。如果 task 數量設置為 CPU core 總數的 2~3 倍，那么一個task 執行完畢后，CPU core 會立刻執行下一個 task，降低了資源的浪費，同時提升了 Spark作業運行的效率。
Spark 作業并行度的設置如下所示：

val conf = new SparkConf() .set("spark.default.parallelism", "500")

總結

以上是生活随笔為你收集整理的Spark常规性能调优三：并行度调节的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。