• 當在YARN上運行Spark作業，每個Spark executor作為一個YARN容器運行。Spark可以使得多個Tasks在同一個容器里面運行。

以下參數配置為例子：

spark-submit

--master yarn-cluster?? 　　　　#使用集群調度模式(一般使用這個參數)

--num-executors? 132 ???? 　　 # executor 數量

--executor-cores? 2 ?????? 　　　#設置單個executor能并發執行task數，根據job設置，推薦值2-16 （這里不是指CPU數，集群不限制CPU使用）

--driver-memory 4g? 　　　　　#driver的內存大小，推薦值2-6G，不宜太大

--executor-memory 6g? 　　　 #單個executor的內存大小，根據job需求以及并發數設置，最大不要超過30G

。。。

• 公式：

1、containers的最大值就是spark 設置的 num-executors值 ;

2、實際占用的總的vcores≈（executor-cores）*containers（實際executors）

3、內存計算公式：((實際占用的總的containers)*(executor-memory+512M))+(driver-memory)。

• 以下是我實際執行的情況：

submit.sh

#!/bin/sh spark-submit --master yarn-cluster --class MyMain --num-executors 132 --executor-cores 2 --driver-memory 4g --executor-memory 6g xxx.jar

yarn resoruce manager監控的資源占用結果：

?基本上按照上邊公式。

?

參考資料：

Spark On YARN內存分配 https://yq.aliyun.com/articles/25468

spark on yarn - job提交重要參數說明：http://www.tuicool.com/articles/7vuu22b

spark-submit提交參數設置:http://www.cnblogs.com/gnool/p/5643595.html

?

總結

以上是生活随笔為你收集整理的Spark on Yarn：任务提交参数配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。