spark之5：配置文件

@(SPARK)[spark]

一、spark的參數設置方式

1、spark配置文件加載順序

spark按以下優先級加載配置文件：
（1）用戶代碼中顯式調用set()方法設置的選項
（2）通過spark-submit傳遞的參數
（3）配置文件中的值
（4）spark的默認值

以下會分別介紹各種方式。

2、set()方法

val conf = new SparkConf()
conf.set(“spark.app.name”, “ljh_test”)
conf.set(“spark.master”,”yarn-client”)
val sc = new SparkContext(conf)

3、spark-submit方式

bin/spark-submit
–class com.lujinhong.MyTest
–master yarn-client
–name “ljh_test”
myTest.jar

4、配置文件的方式

（1）spark-defaults.conf

主要是指conf/spark-defaults.conf，如：

# For monitoring spark.eventLog.enabled true spark.eventLog.dir hdfs://mycluster/tmp/spark-events spark.history.fs.logDirectory hdfs://mycluster/tmp/spark-events spark.yarn.historyServer.address 10.1.1.100:18080 spark.ui.showConsoleProgress true spark.history.kerberos.enabled true spark.history.kerberos.principal hadoop/sparkhistoryserver@LUJINHONG.COM spark.history.kerberos.keytab /home/hadoop/conf/spark/spark.keytab# For executor spark.cores.max 300 spark.driver.memory 2g spark.executor.memory 6g spark.executor.cores 6 spark.driver.extraJavaOptions -XX:PermSize=512M -XX:MaxPermSize=2048M

文件中是以空格分開的鍵值對，默認加載conf/spark-defaults.conf，也可以在spark-submit中通過–properties-file指定路徑。

（2）spark-env.sh

主要用于指定一些環境變量，尤其是指定YARN相關的目錄，如

#!/usr/bin/env bash export SPARK_HOME=/home/hadoop/spark export SPARK_LOG_DIR=/home/hadoop/logs export SPARK_PID_DIR=/home/hadoop/pids export YARN_CONF_DIR=/home/hadoop/conf export HADOOP_CONF_DIR=/home/hadoop/conf# for exporting for enviroment, such as lib/native export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/home/hadoop/hadoop/lib/native export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/hadoop/hadoop/lib/native

（3）其它

其它的配置文件還有log4j.properties, metircs.properties等。

5、spark的默認值

總結

以上是生活随笔為你收集整理的spark之5：配置文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。