standalong 模式需要在spark master 節點上啟動 spark/sbin/start-all.sh
主從節點都可以run standalong client ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://bigdatastorm:7077 --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100standalong cluster ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://bigdatastorm:7077 --deploy-mode cluster --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100yarn 模式需要啟動yarn
主從節點都可以run yarn client ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100yarn cluster
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 512m --executor-memory 512m --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
================================================
standalong 模式需要在/opt/spark-1.6.0/conf 配置 slaves 和 spark-env.sh ,slaves 配置work 節點
spark-env.sh 配置
export SPARK_MASTER_IP=bigdatastorm export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=1 export SPARK_WORKER_INSTANCES=1 export SPARK_WORKER_MEMORY=512m export SPARK_LOCAL_DIRS=/data/spark/dataSparkDir
yarn 模式下需要額外配置
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
更重要的是需要配置Scala 了 ，并設置環境變量

轉載于:https://www.cnblogs.com/TendToBigData/p/10501386.html

總結

以上是生活随笔為你收集整理的Spark 运行模式 standalong yarn的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。