1、spark安裝前提——必須安裝好Hadoop（本人有三臺機，已安裝好Hadoop）

2、下載spark，解壓至master機本地文件

3、修改/conf/spark-env.sh（原名spark-env.sh.template，把它改過來）

配置如下：

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5 export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.5/etc/hadoop export JAVA_HOME=/usr/local/jdk/jdk1.8.0_121 export SCALA_HOME=/usr/local/scala/scala-2.12.1 export SPARK_MASTER_IP=master export SPARK_WORKER_MEMORY=1G export SPARK_EXECUTOR_MEMORY=1G export SPARK_DRIVER_MEMORY=1G export SPARK_WORKER_CORES=6

4、修改/conf/spark-default.conf(原名spark-default.conf.template，把它改過來)

配置如下：

spark.eventLog.enabled true spark.eventLog.dir hdfs://master:9000/historyserverforSpark spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" spark.yarn.historyServer.address master:18080 spark.history.fs.logDirectory hdfs://master:9000/historyserverforSpark

?

?5、修改/conf/slaves（我有兩個節點）

配置如下：

slave1 slave2

?

6、配置/etc/profile?

#SPARK_HOME export SPARK_HOME=/usr/local/spark/spark-2.1.0-bin-hadoop2.6 export PATH=$PATH:$SPATK_HOME/bin:$SPARK_HOME/sbin

?

7、將master上的spark文件和/etc/profile文件傳給slave機（以slave1為例）

scp /usr/local/spark root@slave1:/usr/local/spark

scp /etc/profile root@slave1:/etc/profile

7.2 創建 historyserverforSpark 文件夾

進入Hadoop/bin

hadoop dfs -mkdir /historyserverforSpark

8、啟動Hadoop后，啟動spark

/sbin/start-all.sh

之后啟動歷史記錄

/sbin/start-history-server.sh

9、查看是否成功

網頁登錄 master：8080 和 master：18080

10、bin/spark-submit 運行實例

?

轉載于:https://www.cnblogs.com/LazyJoJo/p/6436739.html

總結

以上是生活随笔為你收集整理的spark-2.1.0 集群安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。