• Spark集群完全分布式安裝部署
• 下載安裝
• 配置Spark
  • 1spark-envsh配置
  • 2slaves配置
  • 3profile配置
• 復(fù)制到其他節(jié)點(diǎn)
• 測(cè)試
• 總結(jié)

Spark集群完全分布式安裝部署

本文中所提到的Spark集群所用的系統(tǒng)環(huán)境是Centos6.5，共4個(gè)節(jié)點(diǎn)，前提是Hadoop、JDK都已經(jīng)安裝配置好了，操作都是在hadoop用戶下進(jìn)行（要保證spark安裝目錄的所屬是hadoop用戶，權(quán)限也要開(kāi)放，在Hadoop配置的文章中提到過(guò)用chown和chmod命令進(jìn)行設(shè)置，請(qǐng)回看?Hadoop全分布集群搭建（3）——Hadoop安裝與配置）。

節(jié)點(diǎn)情況在Hadoop全分布集群搭建（1）——設(shè)置主機(jī)名與域名解析中有介紹，如下：

節(jié)點(diǎn)名稱hostNameIP地址

Master	Master	192.168. 101.42
Slave1	Slave1	192.168. 101.40
Slave2	Slave2	192.168. 101.41
Slave3	Slave3	192.168. 101.43

1.下載安裝

從官網(wǎng)http://spark.apache.org/downloads.html下載壓縮包，由于我的Hadoop版本是2.6.0，所以我們對(duì)應(yīng)下載Pre-built for Hadoop 2.6 and later版本的spark-1.6.1的tgz包，下載后解壓，重命名為spark-1.6.1，并復(fù)制到/usr/soft目錄下。

2.配置Spark

2.1spark-env.sh配置

進(jìn)入/usr/soft/spark-1.6.1/conf目錄下，復(fù)制一個(gè)spark-env.sh.template的副本，命名為spark-env.sh,編輯該文件，再文件最后加上下面的語(yǔ)句：

#JAVA_HOME export JAVA_HOME=/usr/soft/jdk #Hadoop_HOME export HADOOP_HOME=/usr/soft/hadoop-2.6.0 #Scala_HOME export SCALA_HOME=/usr/soft/scala-2.12.0 #Spark_HOME export SPARK_HOME=/usr/soft/spark-1.6.1 export HADOOP_CONF_DIR=/usr/soft/hadoop-2.6.0 export SPARK_MASTER_IP=Master #Master的IP，Master代表了192.168.101.142，只是用了它的hostname export SPARK_WORKER_MEMORY=1g #內(nèi)存 export SPARK_WORKER_CORES=2 #cpus核心數(shù) export SPARK_JAR=/usr/soft/spark-1.6.1/lib/spark-assembly-1.6.1-hadoop2.6.0.jar export SPARK_DIST_CLASSPATH=$(/usr/soft/hadoop-2.6.0/bin/hadoop classpath)

2.2slaves配置

conf同目錄下，賦值slaves.template文件的副本，命名為slaves，編輯，在最后添加如下內(nèi)容：

Master #表示Master既是Master，也是Worker Slave1 Slave2 Slave3

2.3profile配置

執(zhí)行命令

vim /etc/profile #編輯/etc/profile文件

添加環(huán)境變量如下：

#Spark環(huán)境變量 export SPARK_HOME=/usr/BigData/spark-1.6.0 #在Path中加入Spark的路徑 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

3.復(fù)制到其他節(jié)點(diǎn)

我們?cè)贛aster節(jié)點(diǎn)上安裝配置完成Spark后，將整個(gè)spark-1.6.1目錄拷貝到其他節(jié)點(diǎn)，并在各個(gè)節(jié)點(diǎn)上更改/etc/profile文件中的環(huán)境變量即可。（可能需要root用戶）

4.測(cè)試

在Master節(jié)點(diǎn)啟動(dòng)集群

/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

• 1

完成之后，Master節(jié)點(diǎn)上用jps命令可以看到，多了Master與Worker，Slave節(jié)點(diǎn)上多了Worker。也可以打開(kāi)瀏覽器輸入Master:8080，看到如下活動(dòng)的Workers，證明安裝配置并啟動(dòng)成功

5.總結(jié)

如果沒(méi)有啟動(dòng)成功，記得去看spark安裝目錄下logs目錄中的日志文件，看是哪里出了錯(cuò)，網(wǎng)絡(luò)問(wèn)題、端口占用或者未開(kāi)放、配置文件配置出錯(cuò)，防火墻攔截等等可能的情況，需要再去琢磨一下了。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的Spark集群完全分布式安装部署的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。