從物理部署層面上來看，Spark主要分為兩種類型的節(jié)點(diǎn)，Master節(jié)點(diǎn)和Worker節(jié)點(diǎn)，Master節(jié)點(diǎn)主要運(yùn)行集群管理器的中心化部分，所承載的作用是分配Application到Worker節(jié)點(diǎn)，維護(hù)Worker節(jié)點(diǎn)，Driver，Application的狀態(tài)。Worker節(jié)點(diǎn)負(fù)責(zé)具體的業(yè)務(wù)運(yùn)行。

從Spark程序運(yùn)行的層面來看，Spark主要分為驅(qū)動(dòng)器節(jié)點(diǎn)和執(zhí)行器節(jié)點(diǎn)。

1、機(jī)器準(zhǔn)備

準(zhǔn)備兩臺(tái)以上Linux服務(wù)器，安裝好JDK1.8

我這里的是

ip地址系統(tǒng)

Carlota1	CentOS7.3
Carlota2	CentOS7.3
Carlota3	CentOS7.3

2、下載Spark安裝包

http://spark.apache.org/downloads.html

3、上傳解壓

//上傳 scp spark-3.0.1-bin-hadoop3.2.tgz root@Carlota1:/usr/local/apps/ scp spark-3.0.1-bin-hadoop3.2.tgz root@Carlota2:/usr/local/apps/ scp spark-3.0.1-bin-hadoop3.2.tgz root@Carlota3:/usr/local/apps/ //解壓 tar -zxvf spark-3.0.1-bin-hadoop3.2.tgz //改個(gè)名 mv spark-3.0.1-bin-hadoop3.2 spark-3.0.1

4、配置環(huán)境變量

• vi /etc/profile

#Spark export SPARK_HOME=/usr/local/apps/spark-3.0.1 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

• source /etc/profile

5、配置Spark【Standalone模式】

Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos，我們選擇最具代表性的Standalone集群部署模式。

• 進(jìn)入到Spark安裝目錄cd /usr/local/apps/spark-3.0.1/conf

• 將slaves.template復(fù)制為slavescp slaves.template slaves

• 將spark-env.sh.template復(fù)制為spark-env.shcp spark-env.sh.template spark-env.sh

• 修改slaves文件，將work的hostname輸入vi slaves

Carlota2 Carlota3

• 修改spark-env.sh文件vi spark-env.sh，添加如下配置：

SPARK_MASTER_HOST=Cralota1 SPARK_MASTER_PORT=7077

• 同步數(shù)據(jù)到Carlota2和Carlota3

scp -r conf root@Carlota2:/usr/local/apps/spark-3.0.1 scp -r conf root@Carlota3:/usr/local/apps/spark-3.0.1

• 進(jìn)入sbin目錄

• vi spark-config.sh在下方添加

JAVA_HOME=/usr/local/java/jdk1.8

• 同步一下

scp -r spark-config.sh root@Carlota2:/usr/local/apps/spark-3.0.1/sbin scp -r spark-config.sh root@Carlota3:/usr/local/apps/spark-3.0.1/sbin

Spark集群配置完畢，目前是1個(gè)Master，2個(gè)Wor

6、Spark啟動(dòng)集群

• Carlota1上啟動(dòng)集群./sbin/start-all.sh

[root@Carlota1 spark-3.0.1]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /usr/local/apps/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.master.Master-1-Carlota1.outCarlota2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/apps/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Carlota2.outCarlota3: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/apps/spark-3.0.1/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-Carlota3.out

• 啟動(dòng)后執(zhí)行jps命令，主節(jié)點(diǎn)上有Master進(jìn)程，其他子節(jié)點(diǎn)上有Work進(jìn)行

[root@Carlota1 spark-3.0.1]# jps 10551 Master 10603 Jps [root@Carlota3 spark-3.0.1]# jps 17085 Jps 16959 Worker

• 登錄Spark管理界面查看集群狀態(tài)（主節(jié)點(diǎn)）：http://Carlota1:8080/

到此為止，Spark集群安裝完畢.

注意：如果遇到 “JAVA_HOME not set” 異常，可以在sbin目錄下的spark-config.sh 文件中加入如下配置：
export JAVA_HOME=XXXX

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的CentOS7下Spark集群的安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。