前言:

　　CDH4不帶yarn和spark, 因此需要自己搭建spark集群. 這邊簡單描述spark集群的安裝過程, 并講述spark的standalone模式, 以及對相關的腳本進行簡單的分析.

spark官網: http://spark.apache.org/downloads.html

*)安裝和部署
　　環境: 172.16.1.109~172.16.1.111三臺機器(對應域名為tw-node109~tw-node111), centos6.4, 已部署cdh4
　　目標是: 搭建一個spark集群(standlone), 部署目錄統一為$SPARK_HOME=/root/mmxf/spark, 172.16.1.109部署Master, 172.16.1.109~172.16.1.111部署Worker節點.

預先的準備工作:
#) 在各個節點已配置/etc/hosts

172.16.1.109 tw-node109 172.16.1.110 tw-node110 172.16.1.111 tw-node111

#) 進行ssh無密鑰登錄設置(ssh-genkey, ssh-copy-it)

1. 下載pre-build cdh4版spark
wget http://mirrors.hust.edu.cn/apache/spark/spark-1.0.1/spark-1.0.1-bin-cdh4.tgz

2. 解壓spark
tar zxvf spark-1.0.1-bin-cdh4.tgz
ln -s spark-1.0.1-bin-cdh4 spark
目錄結構如下:

3. 配置屬性
配置${SPARK_HOME}/conf/spark-env.sh
cd conf/
cp spark-env.sh.template spark-env.sh

SPARK_MASTER_IP=172.16.1.109 SPARK_MASTER_PORT=7077 MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}

修改${SPARK_HOME}/conf/slaves

tw-node109 tw-node110 tw-node111

4. 使用rsync做同步
SPARK_INSTALL_DIR=/root/mmxf
rsync -avh ${SPARK_INSTALL_DIR} <username>@<server>:${SPARK_INSTALL_DIR}
rsync -avh /root/mmxf/ root@172.16.1.110:/root/mmxf/
rsync -avh /root/mmxf/ root@172.16.1.111:/root/mmxf/

5. 啟用服務
sbin/start-all.sh
sbin/stop-all.sh

6. 驗證
jps | grep -i -e "\(Worker\|\sMaster\)"

集群UI展示

官方提供的測試用例: bin/run-example SparkPi 10

7. standlalone架構

總結:
　　spark集群的搭建還是很簡單的, 服務啟動維護亦然.

總結

以上是生活随笔為你收集整理的Spark 个人实战系列(1)--Spark 集群安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。