目的要求

1. 搭建Spark集群環境；
2. Spark集群的啟動、瀏覽與關閉；
3. 使用Eclipse編寫Spark應用程序包；
4. 如何運行Spark任務；

實驗環境

1. Java jdk 1.7；
2. apache-maven-3.6.0；
3. Eclipse；
4. Apache_Hadoop集群；
5. 安裝配置Spark
6. 具體規劃：

主機名	IP地址	服務描述
Cluster-01	192.168.10.111	master節點
Cluster-03	192.168.10.113	Slave01節點
Cluster-04	192.168.10.114	Slave01節點

?

?

?

?

?

練習內容

任務一： Spark集群環境部署；

1、下載地址；http://spark.apache.org/downloads.html

?

2、將Spark軟件上傳至集群中；

3、將軟件壓縮包進行解壓；

4、移動解壓文件，并重新命名；

5、配置環境變量，使其生效；

6、配置修改spark的相關文件；

6.1、配置spark文件；

6.2、配置slaves文件；

7、配置完以上文件后，將Master主機的/home/admin/spark文件發送至其他兩臺主機；

?

任務二：啟動Spark集群并進行驗證；

1、啟動hadoop集群；

1.1、啟動Zookeeper服務；

??? 指令：$zkServer.sh start

1.2、啟動Hadoop服務；

??? 指令：$start-all.sh

1.3查看進程：

指令：$jps

2、啟動Master節點；

指令：$sbin/start-master.sh

3、啟動所有的Slave節點；

指令：$sbin/start-slaves.sh

4、在瀏覽器上查看Spark集群的管理信息；

5、啟動Spark-shell；

?

任務三：關閉Spark集群

1、首先管理spark的master節點，然后關閉spark的slaves節點，最后關閉Hadoop集群；

?

任務四：編寫Spark應用程序

1、準備測試數據：hdfs: //Cluster-01:9000/user/input/hello.txt;

2、啟動Spark-shell。運行WordCount詞頻統計程序；

?

?