standalone模式

配置spark

• 安裝spark，并不需要安裝scala 。
• spark使用的是netty。
• 6066是restful接口端口；7077是m-w通信端口；8088是webui端口。

[root@cm-m0 bin]# for i in {0..1};do scp /etc/profile cm-n$i:/etc/profile;done profile 100% 2231 1.5MB/s 00:00 profile

啟動spark集群

• 啟動時會在本地啟動master，然后通過讀取slaves配置文件ssh到其他節點啟動slave。
  
  
  

訪問master:8080

yarn和spark的standalone模式對比

yarn的資源隔離做得更優秀。spark streaming推薦跑在yarn上。

spark on yarn

啟動hdfs

啟動yarn

訪問yarn

上述啟動了兩個節點的yarn進程，先啟動的會是active狀態，訪問后面的那個node-5:8088會自動跳轉到node-4:8088.

配置HADOOP_CONF_DIR

提交任務到yarn

cluster模式

原理：

client模式

原理：

兩種模式的區別

用哪種呢

一般都是用cluster模式。client模式僅僅用于測試。

提交任務

總結

以上是生活随笔為你收集整理的spark standalone集群安装及spark on yarn的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。