在线实时大数据平台Storm本地模式运行的一个小发现
1、現(xiàn)象:生產(chǎn)中分別部署了兩臺(tái)服務(wù)器,獨(dú)立運(yùn)行storm,然后拓?fù)涑绦蛱峤皇潜镜啬J?#xff0c;發(fā)現(xiàn)不用啟動(dòng)storm和zookeeper也可以運(yùn)行;
#jps ?沒有下面進(jìn)程
?QuorumPeerMain ?//zookeeper進(jìn)程
?supervisor ?
?nimbus
2、驗(yàn)證:在拓?fù)涑绦蛑性黾訁?shù)傳遞,1代表本地模式,2代表集群模式
? ? ?1)關(guān)閉集群后,傳參1運(yùn)行本地模式成功,傳參2運(yùn)行集群模式失敗;
? ? ? 2)啟動(dòng)集群后,傳參2集群模式提交運(yùn)行,成功;
? ? 本地模式:不用啟動(dòng)storm和zookeeper集群
? storm jar /tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 1-C /tmp/glabeling.xml?> /tmp/storm.logs
? ?集群模式:需啟動(dòng)storm和zookeeper集群
storm jar?/tmp/glabeling.jar com.glabeling.GlabelingInfoTopology?-N 2?-C /tmp/glabeling.xml?> /tmp/storm.logs
3、過程中,對(duì)zookeeper作用記錄下:
Storm中使用Zookeeper主要用于Storm集群各節(jié)點(diǎn)的分布式協(xié)調(diào)工作,具體功能如下:
(1)存儲(chǔ)客戶端提供的topology任務(wù)信息,nimbus負(fù)責(zé)將任務(wù)分配信息寫入Zookeeper,supervisor從Zookeeper上讀取任務(wù)分配信息;
(2)存儲(chǔ)supervisor和worker的心跳(包括它們的狀態(tài)),使得nimbus可以監(jiān)控整個(gè)集群的狀態(tài), 從而重啟一些掛掉的worker;
(3)存儲(chǔ)整個(gè)集群的所有狀態(tài)信息和配置信息。
總結(jié)
以上是生活随笔為你收集整理的在线实时大数据平台Storm本地模式运行的一个小发现的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java解码网页表单post内容小记
- 下一篇: shell一段脚本的一点经验(实时文件流