Storm精华问答 | 遇到这些错误日志该如何解决?
分布式的實時計算系統,能夠可信任的處理大量的流式數據,就好比Hadoop對于批量數據進行的處理一樣;通常來說,Hadoop能夠進行大批量數據的離線處理,但是在實時計算上的表現實在是不盡如人意;而Storm就可以擔當這部分的作用。
1
Q:在打包toplogy工程的時候,如果采用assembly方式,相關依賴如何配置?
A:對于相關的依賴的配置一般要這樣:?
wiki上說可以用<scope>compile</scope>。然后將storm依賴設置為runtime,貌似不行。?另外就是所有的依賴包將全部解壓,然后將所有依賴的配置和class文件生成一個文件。這個是通過<unpack>true</unpack>參數來控制的。
2
Q:在提交topology的時候有時可能出現如下異常:?如何解決?
A:這個主要因為conf_dir路徑設置不正確,在bin/storm腳本中需要加上這樣一句:?Python代碼 ?
3
Q:發布drpc?類型的topologies?到遠程集群時,出現空指針異常,連接drpc服務器失敗。
A:原因是未正確配置drpc?服務器地址。解決方法如下:
在conf/storm.yaml?文件中增加drpc?服務器配置,啟動配置文件中指定的所有drpc?服務。內容如下:
4
Q:客戶端調用drpc?服務時,worker?的日志中出現Failing?message,而bolt都未收到數據
錯誤日志如下所示:
A:原因是主機名,域名,hosts?文件配置不正確會引起這類錯誤。解決方法如下:
檢查并修改storm?相關機器的主機名,域名,hosts?文件。重啟網絡服務:service?networkrestart。重啟storm,再次調用drpc?服務,成功。Hosts?文件中必須包含如下
內容:
Q:Storm?啟動時報no?jzmq?in?java.library.path?錯誤
A:原因是找不到jzmq,默認情況下在執行install_zmq.sh?時,那些.so?文件安裝路徑在/usr/local/lib,但是實際安裝時可能裝在其他的路徑下了。解決方法如下:
在storm.yaml?中添加:
小伙伴們沖鴨,后臺留言區等著你!
關于Storm,今天你學到了什么?還有哪些不懂的?除此還對哪些話題感興趣?快來留言區打卡啦!留言方式:打開第XX天,答:……
同時歡迎大家搜集更多問題,投稿給我們!風里雨里留言區里等你~
福利
1、掃描添加小編微信,備注“姓名+公司職位”,加入【云計算學習交流群】,和志同道合的朋友們共同打卡學習!
2、公眾號后臺回復:白皮書,獲取IDC最新數據白皮書整理資料!
推薦閱讀:
微服務進階避坑指南 | 技術頭條
為什么給黑洞拍照需要這么長時間?
2019年技術盤點微服務篇(二):青云直上云霄?|?程序員硬核評測
“入職?6?年,新人工資高我?2?千”:老板不加錢,不是嫌你老
從沉迷游戲到沉迷編程,16?歲賺?20?萬美元!
救救中國?996?程序員!GitHub?近?230,000?Star、Python?之父伸張正義!
一個月修復20個漏洞獲23675美元賞金, 原來是黑客隊伍里出了無間道
真香,朕在看了!
總結
以上是生活随笔為你收集整理的Storm精华问答 | 遇到这些错误日志该如何解决?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 诺贝尔奖的奖金有多少 其实也不算是很高
- 下一篇: 蚂蚁借呗几点自动扣款 在还款时千万不要