Storm 1.0.1发布 .NET 适配也已到来
Apache Storm 1.0.0剛發布不久,1.0.1版本也在幾天前到來;該版本主要是完成一些BUG修復和小的改進,通過一段時間新版本的使用,特將個人感受和一些遇到的問題歸納如下;另外 .NET 版本的 Storm 適配器也已經發布,源碼在?storm-net-adapter,如果你希望便捷的體驗Storm 1.0.1,可以通過 Docker 來部署,地址在:storm-mono-docker,該鏡像已經集成了Mono,你也可以查看我之前的文章來詳細了解。
下圖是使用 Docker 部署的 .NET 版的 Wordcount 的 Storm UI:
通過圖片我們可以看到,Topology 和 Supervisor 都增加了內存的占用字段,Nimbus 也支持多主機配置了,詬病多年的單 Nimbus 造成的穩定性隱患也終于得到解決。原有的配置項從?nimbus.host?換成了?nimbus.seeds,但實際測試如果你沒有修改過來的話也只會出現警告,并不會崩潰。
但是 Windows 版本的安裝就會有些狀況了,首先是 log4g2 的配置問題,原本邏輯的將 %STORM_HOME% 拼接在前面的邏輯并沒有生效,你需要在 conf/storm.yaml 中配置日志配置文件的路徑,類似:
storm.log4j2.conf.dir: "X:/Storm/apache-storm-last/log4j2"然后你需要使用管理員權限運行命令,相關的資料你可以查看?windows-users-guide。
另外 Storm 的安全機制也有了很大的提升,詳細信息我會在后續專門翻譯介紹,你也可以查看?SECURITY?了解。storm jar 的遠程提交在上面提供的 Docker 鏡像中暫時還無法使用,可能和安全機制的提交也有關系。
總體來說,Storm 的發展速度和方向都是符合我的個人預期的,新版本的文檔目前還不夠完善,建議大家先折騰一段時間踩踩坑再上生產環境。學習的話就直接從 1.0 版本開始吧。
好了,本文就先介紹到這里。歡迎大家關注我的公眾號,現在開始接受外部投稿,如果你有 Storm,?Spark 等流式框架或者 Tensflow 等機器學習框架以及 NLP 自然語言處理相關的文章愿意在本公眾號發布,歡迎在公眾號和我留言!
相關網址:
storm-net-adapter:?
https://github.com/ziyunhx/storm-net-adapter
storm-mono-docker:?
https://github.com/ziyunhx/storm-mono-docker
windows-users-guide:
https://github.com/apache/storm/blob/master/docs/windows-users-guide.md
SECURITY:
http://storm.apache.org/releases/1.0.1/SECURITY.html
本文來自?The NewIdea,作者 Carey Tzou 。
永久地址:http://www.tnidea.com/dot-net-storm-adapter-upgrade-to-support-1.0.1.html
未經授權,拒絕任何全文及摘要轉載!
內容轉載自公眾號
dotNet大數據 了解更多總結
以上是生活随笔為你收集整理的Storm 1.0.1发布 .NET 适配也已到来的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微软将降低Visual Studio对操
- 下一篇: .NET Core全新的配置管理[共9篇