一、Storm并發(fā)機制

• Worker processes
• Executors (threads)
• Tasks

• Worker – 進程

一個Topology拓撲會包含一個或多個Worker（每個Worker進程只能從屬于一個特定的Topology）

這些Worker進程會并行跑在集群中不同的服務器上，即一個Topology拓撲其實是由并行運行在Storm集群中多臺服務器上的進程所組成

• Executor – 線程

Executor是由Worker進程中生成的一個線程

每個Worker進程中會運行拓撲當中的一個或多個Executor線程

一個Executor線程中可以執(zhí)行一個或多個Task任務（默認每個Executor只執(zhí)行一個Task任務），但是這些Task任務都是對應著同一個組件（Spout、Bolt）。

• Task

實際執(zhí)行數(shù)據(jù)處理的最小單元

每個task即為一個Spout或者一個Bolt

• Task數(shù)量在整個Topology生命周期中保持不變，Executor數(shù)量可以變化或手動調整
• （默認情況下，Task數(shù)量和Executor是相同的，即每個Executor線程中默認運行一個Task任務）?

---

二、Storm 通信機制?

• Worker進程間的數(shù)據(jù)通信

ZMQ ZeroMQ 開源的消息傳遞框架，并不是一個MessageQueue

Netty Netty是基于NIO的網絡框架，更加高效。（之所以Storm 0.9版本之后使用Netty，是因為ZMQ的license和Storm的license不兼容。）

• Worker內部的數(shù)據(jù)通信

Disruptor 實現(xiàn)了“隊列”的功能。 可以理解為一種事件監(jiān)聽或者消息處理機制，即在隊列當中一邊由生產者放入消息數(shù)據(jù)，另一邊消費者并行取出消息數(shù)據(jù)處理。

Storm 通信機制 -- Worker內部的消息傳遞機制?

?

?

?

總結

以上是生活随笔為你收集整理的Storm 05_Storm并发机制通信机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。