一、Storm 計算模型

• Topology – DAG有向無環圖的實現

對于Storm實時計算邏輯的封裝

即，由一系列通過數據流相互關聯的Spout、Bolt所組成的拓撲結構

生命周期：此拓撲只要啟動就會一直在集群中運行，直到手動將其kill，否則不會終止 ? ? （區別于MapReduce當中的Job，MR當中的Job在計算執行完成就會終止）

• Tuple – 元組

Stream中最小數據組成單元

• Stream – 數據流

從Spout中源源不斷傳遞數據給Bolt、以及上一個Bolt傳遞數據給下一個Bolt，所形成的這些數據通道即叫做Stream

Stream聲明時需給其指定一個Id（默認為Default）

實際開發場景中，多使用單一數據流，此時不需要單獨指定StreamId?

• Spout – 數據源

拓撲中數據流的來源。一般會從指定外部的數據源讀取元組（Tuple）發送到拓撲（Topology）中

一個Spout可以發送多個數據流（Stream）? ?—— 可先通過OutputFieldsDeclarer中的declare方法聲明定義的不同數據流，發送數據時通過SpoutOutputCollector中的emit方法指定數據流Id（streamId）參數將數據發送出去

Spout中最核心的方法是nextTuple，該方法會被Storm線程不斷調用、主動從數據源拉取數據，再通過emit方法將數據生成元組（Tuple）發送給之后的Bolt計算

• Bolt – 數據流處理組件

拓撲中數據處理均有Bolt完成。對于簡單的任務或者數據流轉換，單個Bolt可以簡單實現；更加復雜場景往往需要多個Bolt分多個步驟完成

一個Bolt可以發送多個數據流（Stream）? —— 可先通過OutputFieldsDeclarer中的declare方法聲明定義的不同數據流，發送數據時通過SpoutOutputCollector中的emit方法指定數據流Id（streamId）參數將數據發送出去

Bolt中最核心的方法是execute方法，該方法負責接收到一個元組（Tuple）數據、真正實現核心的業務邏輯

• Stream Grouping – 數據流分組（即數據分發策略）?

二、Storm WordCount

?

總結

以上是生活随笔為你收集整理的Storm 02_Storm 计算模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。