2019獨角獸企業重金招聘Python工程師標準>>>

TimeTunnel在做消息分發時有這樣一個場景:

A類消息需要做實時分析, 且量很大, 故它的消費者不會只是一臺機器, 而是一組機器, 并要求這組中每臺機器收到的消息量應該平均的, ?即A消息在某個時刻有100條, ?若有4臺機器消費的話, 最佳的情況每臺機器應收到25條.

這個場景就好比, 一個消息隊列, 有多個線程并行消費, 如何保證每個消費線程獲取的消息數量一樣的.

解決它的切入點可能有兩個:

消費線程拉的方式, 這就需要一個協調器, ?來同步每個消費線程的進度, 即每個消費線程每次拉完都需要詢問協調器是否可以繼續;

單一線程推的方式, 創建一組與消費線程數量一致的二級隊列(即每個消費線程僅從與之綁定的隊列中取); ?獨立一個分派線程, 它從一級隊列里取消息, 然后輪轉的推給每個二級消費隊列.

這兩條思路各有優缺點, 要視系統在時間和空間上的取舍而定.?TimeTunnel?選擇了第一種方式, 實現分了三步...

更多內容, 請見http://www.tbdata.org/archives/1579.

已有 0 人發表留言，猛擊->>這里<<-參與討論


JavaEye推薦

• —軟件人才免語言低擔保 赴美帶薪讀研！—

轉載于:https://my.oschina.net/zhongl/blog/13881

總結

以上是生活随笔為你收集整理的消息分发的同步均衡策略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。