Storm反压机制
2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>
1、https://issues.apache.org/jira/browse/STORM-886
????? https://github.com/apache/storm/pull/700
storm1.0.0之前 Spout tuples 不使用message id, TOPOLOGY_MAX_SPOUT_PENDING是不生效的。
即之適用ack模式拓?fù)?/p>
新的反壓機(jī)制
- worker executor的接收隊列大于高水位,通知反壓線程?
- worker反壓線程通知zookeeper,executor繁忙事件?
- 所有worker監(jiān)聽zookeeper executor繁忙的事件?
- worker spouts降低發(fā)送tuple速度?
默認(rèn)為false,只需要設(shè)置這里即可,可以適用任意拓?fù)洹?/p>
轉(zhuǎn)載于:https://my.oschina.net/chuibilong/blog/865258
與50位技術(shù)專家面對面20年技術(shù)見證,附贈技術(shù)全景圖總結(jié)
- 上一篇: PHP配置文件详解php.ini
- 下一篇: 企业安全建设之浅谈数据防泄露