《Flume日志收集与MapReduce模式》一2.2 Flume配置文件概览
本節書摘來自華章出版社《Flume日志收集與MapReduce模式》一書中的第2章,第2.2節,作者 [美] 史蒂夫·霍夫曼(Steve Hoffman)斯里納特·佩雷拉(Srinath Perera),更多章節內容可以訪問云棲社區“華章計算機”公眾號查看
2.2 Flume配置文件概覽
既然已經下載好了Flume,下面來花點時間看看如何配置代理。
Flume代理的默認配置提供者使用了一個簡單的鍵值對的Java屬性文件,你需要在啟動時向代理傳遞一個參數。由于可以在單個文件中配置多個代理,因此還需要額外傳遞一個代理標識符(叫作名字),這樣它就知道該使用哪個代理了。在給出的示例中,我只指定了一個代理,使用agent這個名字。
每個代理的配置都以下面這3個參數開始:
每個源、通道與接收器在該代理的上下文中也有一個唯一的名字。比如,如果不打算傳遞Apache訪問日志,我就可以定義一個名為access的通道。該通道的配置都以前綴agent.channels.access開頭。每個配置項都有一個type屬性,告訴Flume是哪種源、通道還是接收器。在該示例中,我們使用一個內存通道,其類型為memory。名為agent的代理中的名為access的通道的完整配置如下所示:
為源、通道與接收器指定的任何參數都會使用相同的前綴以額外屬性的方式添加進來。memory通道有一個capacity參數,標識它能持有的最大的Flume事件數量。假如我們不想使用100這個默認值,那么配置文件將會如下所示:
最后,我們需要將access通道名添加到agent.channels屬性中,這樣代理就會加載它了:
下面來看看使用標準“Hello World”的完整示例。
總結
以上是生活随笔為你收集整理的《Flume日志收集与MapReduce模式》一2.2 Flume配置文件概览的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 棋盘上的数学里程碑
- 下一篇: 《Docker进阶与实战》——3.2节使