使用flume-ng聚合双活Nginx日志
前不久使用Keepalived搭建了Nginx雙活代理服務器，以達到一個公網IP后支持多個云主機的多個域名網站的目的。完成后又想在這雙活的Nginx上有所有訪問網站的日志，之前有了解過Google Analytics, 及一些日志分析系統。后來終于找到并部署了幾個開源的分析系統，包括AWStats，JAWStats及Piwik。使用它發現有一個問題比較煩，就是如何將2個Nginx的日志發送到分析服務器后合并分析。
一、需求
合并多臺服務器同一域名網站的訪問日志后，定時導入網站分析系統，生成網站分析數據。
二、技術方案
前后想了很多方法，包括自已寫腳本加入Cron定時發送到分析服務器,Fluentd日志收集系統等許多方法，最終選定使用flume-ng完成該了該任務，相對其它來說我覺得他應是安裝配置最簡單的一種方法。
1.在分析服務器上安裝flume-ng,用以日志收集。首先安裝JDK（完成后記住配置JAVA_HOME等環境變量）.下載flume-ng最新版后解壓后即可使用。使用前添加收集服務器配置，示例如下：
collector1.sources = AvroIn
collector1.sources.AvroIn.type = avro
collector1.sources.AvroIn.bind = 0.0.0.0
collector1.sources.AvroIn.port = 4545
collector1.sources.AvroIn.channels = mc1 collector1.channels = mc1
collector1.channels.mc1.type = memory
collector1.channels.mc1.capacity = 100 collector1.sinks = LocalOut collector1.sinks.LocalOut.type = file_roll
collector1.sinks.LocalOut.sink.directory = /var/log/flume/collector1
collector1.sinks.LocalOut.sink.rollInterval = 0
collector1.sinks.LocalOut.channel = mc1
完成后運行：
bin/flume-ng agent -c conf -f /etc/flume/conf/collector1.conf -n collector1
完成后即系統即會在端口4545收集日志數據，寫入指定的目錄文件中。
2.在Nginx服務器同1中安裝好JDK并解壓flume-ng后，同樣新建一Nginx日志發送配置，示例如下：
agent1.sources = ngrinder
agent1.sources.ngrinder.type = exec
agent1.sources.ngrinder.command = tail -F /var/log/nginx/otrs/access.log
agent1.sources.ngrinder.channels = mc1 agent1.channels = mc1
agent1.channels.mc1.type = memory
agent1.channels.mc1.capacity = 100 agent1.sinks = avro-sink agent1.sinks.avro-sink.type = avro
agent1.sinks.avro-sink.channel = mc1
agent1.sinks.avro-sink.hostname = 172.22.2.203
agent1.sinks.avro-sink.port = 4545
3.啟動收集日志。
bin/flume-ng agent -c conf -f /etc/flume/conf/agent1.conf -n agent1
完成后，訪問你要收集網站訪問日志的網站，然后到收集服務器上，到配置好的日志收集目錄，您將可以看到相關日志。
4.將收集到的日志定時給AWStats分析，以完成網站訪問分析。運行：crontab -e添加：
* * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxx.com
使每天凌晨1點分析日志。
總結
以上是生活随笔為你收集整理的使用flume-ng聚合双活Nginx日志的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 创削器内窥镜手术设备机械特性测试仪使用方
- 下一篇： bzoj 1635: [Usaco200