目錄

1.簡介

2.下載

3.直接輸出到ElasticSearch

4.輸出到Logstash

5.更改nginx日志路徑

6.logstash負載均衡

7.日志文件直接作為輸入

---

1.簡介

FileBeat用于文件數據采集并輸出到ElasticSearch或Logstash中。

ELK搭建過程參見： ELK搭建及Java程序接入

2.下載

下載FileBeats OSS 7.2.1版本
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.2.1-linux-x86_64.tar.gz

tar xzvf filebeat-oss-7.2.1-linux-x86_64.tar.gz
cd filebeat-7.2.1-*
#啟用nginx模塊
./filebeat modules enable nginx

3.直接輸出到ElasticSearch

#設置初始環境
./filebeat setup -e

此時報錯連接不上kibana
instance/beat.go:877?? ?Exiting: error connecting to Kibana: fail to get the Kibana version: HTTP GET request to http://localhost:5601/api/status fails: fail to execute the HTTP GET request: Get http://localhost:5601/api/status: dial tcp [::1]:5601: connect: connection refused. Response: .
Exiting: error connecting to Kibana: fail to get the Kibana version: HTTP GET request to http://localhost:5601/api/status fails: fail to execute the HTTP GET request: Get http://localhost:5601/api/status: dial tcp [::1]:5601: connect: connection refused. Response: .

修改連接kibana的配置
vi filebeat.yml
setup.kibana:
? host: "192.168.81.145:5601"

重新設置初始環境

#運行filebeat
./filebeat -e

#附：靜默運行
nohup ./filebeat -e > service.out&

此時
kibana中就有了filebeat-*索引，可以看到日志數據

多跑一些數據，打開kibana的Dashboard，選擇filebeat給創建的[Filebeat Nginx] Overview ECS，可以看到如下頁面，地圖展示、柱狀圖餅圖統計等均有。

?

4.輸出到Logstash

vi filebeat.yml
output.logstash:
? hosts: ["localhost:5044"]
把以下兩個配置節注釋掉
setup.kibana:
output.elasticsearch:

重啟filebeat后，nginx訪問日志會寫入到logstash中，但此時logstash寫入elasticsearch會報錯：failed to parse field [host] of type [text] in document with id 'E0lsjW4BTdp_eLcgfhbu'
看elasticsearch日志發現此時host為一個json對象，需要變為字符串才行
修改配置，添加過濾器，把host.name賦值為host
vi config/logstash.conf
filter {
? mutate {
? ? rename => { "[host][name]" => "host" }
? }
}

重啟后即可

5.更改nginx日志路徑

vi modules.d/nginx.yml
- module: nginx
? access:
? ? enabled: true
? ? var.paths: ["/path/to/log/nginx/access.log*"]
? error:
? ? enabled: true
? ? var.paths: ["/path/to/log/nginx/error.log*"]

6.logstash負載均衡

注意要加loadbalance: true
output.logstash:
? hosts: ["localhost:5044", "localhost:5045"]
? loadbalance: true

7.日志文件直接作為輸入

vi filebeat.yml
- type: log
? enabled: true
? paths:
? ? - /root/*.log

在/root/目錄下新建1.log、2.log隨便寫幾行日志，filebeat重啟后即可入到elasticsearch中。
啟動后再增加3.log或往已有的1.log中加日志均可入到elasticsearch中。

總結

以上是生活随笔為你收集整理的ELK套件FileBeat部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。