filebeat

官方文檔

配置文件 filebeat.yml

filebeat.inputs:# Each - is an input. Most options can be set at the input level, so # you can use different inputs for various configurations. # Below are the input specific configurations.- type: log# Change to true to enable this input configuration.enabled: true# Paths that should be crawled and fetched. Glob based paths.paths:- /var/log/testlog/*.log# 由于是入門，其他配置暫且忽略 ，將讀取到的日志信息，輸出給logstash output.logstash:# The Logstash hostshosts: ["192.168.153.129:5044"]

啟動filebeat

./filebeat -e -c filebeat.yml -d 'publish'

如果遇到下面的情況導致沒法讀取傳輸數據

INFO最近30秒鐘內沒有非零指標
我們可以刪除注冊表文件registry，注冊表文件存儲了Filebeat用來跟蹤其最后讀取位置的狀態和位置信息

刪除（備份）后，重啟filebeat即可。

下邊是正常工作

logstash

官網
第三方配置詳解
常用的logstash正則表達式規則
logstash 可以對filebeat 發來的數據進行格式化或過濾，還可以發送給其他服務。

首先我們需要創建一個配置(在logstash 根目錄)

vim kafka-config.conf

由于我們這個案例輸出給的是kafka，所以我們需要基本配置一下

input {# 這是filebeat 發送數據接收的端口beats {port => "5044"}}output {# kafka的配置kafka {codec => jsontopic_id => "test-logstash"# kafka 所在的主機及端口bootstrap_servers => "192.168.201.209:9092"batch_size => 1} }

啟動logstash

bin/logstash -f kafka-config.conf

kafka

創建測試 topic （最好在filebeat 和 logstash 啟動前創建好，并啟動kafka）

# 測試的kafka我是放在windows上的 kafka-topics.bat --create --bootstrap-server localhost:9092 --topic test-logstash

啟動 kafka Tools ，查看數據

總結

以上是生活随笔為你收集整理的filebeat + logstash 发送日志至kafka 入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。