2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介
全網最詳細的大數據ELK文章系列,強烈建議收藏加關注!?
新文章都已經列出歷史文章目錄,幫助大家回顧前面的知識重點。
目錄
系列歷史文章?
一、簡介
二、ELK 協議棧介紹及體系結構
三、集中式日志協議棧組件功能簡介
系列歷史文章
2021年大數據ELK(六):安裝Elasticsearch
2021年大數據ELK(五):Elasticsearch中的核心概念
2021年大數據ELK(四):Lucene的美文搜索案例
2021年大數據ELK(三):Lucene全文檢索庫介紹
2021年大數據ELK(二):?Elasticsearch簡單介紹
2021年大數據ELK(一):集中式日志協議棧Elastic Stack簡介
一、簡介
日常工作中會面臨很多問題,處理問題時候。怎么解決問題?
- 通過工作經驗,迅速判斷問題出在哪。
- 通過日志
- 系統日志:/var/log 目錄下的問題的文件
- 程序日志:?代碼日志(項目代碼輸出的日志)
- 服務應用日志
nginx、HAproxy、lvstomcat、php-fpmredis、mysql、mongoRabbitMq、kafkaGlusterfs、HDFS、NFS等等
通過日志排除,發現問題根源解決問題
如果1臺或者幾臺服務器,我們可以通過 linux命令,tail、cat,通過grep、awk等過濾去查詢定位日志查問題
但是如果幾十臺、甚至幾百臺。通過這種方式肯定不現實。
怎么辦?
一些聰明人就提出了建立一套集中式的方法,把不同來源的數據集中整合到一個地方。
一個完整的集中式日志系統,是離不開以下幾個主要特點的。
- 收集-能夠采集多種來源的日志數據
- 傳輸-能夠穩定的把日志數據傳輸到中央系統
- 存儲-如何存儲日志數據
- 分析-可以支持 UI 分析
- 警告-能夠提供錯誤報告,監控機制
二、ELK 協議棧介紹及體系結構
ELK其實并不是一款軟件,而是一整套解決方案,是三個軟件產品的首字母縮寫,Elasticsearch,Logstash?和?Kibana。這三款軟件都是開源軟件,通常是配合使用,而且又先后歸于 Elastic.co 公司名下,故被簡稱為ELK協議棧。
三、集中式日志協議棧組件功能簡介
- ElasticSearch : 主要是用于做全文檢索功能、數據的存儲和數據的查詢?
- Logstash: ?主要是用于進行數據的傳遞采集工作,將數據從一個地方 搬運到另一個地方去
- Kibana : ?主要是用于 圖標報表展示 以及 數據探索
- Beats : 主要是用于進行數據的寫入工作
- 📢博客主頁:https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
- 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
- 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?
總結
以上是生活随笔為你收集整理的2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021年大数据Kafka(十二):❤️
- 下一篇: 2021年大数据ELK(二):Elast