1、elk 是什么 ？

? ? ?Elastic Stack（舊稱ELK Stack），是一種能夠從任意數據源抽取數據，并實時對數據進行搜索、分析和可視化展現的數據分析框架。（hadoop同一個開發人員）

? ? ?java 開發的開源的全文搜索引擎工具

? ? ?基于lucence搜索引擎的

? ? ?采用 restful - api 標準的

? ? ?高可用、高擴展的分布式框架

? ? ?實時數據分析的

? ? ?官方網站：?https://www.elastic.co/products?

?

2、為什么要用elk？

? ? ?服務器眾多，組件眾多，日志眾多

? ? ?發現問題困難，技能要求高

? ? ?

? ? ?業務場景：《實時日志分析展現》

? ? ?日志主要包括系統日志、應用程序日志和安全日志。

? ? ?系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。

? ? ?通常，日志被分散的儲存不同的設備上。如果你管理數十上百臺服務器，你還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。

? ? ?當務之急我們使用集中化的日志管理，例如：開源的?syslog?，將所有服務器上的日志收集匯總。

? ? ?集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用?grep?、?awk和?wc?等?Linux?命令能實現檢索和統計，

? ? ?但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

? ? ?開源實時日志分析?ELK?平臺能夠完美的解決我們上述的問題，?ELK?由?ElasticSearch?、?Logstash?和?Kiabana?三個開源工具組成。

?

3、體系架構

?

?

工作原理如下如所示：

?

在需要收集日志的所有服務上部署?logstash?，其中 logstash agent?（?logstash shipper?）用于監控并過濾收集日志，將過濾后的內容發送到?logstash indexer?，?logstash indexer?將日志收集在一起交給全文搜索服務?ElasticSearch?，

可以用?ElasticSearch?進行自定義搜索

通過?Kibana?來結合自定義搜索進行頁面展示。

?

3、elk的技術架構

? ? ?gateway：hdfs、Amazon S3、Local FileSystem、Shared FileSystem

? ? ?Index module、Search module、 Mapping、River（引入異構數據的插件機制：RabbitMQ-River、Twitter-River）

? ? ?zen和ec2---zk、scripting（mvel、python、js等）

? ? ?第三方插件（Head、）

? ? ?Transport（Thrift、Memcached、Http）

? ? ?Java（Netty）

? ? ?restful 和?curl

?

4、elk的基本概念

? ? ?node 和?cluster

? ? ?index（數據庫）->type（表）->document（行）->field （字段）

? ? ?shards 分片

? ? ?replicas 復制

?

5、其他全文搜索

? ? ?Solr：文本支持強，html、pdf、word、excel、cvs

? ? ?Elasticsearch：實時數據分析，支持json格式

? ? ?splunk：

?

6、resftful風格

7、curl

? ? ?curl www.baidu.com

? ? ?curl -o baidu.txt www.baidu.com

? ? ?curl -O www.baidu.com/xxx.html

? ? ?curl -i ? www.baidu.com 顯示HTTP頭信息

? ? ?curl -v ?www.baidu.com 顯示過程

? ???curl -X GET/PUT/POST/DELETE www.baidu.com

?

8、查看官方api

? ? ?單模式：

? ? ?多模式：

?

總結

以上是生活随笔為你收集整理的ELK学习总结（1-1）ELK是什么的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。