1、問題引出

以下兩個導(dǎo)出問題來自Elastic中文社區(qū)。

問題1、kibana怎么導(dǎo)出查詢數(shù)據(jù)？

問題2：elasticsearch數(shù)據(jù)導(dǎo)出

就像數(shù)據(jù)庫數(shù)據(jù)導(dǎo)出一樣，elasticsearch可以么?

或者找到它磁盤上存放數(shù)據(jù)的位置，拷貝出來，放到另一個es服務(wù)器上或者轉(zhuǎn)成自己要的數(shù)據(jù)格式？

實(shí)際業(yè)務(wù)實(shí)戰(zhàn)中，大家或多或少的都會遇到導(dǎo)入、導(dǎo)出問題。根據(jù)數(shù)據(jù)源的不同，基本可以借助：

• 1、程序?qū)懭?
• 2、數(shù)據(jù)同步

logstash/flume/cana/es_hadoopl等來實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫（如：Oracle、mysql）、非關(guān)系型數(shù)據(jù)庫（如：Mongo、Redis）、大數(shù)據(jù)（Hadoop、Spark、Hive）到Elasticsearch的寫入。

而數(shù)據(jù)的導(dǎo)出，一部分是業(yè)務(wù)場景需要，如：業(yè)務(wù)系統(tǒng)中支持檢索結(jié)果導(dǎo)出為CSV、Json格式等。

還有一部分是分析數(shù)據(jù)的需求：期望借助Kibana工具將儀表盤聚合結(jié)果導(dǎo)出、不需要借助程序盡快將滿足給定條件的結(jié)果數(shù)據(jù)導(dǎo)出等。

這些快速導(dǎo)出的需求，最好借助插件或者第三方工具實(shí)現(xiàn)。

本文將重點(diǎn)介紹Kibana/Elasticsearch高效導(dǎo)出的插件、工具集。

2、期望導(dǎo)出數(shù)據(jù)格式

一般期望導(dǎo)出：CSV、Json格式。

3、Kibana導(dǎo)出工具

3.1 Kibana 官方導(dǎo)出

步驟1：點(diǎn)擊Kibana；步驟2：左側(cè)選擇數(shù)據(jù)，篩選字段；步驟3：右側(cè)點(diǎn)擊：share->csv reports。步驟4：菜單欄：選擇Management->Reporting->下載。

以上是kibana6.5.4的實(shí)操截圖。

其他常見報表數(shù)據(jù)導(dǎo)出：

在Dashboard的右上角點(diǎn)擊Inspect，再點(diǎn)擊就可以導(dǎo)出對應(yīng)可視化報表對應(yīng)的數(shù)據(jù)。

3.2 數(shù)據(jù)透視表pivot-kibana

Kibana的數(shù)據(jù)透視表——使用Kibana UI中的任何其他工具一樣使用數(shù)據(jù)透視表可以極大地簡化數(shù)據(jù)工作。

Flexmonster Pivot可以交叉和快速地匯總業(yè)務(wù)數(shù)據(jù)并以交叉表格式顯示結(jié)果。

地址：https://github.com/flexmonster/pivot-kibana/

篩選數(shù)據(jù)效果如下：

注意：建議7.X以上版本使用。低版本不支持。

4、Elasticsearch導(dǎo)出工具

4.1 es2csv

1、簡介：用Python編寫的命令行實(shí)用程序，用于以Lucene查詢語法或查詢DSL語法查詢Elasticsearch，并將結(jié)果作為文檔導(dǎo)出到CSV文件中。es2csv 可以查詢多個索引中的批量文檔，并且只獲取選定的字段，這可以縮短查詢執(zhí)行時間。

2、地址：https://pypi.org/project/es2csv/

3、使用方法：

1es2csv -u 192.168.1.1:9200 -q '{"_source":{"excludes":["*gxn",,"*kex","vperxs","lpix"]},"query":{"term":{"this_topic":{"value":41}}}}' -r -i sogou_topic -o ~/export.csv

4、使用效果：官方最新更新支持5.X版本，實(shí)際驗(yàn)證6.X版本也可以使用，導(dǎo)出效率高。

5、推薦指數(shù)：五星，

Elasticsearch導(dǎo)出CSV首選方案。

4.2 elasticsearch-dump

1、簡介：Elasticsearch導(dǎo)入導(dǎo)出工具。

支持操作包含但不限于：

1）、數(shù)據(jù)導(dǎo)出

• 導(dǎo)出索引、檢索結(jié)果、別名或模板為Json
• 導(dǎo)出索引為gzip
• 支持導(dǎo)出大文件切割為小文件
• 支持統(tǒng)一集群不同索引間或者跨索引數(shù)據(jù)拷貝

2）、數(shù)據(jù)導(dǎo)入

• 支持Json數(shù)據(jù)、S3數(shù)據(jù)導(dǎo)入Elasticsearch。

2、地址：

https://github.com/taskrabbit/elasticsearch-dump

3、使用方法：

1elasticdump 2 --input=http://production.es.com:9200/my_index 3 --output=query.json 4 --searchBody='{"query":{"term":{"username": "admin"}}}'

如上，將檢索結(jié)果導(dǎo)出為json文件。

更多導(dǎo)入、導(dǎo)出詳見github介紹。

4、使用效果：早期1.X版本沒有reindex操作，使用elasticdump解決跨集群數(shù)據(jù)備份功能。效果可以。

5、推薦指數(shù)：五星。

Elasticsearch導(dǎo)出json首選方案。

4.3 logstashoutputcsv

步驟1：安裝logstashoutputcsv工具：

1D:logstash-6.5.4bin>logstash-plugin.bat install logstash-output-csv 2Validating logstash-output-csv 3Installing logstash-output-csv 4Installation successful

步驟2：配置conf文件核心的：輸入input，輸出ouput，中間處理filter都在如下的配置文件中。

輸入：指定ES地址，索引，請求query語句；

輸出：csv輸出地址，輸出字段列表。

1input {2 elasticsearch {3 hosts => "127.0.0.1:9200"4 index => "company_infos"5 query => '6 {7 "query": {8 "match_all": {}9 } 10 } 11 ' 12 } 13} 14 15output { 16 csv { 17 # elastic field name 18 fields => ["no", "name", "age", "company_name", "department", "sex"] 19 # This is path where we store output. 20 path => "D:logstash-6.5.4exportcsv-export.csv" 21 } 22}

步驟3：執(zhí)行導(dǎo)出

1D:logstash-6.5.4bin>logstash -f ../config/logstash_ouput_csv.conf2Sending Logstash logs to D:/2.es_install/logstash-6.5.4/logs which is now configured via log4j2.properties3[2019-08-03T23:45:00,914][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified4[2019-08-03T23:45:00,934][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"6.5.4"}5[2019-08-03T23:45:03,473][INFO ][logstash.pipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>8, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}6[2019-08-03T23:45:04,241][INFO ][logstash.pipeline ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x34b305d3 sleep>"}7[2019-08-03T23:45:04,307][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}8[2019-08-03T23:45:04,740][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}9[2019-08-03T23:45:05,610][INFO ][logstash.outputs.csv ] Opening file {:path=>"D:/logstash-6.5.4/export/csv-export.csv"} 10[2019-08-03T23:45:07,558][INFO ][logstash.pipeline ] Pipeline has terminated {:pipeline_id=>"main", :thread=>"#<Thread:0x34b305d3 run>"}

地址：

https://medium.com/@shaonshaonty/export-data-from-elasticsearch-to-csv-caaef3a19b69

5、小結(jié)

根據(jù)業(yè)務(wù)場景選擇導(dǎo)出數(shù)據(jù)的方式。

您的業(yè)務(wù)場景有導(dǎo)出數(shù)據(jù)需求嗎？如何導(dǎo)出的？歡迎留言討論。

推薦閱讀：

《深入理解 Java 內(nèi)存模型》讀書筆記

面試-基礎(chǔ)篇

Spring Boot 2.0 遷移指南

SpringBoot使用Docker快速部署項(xiàng)目

為什么選擇 Spring 作為 Java 框架？

SpringBoot RocketMQ 整合使用和監(jiān)控

Spring Boot 面試的十個問題

使用 Spring Framework 時常犯的十大錯誤

SpringBoot Admin 使用指南

SpringBoot Kafka 整合使用

SpringBoot RabbitMQ 整合使用

Elasticsearch索引增量統(tǒng)計及定時郵件實(shí)現(xiàn)

Elasticsearch實(shí)戰(zhàn) | 必要的時候，還得空間換時間!干貨 |《從Lucene到Elasticsearch全文檢索實(shí)戰(zhàn)》拆解實(shí)踐

JVM面試問題系列：JVM 配置常用參數(shù)和常用 GC 調(diào)優(yōu)策略

Apache Flink 是如何管理好內(nèi)存的？

上篇好文：

ELK 實(shí)時日志分析平臺環(huán)境搭建

總結(jié)

以上是生活随笔為你收集整理的kibana 查看有多少索引库_干货 | Elasticsearch、Kibana数据导出实战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。