序言

Elasticsearch 是一個實時的分布式搜索分析引擎。Teambition 使用 Elastisearch 作為搜索引擎，為用戶提供搜索服務(wù)，當(dāng)我們決定存儲某種數(shù)據(jù)時，我們需要使用PUT /teambition創(chuàng)建索引，在創(chuàng)建索引的時候需要將數(shù)據(jù)結(jié)構(gòu)完整確定下來，于此同時索引的設(shè)定和很多固定配置將用不能改變。當(dāng)需要改變數(shù)據(jù)結(jié)構(gòu)時，就需要重新建立索引，為此，Elastic團(tuán)隊提供了很多輔助工具幫助開發(fā)人員進(jìn)行重建索引。

決定是否需要重建？

重建時相當(dāng)痛苦的，如果沒有很好的基礎(chǔ)，服務(wù)可能中斷，當(dāng)數(shù)據(jù)量非常大時，重建恢復(fù)時間可能很長，甚至在重建過程中出錯等等。所以，沒有萬不得已的情況下還是盡量避免重建索引。Teambition 重建索引的理由略，因為這并不重要。

使用正確的工具

kibana 是 Elasticsearch 的最佳拍檔，從 ES 5.0 開始，Kibana 強(qiáng)大的功能能夠替代幾乎所有舊時代 ES 1.x 和 ES 2.x 的插件。關(guān)鍵是人家還是免費(fèi)的！

先決條件

正在運(yùn)行的服務(wù)必須使用別名(alias)來訪問索引(index)，原因很簡單，搜索服務(wù)最終要使用重建的索引，原始的索引將被刪除。如果你的服務(wù)正在直接使用索引名，在重建前創(chuàng)建別名，更新服務(wù)。

POST /_aliases {"actions": [{"add": {"index": "teambition", // 原有索引"alias": "teambition_latest" // 服務(wù)的別名}}] } 復(fù)制代碼

先決條件2

記得查看 Elasticsearch 的 Disk Usage，如果不夠，請先申請好足夠的空間。

創(chuàng)建新索引

和創(chuàng)建普通索引一樣創(chuàng)建新索引。這里值得一提的時，當(dāng)數(shù)據(jù)量很大的時候，需要設(shè)置刷新時間間隔，在此期間寫入的數(shù)據(jù)不能搜到，從而提高重建速度：refresh_intervals = -1, number_of_replicas = 0。實踐告訴我，大概會提高100% ~ 400%的提升。

PUT /teambition_20180328 {"settings": {...},"mapping": {...} } 復(fù)制代碼

記錄同步數(shù)據(jù)的偏移值(offset)

Teambition使用Kafka把MongoDB中的數(shù)據(jù)導(dǎo)入到Elasticsearch中，如果沒有kafka，亦可讀取oplog的數(shù)據(jù)寫入Elasticsearch。無論使用哪種同步數(shù)據(jù)的方式，都需要記錄同步數(shù)據(jù)的offset。重建索引可能非常耗時，在這段時間內(nèi)，同步進(jìn)程仍然在向舊索引更新數(shù)據(jù)，此時重建索引是無法更新這些新數(shù)據(jù)的。這里記錄的方法就不多說了，Teambition 使用 kafka-admin 的API記錄 offset。

開始重建索引

使用 Elasticsearch 團(tuán)隊提供的 reindex api 就可以將數(shù)據(jù) copy 到新索引中。這里幾條路可以選：

當(dāng)只是改變 mapping 數(shù)據(jù)結(jié)構(gòu)時，可以僅僅使用 reindex api 即可。例如：刪除字段，更新字段分詞方式等。

當(dāng)需要寫入新的字段，新的字段是由老的字段計算得到時，可以使用script參數(shù)。例如，計算某條數(shù)據(jù)某字段的總和。script 有很多坑，當(dāng) script 出錯時，reindex 跑了很久之后失敗，即使將數(shù)據(jù)恢復(fù)，也需要重新跑 reindex。

當(dāng)含有很復(fù)雜的邏輯時，額，還是自己寫程序吧。

調(diào)用 reindex 接口，接口將會在 reindex 結(jié)束后返回，而接口返回超時只有30秒，如果 reindex 時間過長，建議加上wait_for_completion=false的參數(shù)條件，這樣 reindex 將直接返回taskId

POST _reindex?wait_for_completion=false {"source": {"index": "teambition"},"dest": {"index": "teambition_20180328"},"script": {...} } 復(fù)制代碼

重建索引中

重建索引非常耗時，喝杯咖啡歇一會兒吧（順便去打個球，睡個覺，旅個游）。

在沒有設(shè)置 refresh_intervals 和 number_of_replicas 時，reindex 的速度在 500~1000 doc/sec, 如果包含 script 時可能會更低。設(shè)置之后，可以到 4000~8000 doc/sec。 Teambition 70M Documents 大概耗時4小時。

可以使用GET _tasks/{taskID}可以看到重建進(jìn)程，其中包含耗時，剩余doc數(shù)量等信息。

如果發(fā)現(xiàn)錯誤，可以使用PUT _tasks/{taskID}/cancel接口放棄任務(wù)，從頭再來。

恢復(fù)同步數(shù)據(jù)

重建索引結(jié)束后，別忘了在setting中的將number_of_replicas和refresh_intervals設(shè)為原有值. 啟動新的同步索引的進(jìn)程（從記錄 offset 開始同步）

建立新的alias

需要在同時綁定建立的新索引以及解綁舊索引，語句如下：

POST _aliases {"actions": [{"add": {"index": "teambition_20180328","alias": "teambition_latest"}}, {"remove": {"index": "teambition","alias": "teambition_latest"}}] } 復(fù)制代碼

刪掉index

刪除舊的 index，釋放磁盤空間；停止原有同步進(jìn)程。

DELETE teambition 復(fù)制代碼

總結(jié)

修改索引真的是一件費(fèi)時費(fèi)力的工作，特別是如果發(fā)生了錯誤，整個人都不好了。所以還是在創(chuàng)建索引的時候盡量想好能否滿足需求，當(dāng)然大家都知道這幾乎是不可能的，因為存在著萬惡的產(chǎn)品經(jīng)理。

這里還有一個很重要的內(nèi)容沒有詳細(xì)介紹就是同步進(jìn)程，前面提到同步進(jìn)程是將 MongoDB 的數(shù)據(jù)同步到 ES 中去的程序，這個程序同時還需要有能力暫停同步，重復(fù)同步的等能力。

總結(jié)

以上是生活随笔為你收集整理的教你如何在 elasticsearch 中重建索引的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。