一、問題描述

? ? ? ?2019-02-19 08:44左右，實時計算服務重啟，報錯顯示找不到zk集群的leader節點，同時ZooKeeper集群有告警顯示連接超時：

　　指標[連接耗時(ms)=18221]符合告警規則[連接耗時(ms)>=3000]

?

二、排查過程

查看當前集群狀態，集群狀態正常，查看報“連接超時”的zk節點日志，發現有shutdown情況，表明作為follower的zk server在一段時間內會停止工作；

? ? ? ? ??

? ? ?2. 繼續查看zk運行日志，發現有大量的fsync的告警，說明ZooKeeper將數據存入磁盤慢，導致ZooKeeper節點間心跳超時，進而ZooKeeper實例異常；
? ? ? ?

? ? 3.? 查看磁盤劃分情況和zk data路徑，發現zk數據盤沒有單獨劃分，而且機器是老機器，zk數據量增大，磁盤IO性能跟不上；

? ? ? ?

? ? ? ?? ? ? ??

三、根因分析

“FOLLOWER”在跟“LEADER”同步時，fsync操作時間過長，導致超時。

四、解決方法

根本解決： 掛載新的磁盤到zk節點機器上，提高磁盤IO性能，根本上解決fsync超時問題；

? ? ? ? ?2. 臨時規避： 增大zk中tickTime、syncLimit?配置參數，需要重啟節點，可以一臺一臺操作。

轉載于:https://www.cnblogs.com/lwhctv/p/10408295.html

總結

以上是生活随笔為你收集整理的Zookeeper：fsync超时导致实例异常的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。