一、相關算法研究

1.1 常見的開源算法

• Yahoo：EGADS
• FaceBook：Prophet
• Baidu：Opprentice
• Twitter：Anomaly Detection
• Redhat：hawkular
• Ali+Tsinghua：Donut
• Tencent：Metis
• Numenta：HTM
• CMU：SPIRIT
• Microsoft：YADING
• Linkedin：SAX改進版本
• Netflix：Argos
• NEC：CloudSeer
• NEC+Ant：LogLens
• MoogSoft：一家創業公司，做的內容蠻好的，供大家參考

1.2 基于統計方法的異常檢測

基于統計方法對時序數據進行不同指標（均值、方差、散度、峰度等）結果的判別，通過一定的人工經驗設定閾值進行告警。同時可以引入時序歷史數據利用環比、同比等策略，通過一定的人工經驗設定閾值進行告警。
通過建立不同的統計指標：窗口均值變化、窗口方差變化等可以較好的解決下圖中（1，2，5）所對應的異常點檢測；通過局部極值可以檢測出圖（4）對應的尖點信息；通過時序預測模型可以較好的找到圖（3，6）對應的變化趨勢，檢測出不符合規律的異常點。

如何判別異常？

• N-sigma
• Boxplot（箱線圖）
• Grubbs’Test
• Extreme Studentized Deviate Test

PS：

N-sigma：在正態分布中，99.73%的數據分布在距平均值三個標準差以內。如果我們的數據服從一定分布，就可以從分布曲線推斷出現當前值的概率。

Grubbs假設檢驗：常被用來檢驗正態分布數據集中的單個異常值

ESD假設檢驗：將Grubbs'

Test擴展到k個異常值檢測

1.3 基于無監督的方法做異常檢測

什么是無監督方法：是否有監督（supervised），主要看待建模的數據是否有標簽（label）。若輸入數據有標簽，則為有監督學習；沒標簽則為無監督學習。
為何需要引入無監督方法：在監控建立的初期，用戶的反饋是非常稀少且珍貴的，在沒有用戶反饋的情況下，為了快速建立可靠的監控策略，因此引入無監督方法。
針對單維度指標

• 采用一些回歸方法（Holt-Winters、ARMA），通過原始的觀測序列學習出預測序列，通過兩者之間的殘差進行分析得到相關的異常。

• 針對單維度指標

  • 多維度的含義（time，cpu，iops，flow）

  • iForest（IsolationForest）是基于集成的異常檢測方法

    • 適用連續數據，具有線性時間復雜度和高精度
    • 異常定義：容易被孤立的離群點，分布稀疏且離密度高的群體較遠的點。

  • 幾點說明

    • 判別樹越多越穩定，且每棵樹都是互相獨立的，可以部署在大規模分布系統中
    • 該算法不太適合特別高維度數據，噪音維度維度和敏感維度無法主動剔除
    • 原始iForest算法僅對全局異常值敏感，對局部相對稀疏的點敏感度較低

1.4 基于深度學習的異常檢測

論文題目：《Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications》（WWW 2018）

• 解決的問題：針對具有周期性的時序監控數據，數據中包含一些缺失點和異常點

• 模型訓練結構如下

• 檢測時使用了MCMC填補的技術處理觀測窗口中的已知缺失點，核心思想根據已經訓練好的模型，迭代逼近邊際分布（下圖表示MCMC填補的一次迭代示意圖）

1.5 使用有監督的方法做異常檢測

• 標注異常這件事兒，本身很復雜？

  • 用戶定義的異常往往是從系統或者服務角度出發，對數據進行打標，所關聯的底層指標、鏈路指標繁雜，無法從幾個維度出發（更多的是系統的一個Shapshot）
  • 在進行架構層設計時，都會進行服務自愈設計，底層的異常并未影響到上層業務
  • 異常的溯源很復雜，很多情況下，單一監控數據僅是異常結果的反應，而不是異常本身
  • 打標樣本數量很少，且異常類型多樣，針對小樣本的學習問題還有待提高

• 常用的有監督的機器學習方法

  • xgboost、gbdt、lightgbm等
  • 一些dnn的分類網絡等

二、SLS中提供的算法能力

• 時序分析

  • 預測：根據歷史數據擬合基線
  • 異常檢測、變點檢測、折點檢測：找到異常點
  • 多周期檢測：發現數據訪問中的周期規律
  • 時序聚類：找到形態不一樣的時序

• 模式分析

  • 頻繁模式挖掘
  • 差異模式挖掘

• 海量文本智能聚類

  • 支持任意格式日志：Log4J、Json、單行（syslog）
  • 日志經任意條件過濾后再Reduce；對Reduce后Pattern，根據signature反查原始數據
  • 不同時間段Pattern比較
  • 動態調整Reduce精度
  • 億級數據，秒級出結果

三、針對流量場景的實戰分析

3.1 多維度的監控指標的可視化

具體的SQL邏輯如下：

* | selecttime,buffer_cnt,log_cnt,buffer_rate,failed_cnt,first_play_cnt,fail_rate from(selectdate_trunc('minute', time) as time,sum(buffer_cnt) as buffer_cnt,sum(log_cnt) as log_cnt,casewhenis_nan(sum(buffer_cnt)*1.0 / sum(log_cnt)) then0.0 elsesum(buffer_cnt)*1.0 / sum(log_cnt) end as buffer_rate, sum(failed_cnt) as failed_cnt, sum(first_play_cnt) as first_play_cnt , casewhenis_nan(sum(failed_cnt)*1.0 / sum(first_play_cnt)) then0.0 elsesum(failed_cnt)*1.0 / sum(first_play_cnt) end as fail_rate fromlog group bytime order bytime)limit 100000

3.2 各指標的時序環比圖

具體的SQL邏輯如下：

*?| select time,log_cnt_cmp[1] as log_cnt_now,log_cnt_cmp[2] as log_cnt_old,case when is_nan(buffer_rate_cmp[1]) then 0.0 else buffer_rate_cmp[1] end as buf_rate_now,case when is_nan(buffer_rate_cmp[2]) then 0.0 else buffer_rate_cmp[2] end as buf_rate_old,case when is_nan(fail_rate_cmp[1]) then 0.0 else fail_rate_cmp[1] end as fail_rate_now,case when is_nan(fail_rate_cmp[2]) then 0.0 else fail_rate_cmp[2] end as fail_rate_old from ( select time, ts_compare(log_cnt, 86400) as log_cnt_cmp,ts_compare(buffer_rate, 86400) as buffer_rate_cmp,ts_compare(fail_rate, 86400) as fail_rate_cmp from ( select date_trunc('minute', time - time % 120) as time, sum(buffer_cnt) as buffer_cnt, sum(log_cnt) as log_cnt, sum(buffer_cnt)*1.0 / sum(log_cnt) as buffer_rate, sum(failed_cnt) as failed_cnt, sum(first_play_cnt) as first_play_cnt ,sum(failed_cnt)*1.0 / sum(first_play_cnt) as fail_rate from log group by time order by time) group by time) where time is not null limit 1000000

3.3 各指標動態可視化

具體的SQL邏輯如下：

* | select time, case when is_nan(buffer_rate) then 0.0 else buffer_rate end as show_index,isp as index from (select date_trunc('minute', time) as time, sum(buffer_cnt)*1.0 / sum(log_cnt) as buffer_rate,sum(failed_cnt)*1.0 / sum(first_play_cnt) as fail_rate,sum(log_cnt) as log_cnt,sum(failed_cnt) as failed_cnt,sum(first_play_cnt) as first_play_cnt,isp from log group by time, isp order by time) limit 200000

3.4 異常集合的監控Dashboard頁面

?

• 異常監控項目的背后圖表SQL邏輯

* | select res.name from ( select ts_anomaly_filter(province, res[1], res[2], res[3], res[6], 100, 0) as res from ( select t1.province as province, array_transpose( ts_predicate_arma(t1.time, t1.show_index, 5, 1, 1) ) as res from ( selectprovince,time,case when is_nan(buffer_rate) then 0.0 else buffer_rate end as show_indexfrom (select province, time, sum(buffer_cnt)*1.0 / sum(log_cnt) as buffer_rate, sum(failed_cnt)*1.0 / sum(first_play_cnt) as fail_rate, sum(log_cnt) as log_cnt, sum(failed_cnt) as failed_cnt, sum(first_play_cnt) as first_play_cntfrom log group by province, time) ) t1 inner join ( select DISTINCT province from ( select province, time, sum(log_cnt) as total from log group by province, time ) where total > 200 ) t2 on t1.province = t2.province group by t1.province ) ) limit 100000

• 針對上述SQL邏輯的具體分析

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的在SLS中快速实现异常巡检的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。