當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

AZURE 日志分析自动告警

發布時間：2023/12/10 编程问答 27 豆豆

生活随笔收集整理的這篇文章主要介紹了 AZURE 日志分析自动告警小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

? ? ? ?小伙伴們好久不見，今天我們來聊聊中國 AZURE 的日志分析告警。為什么是中國 AZURE，目前中國 AZURE 的 Monitor 服務和運維相關周圍服務和 Global 是有所不同的，所以有些功能和設計不能復制和套用全球版 AZURE 的架構。我們先看一下中國 AZURE 運維管理方面一些平臺原生功能的缺失：
1. Azure Monitor 支持新的 Metric 指標分析服務，但不支持基于新的 Metric 指標分析的告警設置，簡而言之能看不能告警；
2. 中國 AZURE 目前不支持 Azure Log Analytics 服務，平臺原生不支持日志分析服務，無法通過原生服務進行日志分析和告警。所以對于平臺原生支持的一些 Metric 或者 Log 無法通過 Azure Monitor 或 Azure Log Analytics 分析并發送告警。

今天的 Demo 中以一個例子，通過 EventHub + Stream Analytics + Function 來實現流式分析實時告警。

架構圖：

日志源：EventHub 原生已經支持對于 Azure 平臺服務的日志消息采集能力，VM 的日志可以通過 Azure VM Diagnotics Extension 進行聚集并傳入 EventHub, 對于平臺的原生服務可以直接與 EventHub 集成。對于非 Azure 原生服務，比如客戶自己的一些日志系統等可以通過 Logstash，Fluentd 的方式將日志注入到 EventHub, Azure 已經有相關的插件來支持和 Logstash 這種日志服務進行集成。

日志聚集：EventHub 來做日志的聚集，可以將多個日志源聚集到同一個 EventHub 下來實現日志消費下游服務的統一分發。

日志實時分析：Stream Analytics 來對 EventHub 聚集的日志進行消費，完成日志的流式實時分析，在此 Demo 中，Sream Analytics 進行應用網關（Application Gateway）的后端服務節點的健康狀態情況，當可用節點小于一個時，觸發告警事件。

日志告警：通過 Function 服務，以事件驅動的方式獲得 Stream Analytics 的告警，執行 Function 代碼推送告警。此 Demo，以郵件告警為例，如果客戶有短消息推送等其它推送需求，可以類同方式調取集成。

配置方法：

1. 配置日志源

此次 Demo 中以應用網關的 Metric 日志為例，此處忽略應用網關的相關創建動作和配置動作，下面是開啟日志推送到 EventHub 的配置方法，此步執行前需要創建好 EventHub

?2. 配置 EventHub

EventHub 配置方法比較簡單，創建 EventHub，然后為了方便區分后端消費者，在創建好的 EventHub 下創建消費組

3. 配置 Stream Analytics 服務

此處跳過 Steam Analytics 的創建過程，直接在創建好的 Stream Analytics 服務上進行配置，分別配置 Input 和 Output，Stream Analytics 作為 EventHub 消息的消費者，首先我們需要在?Stream Analytics 中將 EventHub 配置為 Input，反之 Function 服務是?Stream Analytics 的數據消費者，所以把 Function 服務配置為? Ouput。

此 Demo 中有架構有一些微調，EventHub 和 Stream Analytics 分別對消息事件做了兩次處理，流程如下：

原因是因為 Application Gateway 推送出來的 Metric 日志是以5分鐘為間隔一條消息，每個消息中包含5分鐘內每分鐘的消息，是以 Json 嵌套數組的方式來做的，我們通過第一層的 Stream Analytics 來完成將嵌套的 Metric 日志序列化，將每分鐘的 Metric 日志以獨立消息的方式注入到 EventHub，然后重新在第二層的 Stream Analytics 中來進行流式分析，以5分鐘為間隔來分析5分鐘內性能指標的平均值，當平均觸碰閾值后生成告警事件，將告警事件通知 Function 服務，通知事件內包含監控指標類型名稱和現有指標5分鐘平均值，Function 服務以事件驅動執行通知分發程序將告警以相應方式推送到相關責任人。

從 Application Gateway 的生成的 RAW Date 日志格式參考如下：

第一層 StreamAnalytics 配置：

Input：第一層 EventHub (alertdemo)，Ouput：第二層 EventHub (EventhubStream)

查詢語句

WITH Metric AS (SELECT arrayElement.ArrayIndex, arrayElement.ArrayValue FROM alertdemo as event CROSS APPLY GetArrayElements(event.records) AS arrayElement ), TransformedInput AS (SELECTMetric.arrayvalue.*FROM Metric ) SELECT* INTO EventhubStream FROM TransformedInput

?第二層 StreamAnalytics 配置：

Input：第二層 EventHub (EventhubStream)，Ouput：Function (FuncOutput)

SELECTmetricName,AVG(average) as avg INTO FuncOutput FROM EventhubStream TIMESTAMP BY time GROUP BYmetricName,TumblingWindow(minute, 5) HAVING(avg(average) <= 1 and metricName = 'HealthyHostCount')

4. 配置 Function 服務

這里在配置過程中有個地方需要注意：需要在 Function 服務的 SSL 部分將 TLS 版本設置為 1.0，這個是 Function 和 Stream Analytics 服務集成的要求。

本例中以 Python Runtime 為例，創建一個 Http Trigger 觸發的 Function 函數，代碼如下：

import os import json import smtplib from email.MIMEMultipart import MIMEMultipart from email.MIMEText import MIMETextfromaddr = "******@***.com" toaddr = "******@***.com"postreqdata = json.loads(open(os.environ['req']).read()) if postreqdata:#Create Alert Messagemsg = MIMEMultipart()msg['From'] = fromaddrmsg['To'] = toaddrmsg['Subject'] = "Alert Fire"body = postreqdata[0]['metricname'] + " fire the alert"msg.attach(MIMEText(body,'plain'))#Send Alert Messages = smtplib.SMTP('smtp.***.com')s.ehlo()s.login("*******@***.com", '******')s.sendmail(fromaddr, toaddr, msg.as_string())#Prepare Success Code returnData = {#HTTP Status Code:"status": 200,#Response Body:"body": "<h1>Azure Works :)</h1>",# Send any number of HTTP headers"headers": {"Content-Type": "text/html","X-Awesome-Header": "YesItIs"} }# Output the response to the client output = open(os.environ['res'], 'w') output.write(json.dumps(returnData))

檢查郵件告警

本文中的 Demo 只是一個簡單的示例，大家可以根據自己實際的業務場景需求對流分析部分的告警策略自行定義，流式分析服務內置了很多分析能力可以滿足我們不同的分析需求。

參考閱讀：

1. Stream Analytics 常用語法：https://msdn.microsoft.com/zh-cn/azure/stream-analytics/reference/stream-analytics-query-language-reference

2. Stream Analytics 分析場景示例：https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-stream-analytics-query-patterns

3. Azure 平臺服務日志參考：https://docs.microsoft.com/en-us/azure/monitoring-and-diagnostics/monitoring-supported-metrics

總結

以上是生活随笔為你收集整理的AZURE 日志分析自动告警的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

日志
Azure

上一篇：让TFS忽略packages文件夹的更改
下一篇：浅析DDD(领域驱动设计)