無所不在的時序數據

時間帶走一切，長年累月會把你的名字、外貌、性格、命運都改變。 ---柏拉圖

隨著時間的推移，萬事萬物都在不停的變化，而我們也會用各種數字去衡量這些變化信息，比如年齡、重量、速度、溫度、金錢...在數字化時代中，我們會把這些隨著時間變化的數據保存起來，挖掘這些數據的價值。通常我們會稱這類數據為---時序數據。

時序數據用于描述物體在時間維度上的狀態變化信息。

時序數據在各行各業都得到了非常廣泛的應用，例如股票走勢、交易趨勢、服務器指標、脈搏心跳、定位坐標、能耗趨勢等等，而這些數據幾乎在所有的場景中都得到了應用，例如：

各類炒股軟件提供眾多不同維度的股票K線圖，為廣大股民提供參考標準；

Apple Watch通過監控佩戴者的心率信息，幫助人們提早發現嚴重的心臟疾病；

國家電網通過分析各個小區、住戶的用電量曲線，來判斷是否有偷電漏電情況；

電商類的公司會監控平臺的下單、交易、退貨、評價等關鍵流程的變化趨勢，用來快速發現各類異常；

各個游戲平臺通過分析每個用戶角色的操作、位置等變化規律，來判斷是否使用了作弊輔助工具...

我們需要一個什么樣的時序存儲

為了能夠支撐各種場景的時序分析、監控等需求，近幾年在開源和商業領域均出現了一些時序存儲的引擎，例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等，這些存儲引擎分別有自己的生態和適用場景，在某些場景下具有較高的優勢，例如TimescaleDB基于PostgreSQL，如果是PG的用戶可以快速上手；InfluxDB具有非常完善的生態，TICK（Telegraf、 InfluxDB、Chronograf、Kapacitor）可以快速上手；Prometheus對于云原生場景支持非常友好，PromQL也非常便捷靈活，已經成為Kubernetes上監控的實事標準。


然而從實際公司的業務場景出發，對于時序數據會有更多的要求：

高性能：時序數據通常流量大、保存周期長且需要長時間的范圍查詢，能夠支撐大規模的寫入與快速查詢是必備條件；

開放：通常公司內部會有多個部門對不同系統的時序數據進行不同類型的分析、監控等需求，因此時序存儲需具備足夠的開放能力，支持各種數據的接入以及下游消費；

低成本：這里的成本主要包括兩方面：資源成本和人力運維成本。有摩爾定律的存在，單位資源成本越來越低，而單位人力成本每年都在提升，因此低成本的核心在于運維這套時序存儲的人力成本；

智能化：尤其在海量監控對象的場景中，純粹的靜態規則很難發現某個監控對象的異常，因此時序存儲上層需要附加智能化的算法，提升監控的準確率。

SLS時序存儲發布

SLS的日志存儲引擎在2016年對外發布，目前承接阿里內部以及眾多企業的日志數據存儲，每天有數十PB的日志類數據寫入。其中有很大一部分屬于時序類數據或者用來計算時序指標，為了讓用戶能夠一站式完成整個DevOps生命周期的數據接入、清洗、加工、提取、存儲、可視化、監控、問題分析等過程，我們專門推出了時序存儲的功能，與日志存儲一道為大家解決各類機器數據的存儲問題。




時序存儲整體架構如上圖所示，接入層可以對接各類開源的采集軟件以及SLS自己開發的高性能Logtail，同時支持各種語言SDK直接寫入，也支持Kafka、Syslog等開放性協議；存儲層是完全分布式架構，每個時序庫可通過Sharding方式水平擴展，數據默認3副本高可靠存儲；計算層與存儲層分離，提供SQL、PromQL純分析型語法，同時提供智能分析能力。基于SLS提供的采集、存儲、分析等功能可快速構建企業自己的業務監控、微服務監控等方案。

功能特點

SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業級時序監控/分析訴求。SLS時序存儲的特點主要有：

豐富上下游：數據接入上SLS支持眾多采集方式，包括各類開源Agent以及阿里云內部的監控數據通道；同時存儲的時序數據支持對接各類的流計算、離線計算引擎，數據完全開放；

高性能：SLS存儲計算分離架構充分發揮集群能力，尤其在大量數據下端對端的速度提升顯著；

免運維：SLS的時序存儲完全是服務化，無需用戶自己去運維實例，而且所有數據都是3副本高可靠存儲，不用擔心數據的可靠性問題；

開源友好：SLS的時序存儲原生支持Prometheus的寫入和查詢，并支持SQL92的分析方法，可以原生對接Grafana等可視化方案；

智能：SLS提供了各種AIOps算法，例如多周期估算、預測、異常檢測、時序分類等各類時序算法，可以基于這些算法快速構建適應于公司業務的智能報警、診斷平臺。

典型應用場景

應用/業務監控

應用/業務監控是公司層面重要的工作之一，在阿里內部一直作為最重要的監控項在建設。通過SLS提供的各類數據采集功能將所有應用/業務數據統一、實時采集，利用數據加工把各個不同時期、不同風格的數據做結構化處理，基于結構化的數據就可以做一定的分析，但通常業務數據量級較大，我們還會使用SQL的聚合功能對數據進行一定的降維，使用降維后的聚合時序數據來做告警以及長期的監控指標回溯。

云原生監控

隨著云原生技術的普及，越來越多的公司開始技術轉型到云原生架構，借助于Prometheus、OpenTelemetry等CNCF的開源Project可以快速采集到Kubernetes以及各類中間件、應用的監控信息，阿里云上的云監控獲取到所有云產品的監控數據。利用SLS時序存儲以及日志/Trace存儲的能力，可以支持各類監控數據的統一存儲，數據可無縫對接Grafana的可視化，在Grafana上構建基礎設施、云產品、中間件、應用軟件的全方位監控大盤。

訪問日志分析

訪問日志作為網站、APP的入口流量記錄，能夠直接反映出當前應用是否正常，因此運維領域的必備監控項。通過Logtail采集原始的訪問日志，可用來分析/調查每個用戶的請求，也可用作歸檔/審計需求；但原始訪問日志量較大，不太適合直接的監控，通常會通過預聚合的方式對數據進行降維，基于聚合后的時序數據進行實時監控，并可應用SLS提供的智能巡檢功能對每個業務站點進行獨立的智能監控。

?

無所不在的時序數據

時間帶走一切，長年累月會把你的名字、外貌、性格、命運都改變。 ---柏拉圖

隨著時間的推移，萬事萬物都在不停的變化，而我們也會用各種數字去衡量這些變化信息，比如年齡、重量、速度、溫度、金錢...在數字化時代中，我們會把這些隨著時間變化的數據保存起來，挖掘這些數據的價值。通常我們會稱這類數據為---時序數據。

時序數據用于描述物體在時間維度上的狀態變化信息。

時序數據在各行各業都得到了非常廣泛的應用，例如股票走勢、交易趨勢、服務器指標、脈搏心跳、定位坐標、能耗趨勢等等，而這些數據幾乎在所有的場景中都得到了應用，例如：

各類炒股軟件提供眾多不同維度的股票K線圖，為廣大股民提供參考標準；

Apple Watch通過監控佩戴者的心率信息，幫助人們提早發現嚴重的心臟疾病；

國家電網通過分析各個小區、住戶的用電量曲線，來判斷是否有偷電漏電情況；

電商類的公司會監控平臺的下單、交易、退貨、評價等關鍵流程的變化趨勢，用來快速發現各類異常；

各個游戲平臺通過分析每個用戶角色的操作、位置等變化規律，來判斷是否使用了作弊輔助工具...

?

我們需要一個什么樣的時序存儲

為了能夠支撐各種場景的時序分析、監控等需求，近幾年在開源和商業領域均出現了一些時序存儲的引擎，例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等，這些存儲引擎分別有自己的生態和適用場景，在某些場景下具有較高的優勢，例如TimescaleDB基于PostgreSQL，如果是PG的用戶可以快速上手；InfluxDB具有非常完善的生態，TICK（Telegraf、 InfluxDB、Chronograf、Kapacitor）可以快速上手；Prometheus對于云原生場景支持非常友好，PromQL也非常便捷靈活，已經成為Kubernetes上監控的實事標準。


然而從實際公司的業務場景出發，對于時序數據會有更多的要求：

高性能：時序數據通常流量大、保存周期長且需要長時間的范圍查詢，能夠支撐大規模的寫入與快速查詢是必備條件；

開放：通常公司內部會有多個部門對不同系統的時序數據進行不同類型的分析、監控等需求，因此時序存儲需具備足夠的開放能力，支持各種數據的接入以及下游消費；

低成本：這里的成本主要包括兩方面：資源成本和人力運維成本。有摩爾定律的存在，單位資源成本越來越低，而單位人力成本每年都在提升，因此低成本的核心在于運維這套時序存儲的人力成本；

智能化：尤其在海量監控對象的場景中，純粹的靜態規則很難發現某個監控對象的異常，因此時序存儲上層需要附加智能化的算法，提升監控的準確率。

?

SLS時序存儲發布

SLS的日志存儲引擎在2016年對外發布，目前承接阿里內部以及眾多企業的日志數據存儲，每天有數十PB的日志類數據寫入。其中有很大一部分屬于時序類數據或者用來計算時序指標，為了讓用戶能夠一站式完成整個DevOps生命周期的數據接入、清洗、加工、提取、存儲、可視化、監控、問題分析等過程，我們專門推出了時序存儲的功能，與日志存儲一道為大家解決各類機器數據的存儲問題。




時序存儲整體架構如上圖所示，接入層可以對接各類開源的采集軟件以及SLS自己開發的高性能Logtail，同時支持各種語言SDK直接寫入，也支持Kafka、Syslog等開放性協議；存儲層是完全分布式架構，每個時序庫可通過Sharding方式水平擴展，數據默認3副本高可靠存儲；計算層與存儲層分離，提供SQL、PromQL純分析型語法，同時提供智能分析能力。基于SLS提供的采集、存儲、分析等功能可快速構建企業自己的業務監控、微服務監控等方案。

?

功能特點

SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業級時序監控/分析訴求。SLS時序存儲的特點主要有：

豐富上下游：數據接入上SLS支持眾多采集方式，包括各類開源Agent以及阿里云內部的監控數據通道；同時存儲的時序數據支持對接各類的流計算、離線計算引擎，數據完全開放；

高性能：SLS存儲計算分離架構充分發揮集群能力，尤其在大量數據下端對端的速度提升顯著；

免運維：SLS的時序存儲完全是服務化，無需用戶自己去運維實例，而且所有數據都是3副本高可靠存儲，不用擔心數據的可靠性問題；

開源友好：SLS的時序存儲原生支持Prometheus的寫入和查詢，并支持SQL92的分析方法，可以原生對接Grafana等可視化方案；

智能：SLS提供了各種AIOps算法，例如多周期估算、預測、異常檢測、時序分類等各類時序算法，可以基于這些算法快速構建適應于公司業務的智能報警、診斷平臺。

?

典型應用場景

?

應用/業務監控

應用/業務監控是公司層面重要的工作之一，在阿里內部一直作為最重要的監控項在建設。通過SLS提供的各類數據采集功能將所有應用/業務數據統一、實時采集，利用數據加工把各個不同時期、不同風格的數據做結構化處理，基于結構化的數據就可以做一定的分析，但通常業務數據量級較大，我們還會使用SQL的聚合功能對數據進行一定的降維，使用降維后的聚合時序數據來做告警以及長期的監控指標回溯。

云原生監控

隨著云原生技術的普及，越來越多的公司開始技術轉型到云原生架構，借助于Prometheus、OpenTelemetry等CNCF的開源Project可以快速采集到Kubernetes以及各類中間件、應用的監控信息，阿里云上的云監控獲取到所有云產品的監控數據。利用SLS時序存儲以及日志/Trace存儲的能力，可以支持各類監控數據的統一存儲，數據可無縫對接Grafana的可視化，在Grafana上構建基礎設施、云產品、中間件、應用軟件的全方位監控大盤。

訪問日志分析

訪問日志作為網站、APP的入口流量記錄，能夠直接反映出當前應用是否正常，因此運維領域的必備監控項。通過Logtail采集原始的訪問日志，可用來分析/調查每個用戶的請求，也可用作歸檔/審計需求；但原始訪問日志量較大，不太適合直接的監控，通常會通過預聚合的方式對數據進行降維，基于聚合后的時序數據進行實時監控，并可應用SLS提供的智能巡檢功能對每個業務站點進行獨立的智能監控。

無所不在的時序數據

時間帶走一切，長年累月會把你的名字、外貌、性格、命運都改變。 ---柏拉圖

隨著時間的推移，萬事萬物都在不停的變化，而我們也會用各種數字去衡量這些變化信息，比如年齡、重量、速度、溫度、金錢...在數字化時代中，我們會把這些隨著時間變化的數據保存起來，挖掘這些數據的價值。通常我們會稱這類數據為---時序數據。

時序數據用于描述物體在時間維度上的狀態變化信息。

時序數據在各行各業都得到了非常廣泛的應用，例如股票走勢、交易趨勢、服務器指標、脈搏心跳、定位坐標、能耗趨勢等等，而這些數據幾乎在所有的場景中都得到了應用，例如：

各類炒股軟件提供眾多不同維度的股票K線圖，為廣大股民提供參考標準；

Apple Watch通過監控佩戴者的心率信息，幫助人們提早發現嚴重的心臟疾病；

國家電網通過分析各個小區、住戶的用電量曲線，來判斷是否有偷電漏電情況；

電商類的公司會監控平臺的下單、交易、退貨、評價等關鍵流程的變化趨勢，用來快速發現各類異常；

各個游戲平臺通過分析每個用戶角色的操作、位置等變化規律，來判斷是否使用了作弊輔助工具...

?

我們需要一個什么樣的時序存儲

為了能夠支撐各種場景的時序分析、監控等需求，近幾年在開源和商業領域均出現了一些時序存儲的引擎，例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等，這些存儲引擎分別有自己的生態和適用場景，在某些場景下具有較高的優勢，例如TimescaleDB基于PostgreSQL，如果是PG的用戶可以快速上手；InfluxDB具有非常完善的生態，TICK（Telegraf、 InfluxDB、Chronograf、Kapacitor）可以快速上手；Prometheus對于云原生場景支持非常友好，PromQL也非常便捷靈活，已經成為Kubernetes上監控的實事標準。


然而從實際公司的業務場景出發，對于時序數據會有更多的要求：

高性能：時序數據通常流量大、保存周期長且需要長時間的范圍查詢，能夠支撐大規模的寫入與快速查詢是必備條件；

開放：通常公司內部會有多個部門對不同系統的時序數據進行不同類型的分析、監控等需求，因此時序存儲需具備足夠的開放能力，支持各種數據的接入以及下游消費；

低成本：這里的成本主要包括兩方面：資源成本和人力運維成本。有摩爾定律的存在，單位資源成本越來越低，而單位人力成本每年都在提升，因此低成本的核心在于運維這套時序存儲的人力成本；

智能化：尤其在海量監控對象的場景中，純粹的靜態規則很難發現某個監控對象的異常，因此時序存儲上層需要附加智能化的算法，提升監控的準確率。

?

SLS時序存儲發布

SLS的日志存儲引擎在2016年對外發布，目前承接阿里內部以及眾多企業的日志數據存儲，每天有數十PB的日志類數據寫入。其中有很大一部分屬于時序類數據或者用來計算時序指標，為了讓用戶能夠一站式完成整個DevOps生命周期的數據接入、清洗、加工、提取、存儲、可視化、監控、問題分析等過程，我們專門推出了時序存儲的功能，與日志存儲一道為大家解決各類機器數據的存儲問題。




時序存儲整體架構如上圖所示，接入層可以對接各類開源的采集軟件以及SLS自己開發的高性能Logtail，同時支持各種語言SDK直接寫入，也支持Kafka、Syslog等開放性協議；存儲層是完全分布式架構，每個時序庫可通過Sharding方式水平擴展，數據默認3副本高可靠存儲；計算層與存儲層分離，提供SQL、PromQL純分析型語法，同時提供智能分析能力。基于SLS提供的采集、存儲、分析等功能可快速構建企業自己的業務監控、微服務監控等方案。

?

功能特點

SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業級時序監控/分析訴求。SLS時序存儲的特點主要有：

豐富上下游：數據接入上SLS支持眾多采集方式，包括各類開源Agent以及阿里云內部的監控數據通道；同時存儲的時序數據支持對接各類的流計算、離線計算引擎，數據完全開放；

高性能：SLS存儲計算分離架構充分發揮集群能力，尤其在大量數據下端對端的速度提升顯著；

免運維：SLS的時序存儲完全是服務化，無需用戶自己去運維實例，而且所有數據都是3副本高可靠存儲，不用擔心數據的可靠性問題；

開源友好：SLS的時序存儲原生支持Prometheus的寫入和查詢，并支持SQL92的分析方法，可以原生對接Grafana等可視化方案；

智能：SLS提供了各種AIOps算法，例如多周期估算、預測、異常檢測、時序分類等各類時序算法，可以基于這些算法快速構建適應于公司業務的智能報警、診斷平臺。

?

典型應用場景

?

應用/業務監控

應用/業務監控是公司層面重要的工作之一，在阿里內部一直作為最重要的監控項在建設。通過SLS提供的各類數據采集功能將所有應用/業務數據統一、實時采集，利用數據加工把各個不同時期、不同風格的數據做結構化處理，基于結構化的數據就可以做一定的分析，但通常業務數據量級較大，我們還會使用SQL的聚合功能對數據進行一定的降維，使用降維后的聚合時序數據來做告警以及長期的監控指標回溯。

云原生監控

隨著云原生技術的普及，越來越多的公司開始技術轉型到云原生架構，借助于Prometheus、OpenTelemetry等CNCF的開源Project可以快速采集到Kubernetes以及各類中間件、應用的監控信息，阿里云上的云監控獲取到所有云產品的監控數據。利用SLS時序存儲以及日志/Trace存儲的能力，可以支持各類監控數據的統一存儲，數據可無縫對接Grafana的可視化，在Grafana上構建基礎設施、云產品、中間件、應用軟件的全方位監控大盤。

訪問日志分析

訪問日志作為網站、APP的入口流量記錄，能夠直接反映出當前應用是否正常，因此運維領域的必備監控項。通過Logtail采集原始的訪問日志，可用來分析/調查每個用戶的請求，也可用作歸檔/審計需求；但原始訪問日志量較大，不太適合直接的監控，通常會通過預聚合的方式對數據進行降維，基于聚合后的時序數據進行實時監控，并可應用SLS提供的智能巡檢功能對每個業務站點進行獨立的智能監控。

?

作者：元乙

原文鏈接：https://developer.aliyun.com/article/768895?utm_content=g_1000161276

本文為阿里云原創內容，未經允許不得轉載

總結

以上是生活随笔為你收集整理的开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。