一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务
背景
隨著時序數據的飛速增長,時序數據庫不僅需要解決系統的穩定性和性能問題,還需實現數據從采集到分析的鏈路打通,才能讓時序數據真正產生價值。在時序數據采集領域,一直缺少自動化的采集工具。雖然用戶可以使用一些開源的采集工具實現數據采集,例如,Telegraf、Logstash和TCollector等,但是,這些采集工具都需要用戶自行搭建并維護其運行的環境,增加了用戶的學習成本,大大提高了數據采集的門檻。另一方面,現有的采集工具缺乏對多個采集源的自動化管理,用戶難以統一管理多個不同的采集源,實時監控各個采集工具是否正常運行并采集數據。
阿里云InfluxDB?除了提供穩定可靠的時序數據庫服務,還提供了非常便捷的數據采集服務。用戶能夠方便查看各個采集源的運行狀態并管理它們,采集的數據會自動存儲到阿里云InfluxDB?。用戶無需擔心運維的問題,實現數據從采集到分析的一站式服務。本文主要介紹如何使用InfluxDB?的數據采集服務,實現數據從采集到存儲的自動化管理。
阿里云InfluxDB?數據采集服務優勢
- 提供豐富的采集指標:支持MySQL、Redis、MongoDB和系統監控等數據的采集
- 支持監控多個采集源:用戶可以一目了然地監控多個采集源的狀態
- 采集源便捷管理:無需編碼,用戶即可方便地添加、刪除和修改采集源
- 采集數據自動存入InfluxDB?,保障采集數據不丟失
我們能做什么?
1. 輕松采集數據
目前,阿里云InfluxDB?支持采集有關MySQL、Redis、MongoDB和系統監控等四種不同類型的數據,針對每種類型的數據,采集多項監控指標,方便用戶更全面地了解被監控對象。用戶通過InfluxDB?實例的管理控制臺,即可添加新采集源,一鍵安裝,無需編寫代碼。
采集數據的操作流程如下:
- 創建采集配置:選擇采集數據的類型、數據寫入的數據庫和保留策略。
- 添加采集源:在數據源機器上一鍵安裝InfluxDB?數據采集工具,選擇采集配置,即可開始采集數據。
2. 實時監控采集源
采集源在運行過程中,您可以實時地監控數據采集的狀態,查看采集數據最近一次到達InfluxDB?的時間;并且,您還可以隨時停止數據的采集,在您認為合適的時候再重新開啟數據采集服務。
3. 一鍵切換采集數據類型
如果您想要改變被監控機器上的采集數據類型,無需重新添加新的采集源,只需選擇您想要的采集配置即可,數據采集工具會自動切換成采集您指定的監控數據。
4. 采集數據自動存入InfluxDB?
您可以在采集配置中選擇數據流入的數據庫和保留策略,數據采集工具會自動將采集數據存入指定的數據庫和保留策略,并且,您可以在采集源運行的過程中修改數據寫入的數據庫和保留策略,只需修改采集配置即可。
最佳實踐
本小節將介紹如何采集系統監控的數據,并實時展示采集結果。系統監控的數據包含處理器、磁盤、內存、網絡、進程和系統等信息,收集的數據分別存儲在8個不同的measurement中(measurement分別為cpu、disk、diskio、mem、net、processes、swap和system)。在開始前,請先確保已經成功創建數據庫和對該數據庫有讀寫權限的用戶賬號。
1. 創建采集系統監控數據的配置
點擊InfluxDB?管理控制臺左側導航欄的“添加采集配置”,進入到采集配置添加界面,如下圖所示。填寫“采集配置名稱”,選擇“采集數據類型”為“系統監控”,然后選擇“授權賬號”、“數據寫入DB”和“數據庫存儲策略”,并填寫“授權密碼”。點擊“添加”即可成功創建采集配置。
2. 添加采集源
點擊InfluxDB?管理控制臺左側導航欄的“添加采集源”,進入到采集源添加頁面。
(1)選擇網絡類型,“公網”或者“專有網絡”,然后點擊“下一步”,如下圖所示。
(2)在數據源所在主機安裝采集工具。將安裝命令復制到主機上即可運行采集工具。采集工具運行后會與InfluxDB?建立連接,在“新采集源掃描結果列表”上可以看到新添加的采集源,如果在該列表上沒有顯示,可以點擊“刷新”或“自動刷新”。如下圖所示。
(3)選擇采集系統監控的數據。在上圖中,點擊“選擇采集配置”,進入如下界面,從下拉框中選擇剛剛創建的名為“collect-system”的采集配置。選擇完成后,點擊“保存”。
(4)啟動數據采集。勾選需要啟動的采集源,然后點擊“完成并啟動采集”,采集工具即可在采集源上開始采集數據,如下圖所示。
3. 查看數據采集的狀態
在“采集源列表”中,您可以看到所有與InfluxDB?實例建立連接的采集源,如下圖所示。每個采集源由uuid唯一標識,“采集狀態”為“running”表示采集工具正在采集數據并上報到InfluxDB?,“最新采集上報成功時間”表示采集數據最近一次成功發送到InfluxDB?的時間。
4. 使用Grafana可視化采集數據
(1)安裝Grafana。有關如何安裝Grafana可查看文檔。
(2)添加數據源。設置“URL”為InfluxDB?實例的地址,并且填寫采集數據所寫入的數據庫和用戶賬號,如下圖所示。
(3)配置Dashboard,編寫查詢規則。這里示范的是查詢磁盤使用率,查詢語句為:
SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)實時查詢結果如下圖所示。
您可以根據實際需要,查看其它measurement和field的數據,分別在FROM和SELECT語句中指定即可。
總結
阿里云InfluxDB?提供方便快捷的數據采集服務,自動化管理數據源,幫您解決數據采集的問題,實現數據從采集到存儲的自動化。未來,我們會支持更多數據類型和指標的采集,敬請期待。
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一个阿里产品经理眼中的“垃圾分类”
- 下一篇: MySQL单表数据不要超过500万行:是