15分钟构建超低成本数据大屏:DataV + DLA
為什么80%的碼農(nóng)都做不了架構師?>>> ??
第一步:準備低成本存儲的業(yè)務數(shù)據(jù)和DLA表
- OSS(https://www.aliyun.com/product/oss)是云上低成本數(shù)據(jù)存儲的優(yōu)選方案
- DLA(https://www.aliyun.com/product/datalakeanalytics)是云上低成本、無服務器化的支持OSS數(shù)據(jù)查詢、分析的優(yōu)選方案
參考如下文檔使用案例,準備OSS上存儲的業(yè)務數(shù)據(jù)和DLA表:
https://yq.aliyun.com/articles/623282
此步驟預計耗時:5分鐘。
第二步:使用DataV訪問DLA制作數(shù)據(jù)大屏
- DataV(https://data.aliyun.com/visual/datav)是云上大數(shù)據(jù)可視化大屏的優(yōu)選方案
1. 準備DataV
以第一步中的業(yè)務數(shù)據(jù)為例,構建企業(yè)銷售數(shù)據(jù)大屏,本大屏主要涉及三張表:
- orders表,銷售訂單數(shù)據(jù);
- customer表,客戶記錄數(shù)據(jù);
- nation表,國家記錄數(shù)據(jù);
登錄控制臺DataV控制臺:http://datav.aliyun.com/data,購買基礎版:
使用“兼容MySQL”的方式,就能連接DLA服務,本例中基礎版就能滿足。
2. 準備DLA數(shù)據(jù)源
點擊 “我的數(shù)據(jù)”,“添加數(shù)據(jù)”
編輯數(shù)據(jù)源:
- 選擇“兼容MySQL數(shù)據(jù)庫”類型;
- 名稱按需進行命名;
- 根據(jù)在DLA控制臺https://datalakeanalytics.console.aliyun.com/overview上的鏈接信息(經(jīng)典網(wǎng)絡)和在阿里云站內(nèi)信收到用戶名、密碼信息,填入相應欄目,選擇目標的tpch數(shù)據(jù)庫,確定保存。
3. 準備大屏模板
點擊 “我的可視化”,“新建可視化”
選擇“銷售實時監(jiān)控模板”,點“創(chuàng)建”
本示例大屏中,目標顯示各個國家的銷售數(shù)據(jù)情況,把下面標紅的框內(nèi)的組件刪除。
然后為了布局,美觀,重新調(diào)整一個組件在畫布上的位置。
為了顯示各個國家的銷售數(shù)據(jù)情況,需要世界地圖,刪除現(xiàn)有的中國地圖組件,然后在導航欄的“地圖”中選擇“3D平面世界地圖”。
4. 給大屏中的組件配置數(shù)據(jù)
4.1 給地圖配置數(shù)據(jù)
根據(jù)如下操作,給地圖render數(shù)據(jù):
- 選擇地圖,在數(shù)據(jù)tab頁面中,“數(shù)據(jù)源類型數(shù)據(jù)庫選擇已有數(shù)據(jù)源我的數(shù)據(jù)**”中配置的DLA數(shù)據(jù)源;
- 在SQL中,填入如下SQL,計算按國家銷售額排序的數(shù)據(jù);
- 字段id和value,分別填入上述SQL返回的n_id列和total_price列;
- 根據(jù)業(yè)務數(shù)據(jù)更新需求(見附一:架構示意),選擇大屏數(shù)據(jù)“自動更新請求”,比如60秒一次;
- 然后點擊“刷新數(shù)據(jù)”。
4.2 給總銷售額配置數(shù)據(jù)
根據(jù)如下操作,給總銷售額配置數(shù)據(jù):
- 選擇銷售總額組件,在數(shù)據(jù)tab頁面中,“數(shù)據(jù)源類型數(shù)據(jù)庫選擇已有數(shù)據(jù)源我的數(shù)據(jù)**”中配置的DLA數(shù)據(jù)源;
- 在SQL中,填入如下SQL,計算銷售總額的數(shù)據(jù);
- 字段value,填入上述SQL返回的total_price列;
- 根據(jù)業(yè)務數(shù)據(jù)更新需求(見附一:架構示意),選擇大屏數(shù)據(jù)“自動更新請求”,比如60秒一次;
- 然后點擊“刷新數(shù)據(jù)”。
4.3 給按國家銷售排名配置數(shù)據(jù)
根據(jù)如下操作,給總銷售額配置數(shù)據(jù):
- 選擇銷售額國家排名組件,在數(shù)據(jù)tab頁面中,“數(shù)據(jù)源類型數(shù)據(jù)庫選擇已有數(shù)據(jù)源我的數(shù)據(jù)**”中配置的DLA數(shù)據(jù)源;
- 在SQL中,填入如下SQL,計算按國家銷售額排序的數(shù)據(jù);
- 字段value和content,填入上述SQL返回的total_price列和n_name列;
- 根據(jù)業(yè)務數(shù)據(jù)更新需求(見附一:架構示意),選擇大屏數(shù)據(jù)“自動更新請求”,比如60秒一次;
- 然后點擊“刷新數(shù)據(jù)”。
5. 預覽和發(fā)布大屏
點擊右上角的“預覽”,可以看到大屏發(fā)布后的效果。
確認無誤后,可以進行發(fā)布:
此步驟預計耗時:10分鐘。
附:架構示意
和使用傳統(tǒng)數(shù)據(jù)庫加DataV構建大屏相比,DataV + DLA + OSS的方案是另外一種低成本選擇,在絕大部分頻率較低的數(shù)據(jù)刷新的業(yè)務大屏場景下,DataV + DLA + OSS的方式遠比DataV + 傳統(tǒng)數(shù)據(jù)庫的成本低。結合業(yè)務數(shù)據(jù)的產(chǎn)生,整體架構示意如下:
可能的業(yè)務數(shù)據(jù)產(chǎn)出的大屏數(shù)據(jù)刷新鏈路:
- 業(yè)務應用程序產(chǎn)出的增量數(shù)據(jù),直接上傳到OSS中,通過定時查詢,刷新到業(yè)務數(shù)據(jù)大屏中;
- 業(yè)務應用程序產(chǎn)出的業(yè)務日志,采集到日志服務中,通過定時日志投遞(最小5分鐘延遲),投遞到OSS中,再通過定時查詢,刷新到業(yè)務數(shù)據(jù)大屏中。
作者: julian_zhou
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉載。
轉載于:https://my.oschina.net/yunqi/blog/3016816
總結
以上是生活随笔為你收集整理的15分钟构建超低成本数据大屏:DataV + DLA的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何制作可以在 MaxCompute 上
- 下一篇: 【蓝桥杯真题】地宫取宝(搜索-记忆化搜索