2019獨角獸企業重金招聘Python工程師標準>>>

通過DataWorks歸檔日志服務數據至MaxCompute

官方指導文檔：https://help.aliyun.com/document_detail/68322.html
但是會遇到大家在分區上或者DataWorks調度參數配置問題，具體拿到真實的case模擬如下：

創建數據源：

步驟1 進入數據集成，點擊作業數據源，進入Tab頁面。
?

?

步驟2 點擊右上角
新增數據源，選擇消息隊列 loghub。

步驟3 編輯LogHub數據源中的必填項，包括數據源名稱、LogHub
Endpoint、Project、AK信息等，并點擊 測試連通性。
?

創建目標表：

步驟1 在左側tab也中找到臨時查詢，并右鍵>新建ODPS SQL節點。
?

?

步驟2 編寫建表DDL。
步驟3 點擊
執行 按鈕進行創建目標表，分別為ods_client_operation_log、ods_vedio_server_log、ods_web_tracking_log。

步驟4 直到日志打印成本，表示三條DDL語句執行完畢。
?

?

步驟5 可以通過desc 查看創建的表。
?

?

其他兩張表也可以通過desc 進行查詢。確認數據表的存在情況。

創建數據同步任務

數據源端以及在DataWorks中的數據源連通性都已經配置好，接下來就可以通過數據同步任務進行采集數據到MaxCompute上。
操作步驟
步驟1 點擊
新建業務流程 并 確認提交，名稱為 直播日志采集。
?

?

步驟2 在業務流程開發面板中依次創建如下依賴并命名。
?

?

依次配置數據同步任務節點配置：web_tracking_log_syn、client_operation_log_syn、vedio_server_log_syn。

步驟3 雙擊
web_tracking_log_syn 進入節點配置，配置項包括數據源（數據來源和數據去向）、字段映射（源頭表和目標表）、通道控制。
?

?

根據采集的時間窗口自定義參數為：

當然其消費點位也可以按照自定義設置5分鐘調度一次，從00：00到23:59，startTme=[yyyymmddhh24miss?10/24/60]系統前10分鐘到endTime=[yyyymmddhh24miss-5/24/60]系統前5分鐘時間（注意與上圖消費數據定位不同），那么應該配置為ds=[yyyymmdd-5/24/60]，hr=[hh24-5/24/60]，min=[mi-5/24/60]。

步驟4 可以點擊高級運行進行測試。
?

?

可以分別手工收入自定義參數值進行測試。

?

?

步驟3 使用SQL腳本確認是否數據已經寫進來。如下圖所示：
?

?

日志服務的日志正式的被采集入庫，接下來就可以進行數據加工。
比如可以通過上述來統計熱門房間、地域分布和卡頓率，如下所示：

?

具體SQL邏輯不在這里展開，可以根據具體業務需求來統計分析。依賴關系配置如上圖所示。

?

原文鏈接

本文為云棲社區原創內容，未經允許不得轉載。

轉載于:https://my.oschina.net/u/3889140/blog/3034137

總結

以上是生活随笔為你收集整理的通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。