如何开通实时计算 Flink 版?
作者:趙開興(純庚)
摘要:
本文由阿里巴巴產品專家趙開興分享,主要介紹實時計算 Flink的開通、功能及使用,并通過多個演示示例進行詳細demo演示。內容主要分享以下幾部分:
1、Blink獨享集群使用介紹
2、Flink 全托管集群的使用
通過前兩篇對實時計算 Flink的發展、技術原理、應用及行業案例等的介紹后,本篇將介紹如何開通和使用實時計算 Flink。
在介紹之前,首先介紹公有云上的產品形態。從下圖可見云上的產品形態分為全托管和半托管,那么如果從使用習慣上劃分,可分為兩類,分別是Blink獨享集群和Flink VVP。
基于這兩個分類,分別介紹如何開通和使用。
在Blink的獨享集群上,將會介紹進行集群的開通,以及SQL作業的開發、調試、提交和運行的實操流程。在 Flink 全托管上,將會介紹集群的開通和Datastream作業的創建、提交和運行。
一、Blink獨享集群使用介紹
1、Blink獨享集群的開通
Blink獨享集群的開通需要一些準備工作。
● 第一步,登錄阿里云的賬號,因為需要使用阿里云的資源;
● 第二步,創建OSS,OSS用來存儲用戶的一些Jar包資源;
● 第三步,創建VPC和Vswitch。因為Blink獨享集群最終是部署在用戶的VPC下。
● 第四步,創建角色AliyunStreamDefaultRole,即自動化角色授權。
準備工作做完,就進入到了開通流程。主要分三步:
第一步,購買訂單;
在選擇地域的時候,要與創建的OSS選擇同一區域。值得注意的是,Slave型號選擇決定了創建集群的可用資源。
第二步,創建集群;
購買支付完成后,點擊進入管理控制臺,如下圖。在控制臺的下方顯示有一個 Blink 獨享集群,他有對應的一個訂單,點擊訂單右側的“創建集群”。
創建過程中,會彈出提醒授權的窗口,點擊“前往授權”,跳轉頁面后點擊“同意授權”。
授權成功后的頁面左側點擊“集群列表”,然后點擊右上方的“新建集群”。
然后選擇對應的已購訂單,并填寫基本信息。提醒注意,創建完成后,集群的名稱和備注是無法修改的。
點擊下一步后,需要選擇集群配置。選擇OSS-Bucket,然后在選擇VPC,完成創建。
當集群的狀態由“啟動中”變更到“運行中”,就說明集群已經創建成功。
第三步,創建項目。
在集群列表中,點擊創建項目。
然后完善彈窗需要填寫的信息,完成創建。選擇CU數量的時候,需要根據購買訂單配置的CU數量內選擇,如果不需要再創建其他項目,可以選擇全部用滿。
創建成功后,點擊查看集群項目可以看到項目的名稱、備注信息和對應資源。
點擊項目名稱就可以進入到項目的開發界面。
到此,Blink 獨享集群的開通就完成了。
2、Blink獨享集群的開發
開發介紹分為幾個部分,分別是:
● 創建作業;
● 開發代碼;
● 本地調試;
● 提交作業;
● 運行作業;
● 運維作業。
上圖的右側是實時作業的代碼,主要有三部分的要素:第一個部分是Random的源表,Random的作用是實時生成數據;然后第二部分是Print結果表,Print作用是把數據輸出到taskmanager.out日志里;第三部分是計算邏輯,非常簡單,目的是取隨機生成的字符的首字母,然后將判斷大寫的首字母過濾出來。
實操演示
首先新建作業。進入開發界面點擊新建作業,然后補充名稱信息。作業類型選擇SQL,Blink獨享集群也支持創建Datatstream作業類型。然后選擇對應目錄,確定完成。
創建完成后,左側會出現 Flinkjob,點擊并把上圖展示的代碼拷貝進來。拷貝完成可以通過語法檢查工具檢查代碼語法是否無誤。
第二步本地的調試。點擊“調試”,并上傳需要作業的數據。
上傳成功后可以在數據預覽看到上傳的數據,然后點擊確定。這樣就開始本地作業的運行了。
運行過程中,可以從 out.table中看到,輸入了三條數據,但是只輸出了一條數據,這條輸出的數據就是通過運行作業,檢索出來的首字母為大寫的數據。這樣本地調試完成,證明代碼邏輯是正確的。
第二步提交作業。調試完成后,把作業提交到線上。點擊右上角的上線在上線的過程中,給作業進行資源配置。如下圖所示,資源配置一共有三種,第一種上次自動調優,即配置成與之前運行一樣的資源;第二種系統分配;第三種是手動配置,可以在資源配置界面完成配置。
點擊系統分配資源后,點擊下一步,彈窗會顯示進行數據檢查,滾動條走完點擊上線即完成。
跳轉到運維頁面,啟動作業。
啟動作業時需要選擇讀取數據的時間信息,此次演示使用的是Random,選擇當前時間即可,點擊確認作業就提交到集群了。
第四步作業運維。在運行信息上可以看到作業的運行信息,比如消耗的CU數、輸入輸出指標等等,在“數據曲線”里也可以查看運行的曲線信息。
如果作業出現異常,在 Failover里,可以看到作業自動恢復的日志信息。Jobmanager里也有日志信息。
點擊TaskManager,通過TaskManger.out日志,可以看到每一條輸出的數據。可以發現每一個輸出的數據首字母都是大寫的,那么證明沒問題。
二、Flink 全托管集群的使用
1、Flink全托管集群的開通
準備工作。
● 第一步,登錄阿里云賬號;
● 第二步,創建OSS;
● 第三步,創建VPC和Vswitch
● 第四步,準備AccessKey ID/AccessKey Secret(這個部分正在做優化,未來可能就不需要準備AccesKey信息了)
● 第五步,創建角色AliyunStreamAsiDefaultRole,即自動化角色授權。
準備工作完成后,進行開通工作。很簡單,只有兩步:
第一步,購買訂單;因為 Flink 全托管集群現在已經商業化了,所以在購買的過程中會需要進行公測的申請。
如下圖所示,如果公測申請完成,按鈕會變成“購買產品”。
點擊購買后,點擊角色授權并同意即可。然后點擊實名認證。
然后選擇付費模式和地域,此操作同Blink獨享集權一樣。
然后創建虛擬機,選擇網端,并確定完成。
完成后,回到購買頁面,然后刷新,可以看到已經購買的交換機。補充工作名稱,提交AccessKey等信息后,確認訂單并支付。
支付完成后回到管理控制臺,可以看到 Flink 全托管集群,當狀態變成“運行中”表明 Flink全托管集群開通完成。
第二步,自動創建工作空間。
完成開通后,在控制臺頁面點擊右側的“開發控制臺”,就可以進入到VVP的一個開發界面。
2、Flink全托管DataStream作業
開發介紹分為幾個部分,分別是:
● 上傳jar (Artifacts)
● 創建Deployment
● 啟動Deployment
實操演示
這次演示不涉及DataStream作業的開發,演示使用的是 Apache Flink 官網上1.11版本上對應的一個example。
第一步上傳文件。打開開發界面,點擊“選擇文件”,上傳example到OSS里。
第二步創建作業。創建作業的過程中有可供選擇的配置,包括標準配置和高級配置。選擇標準配置后,補充作業名稱等信息。
創建作業的高級頁面上,除了有已經填寫的基本信息,還可以選擇升級策略、初始化狀態以及恢復策略等。 也可以設置并行度和資源信息。
填寫完信息后點擊創建,就完成了一個Deployment的創建。
第三步啟動 Deployment。直接點擊啟動就ok了。
點擊啟動之后,可以看到右上方有一個“期望的狀態”和“當前的狀態”,當“期望的狀態”和“當前的狀態”一致的時候,就表明這個作業已經提交到集群上面正常運行了。
第四步作業運維。在總覽頁面可以看到作業的狀態信息,也可以通過拓撲圖看到拓撲信息。
運行事件里可以看到整個作業提交和運行過程中的事件信息。
實例頁面可以看到當前作業的狀態。
在上圖頁面右側有兩個“操作”,左側點進去是開源的 Flink 云原生的web UI,在這里可以進行一些勘察和運維的操作;右側點進去是告警監控的頁面,通過這個頁面可以監控和查看當前作業的運行狀態和Metric曲線。
還有Savepoint信息和提供的自動配置調優的功能。
以上就是針對Blink獨享集群和 Flink 全托管集群的開通、運行和運維的介紹。
原文鏈接:https://developer.aliyun.com/article/780626?
版權聲明:本文內容由阿里云實名注冊用戶自發貢獻,版權歸原作者所有,阿里云開發者社區不擁有其著作權,亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容,填寫侵權投訴表單進行舉報,一經查實,本社區將立刻刪除涉嫌侵權內容。總結
以上是生活随笔為你收集整理的如何开通实时计算 Flink 版?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 实时计算 Flink 版应用场景解读
- 下一篇: 如何使用实时计算 Flink 搞定实时数