今天我來講下如何在 Zeppelin 里做機器學習。機器學習的重要性我就不多說了，我們直奔主題。

Flink 在機器學習這個領域發力較晚，社區版沒有一個完整的機器學習算法庫可以用，Alink[1]是目前 Flink 生態圈相對比較完整的機器學習算法庫，Alink 也在往 Flink 社區貢獻的路上。今天我主要講的就是如何在 Zeppelin 里使用 Alink。

為什么在 Zeppelin 平臺使用 Alink

Zeppelin 已經很好的集成了 Flink，在 Zeppelin 中使用 Alink 可以充分利用 Zeppelin 集成 Flink 所提供的特性，包括：

• 支持豐富的執行模式：Local/Remote/Yarn
• 支持對接 Hive
• 支持 UDF （Scala，Python）
• 支持 SQL （Batch SQL， Streaming SQL)
• 支持可視化

有關 Flink on Zeppelin 的具體特性支持可以參考下面的文章和釘釘直播視頻。

Flink on Zeppelin 文章系列：

• Flink on Zeppelin（1）入門篇
• Flink on Zeppelin（2）Batch 篇
• Flink on Zeppelin（3）Streaming 篇

Flink on Zeppelin 直播系列：

• Flink on Zeppelin: 極致體驗(1) 入門 + Batch
  https://ververica.cn/developers/flink-training-course3/
• Flink on Zeppelin: 精致體驗(2) Streaming + 高級應用
  https://ververica.cn/developers/flink-training-course3/

準備工作

首先你需要安裝 Zeppelin + Flink + Alink：

• 安裝 Zeppelin 和 Flink，請參考 Flink on Zeppelin 入門篇
• 運行下面的命令安裝 pyalink

pip install pyalink

• 安裝 Alink jar 包

  • 安裝完 pyalink 之后，你可以在 python 目錄里找到 Alink 的 jar 包，然后把這些 jar 包 copy 到 Flink 的 lib 目錄下，這是我的機器上的 jar 包位置：

驗證 Alink

現在你可以就可以在 Zeppelin 里運行 Alink 了，有關 Alink 的具體用法我就不再詳述，大家可以參考1。首先我們來運行下面的代碼來驗證下前面的準備工作是否正確完成，是否能在 Zeppelin 里運行 Alink。

如果你看到了下面的輸出，那么說明 Alink 已經正確安裝。

Warning: useCustomEnv will do nothing, since useCustomEnv is used to initialize MLEnv.a b 0 1 2 1 2 5 2 3 1

上面最重要的一行代碼是這行：

mlenv = useCustomEnv(gateway,b_env,bt_env_2, s_env, st_env_2)

mlenv 是 Alink 的入口，b_env, bt_env_2, s_env, st_env_2 是 Zeppelin 為 Flink 創建的變量（代表 ExecutionEnvironment，BatchTableEnvironment, StreamExecutionEnvironment, StreamTableExecutionEnvironment)。這里的 bt_env_2 和 st_env_2 代表支持 Flink Planner 的 TableEnvironment，因為 Alink 目前是基于 DataSet 的，只支持 Flink Planner，所以這里需要用 bt_env_2, st_env_2。（具體可參考Batch篇）

Logsitic Regression

接下來我會以 Alink 的 Logstic Regression 算法來演示如何在 Zeppelin 中使用 Alink。在這個 demo 中，我會選用 bank 數據，這也是我在 Batch 篇中使用的數據。機器學習的模型訓練往往只是整個機器學習任務的一小步，在做機器學習之前往往需要清理數據，數據分析等等。這里的 Bank 數據就是我的 Batch 篇中用 Flink 引擎清理過的數據。

bank 數據：
https://archive.ics.uci.edu/ml/datasets/bank+marketing

Step 1. 定義訓練數據+測試數據

Step 2. 定義訓練特征和目標

Step 3. 構建 Pipeline

運行 Step 1 和 Step 2 都會非常快，因為沒有觸發 Flink Job，Step 3 會觸發 Flink Job，開始真正的機器學習訓練，右上角你會看到 Flink 的 Job Link。

Step 4. 查看 Model Metrics

訓練模型結束之后只是整個機器學習任務的一小步，之后你往往需要反復修改代碼來改進模型，查看模型的 Metrics 就是其中很重要的一步，從模型的 Metrics 之中你往往可以看出一些端倪，給改進模型尋找方向。

■ Step 5. 錯誤數據診斷

除了查看 Model Metrics，你還可以看看那些沒有被正確分類的數據，從這些數據中尋找線索。

這個就是如何在 Zeppelin 中使用 Alink 來做機器學習，正如之前所述，模型訓練只是機器學習的一小步，機器學習之前你往往需要做數據清理，數據探索等等，這時候你就可以利用 Zeppelin 中集成的 Flink 能力來做這些事情，總之你可以在 Zeppelin 這個平臺完成整個端到端的數據處理，數據分析，機器學習整條鏈路。

如果有碰到任何問題，請加入下面這個釘釘群討論。

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的Flink on Zeppelin (4) - 机器学习篇的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。