背景介紹

最近看了很多MLflow相關的內容，做一個簡單的分享。MLFlow是一款管理機器學習工作流程的工具，核心由以下4個模塊組成：

MLflow Tracking：如何通過API的形式管理實驗的參數、代碼、結果，并且通過UI的形式做對比。

MLflow Projects：代碼打包的一套方案

MLflow Models：一套模型部署的方案

MLflow Model Registry：一套管理模型和注冊模型的方案

今天重點講講MLflow Tracking，也就是如何做機器學習不同模型下的實驗的管理以及效果的比對。

詳細流程

（1）安裝環境

肯定要首先安裝mlflow，可以通過pip install mlflow的方式進行安裝。

（2）訓練代碼

可以使用mlflow的官方demo做模型的訓練，具體代碼如下：

重點看下最后幾行：

mlflow.log_param("alpha", alpha)

mlflow.log_param("l1_ratio", l1_ratio)

mlflow.log_metric("rmse", rmse)

mlflow.log_metric("r2", r2)

mlflow.log_metric("mae", mae)

在這幾行代碼中，demo通過mlflow sdk注冊了參與訓練的參數，分別是alpha和l1_ratio，另外也注冊了metric（參與評估的指標）為rmse、r2、mae

（3）執行訓練任務

import os

import warnings

import sys

?

import pandas as pd

import numpy as np

from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score

from sklearn.model_selection import train_test_split

from sklearn.linear_model import ElasticNet

import mlflow

import mlflow.sklearn

import logging

logging.basicConfig(level=logging.WARN)

logger = logging.getLogger(__name__)

?

def eval_metrics(actual, pred):

? ? rmse = np.sqrt(mean_squared_error(actual, pred))

? ? mae = mean_absolute_error(actual, pred)

? ? r2 = r2_score(actual, pred)

? ? return rmse, mae, r2

?

if __name__ == "__main__":

? ? warnings.filterwarnings("ignore")

? ? np.random.seed(40)

? ? # Read the wine-quality csv file from the URL

? ? csv_url =\

? ? ? ? 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'

? ? try:

? ? ? ? data = pd.read_csv(csv_url, sep=';')

? ? except Exception as e:

? ? ? ? logger.exception(

? ? ? ? ? ? "Unable to download training & test CSV, check your internet connection. Error: %s", e)

?

? ? # Split the data into training and test sets. (0.75, 0.25) split.

? ? train, test = train_test_split(data)

?

? ? # The predicted column is "quality" which is a scalar from [3, 9]

? ? train_x = train.drop(["quality"], axis=1)

? ? test_x = test.drop(["quality"], axis=1)

? ? train_y = train[["quality"]]

? ? test_y = test[["quality"]]

?

? ? alpha = float(sys.argv[1]) if len(sys.argv) > 1 else 0.5

? ? l1_ratio = float(sys.argv[2]) if len(sys.argv) > 2 else 0.5

?

? ? with mlflow.start_run():

? ? ? ? lr = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, random_state=42)

? ? ? ? lr.fit(train_x, train_y)

? ? ? ? predicted_qualities = lr.predict(test_x)

? ? ? ? (rmse, mae, r2) = eval_metrics(test_y, predicted_qualities)

? ? ? ? print("Elasticnet model (alpha=%f, l1_ratio=%f):" % (alpha, l1_ratio))

? ? ? ? print("? RMSE: %s" % rmse)

? ? ? ? print("? MAE: %s" % mae)

? ? ? ? print("? R2: %s" % r2)

?

? ? ? ? mlflow.log_param("alpha", alpha)

? ? ? ? mlflow.log_param("l1_ratio", l1_ratio)

? ? ? ? mlflow.log_metric("rmse", rmse)

? ? ? ? mlflow.log_metric("r2", r2)

? ? ? ? mlflow.log_metric("mae", mae)

? ? ? ? mlflow.sklearn.log_model(lr, "model")

接下來就可以執行訓練任務，每次執行需要傳兩個參數，分別對應代碼里的alpha和l1_ratio這兩個取值。

python train.py 0.4 0.4

python train.py 0.5 0.5

python train.py 0.6 0.6

訓練完后數據會在本地做一個存儲，以每次任務的實例名稱為文件夾名

?

每個任務下面有四個內容，分別是params、metrics、artifacts、tags

• Artifacts：存儲輸出的model

• Metrics：存儲了模型的評估指標，比如mae、r2、rmse

• Params：存儲的是一些參數

• Tags：存儲的是一些任務的meta，就是用戶、日志等等

（4）可視化管理

在terminal中運行命令：mlflow run

然后在瀏覽器輸入localhost:5000，可以打開mlflow的UI

experiments是實驗對照組，在選擇對照組后可以選擇不同的任務進行比較。

可以看到不同任務的效果比對：

也可以圖形化的展示：

?

總結

以上是生活随笔為你收集整理的如何用MLflow做机器学习实验效果比对的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。