Azure机器学习——创建Azure机器学习服务
創建Azure機器學習服務
- 一、Azure訂閱
- 二、創建Azure機器學習服務(工作區)
- 在Azure portal界面創建Azure機器學習工作區
- 使用Python SDK創建Azure機器學習工作區
- 三、Azure機器學習服務界面介紹
- portal界面
- 概述
- 訪問控制(標識和訪問管理)
- 標記
- 計算
- 鎖
- studio界面
- 筆記本
- 自動化 ML
- 設計器
- 數據集
- 試驗
- 管道
- 模型
- 終結點
- 計算
- 數據存儲
- 四、總結
本節主要介紹如何在Azure上創建一個機器學習服務以及介紹了Azure機器學習界面(portal和studio)上的相關欄目。
一、Azure訂閱
要創建Azure服務,需要訂閱Azure(訂閱表示購買Azure套餐)。如果已有Azure訂閱,請跳過此步。
世紀互聯為新用戶提供了一次初步體驗 Azure 的機會:1 元試用訂閱。僅需支付 1 元人民幣,就可以獲得有效期一個月、1500 元的 Azure 使用額度。
申請鏈接:注冊 1 元試用訂閱鏈接。
1 元試用訂閱使用限制:1元試用訂閱僅限于開發和測試使用,開通前請仔細閱讀1 元試用訂閱詳情和使用限制。
如果在1元試用訂閱有效期內及訂閱暫停期間想將 1 元試用訂閱升級到標準預付費訂閱,請參照此鏈接。
完成Azure訂閱后,登陸訂閱Azure個人賬戶網站,就可以看到個人賬戶下的訂閱信息。
圖1 注冊 1 元試用訂閱
注意1 元試用訂閱的限制
對于使用Azure機器學習,需要注意的是,1 元試用訂閱除了上述30天的限制外,還存在以下限制:
- 能夠創建的計算資源數量限制:最高上限為 4 個并發標準小型 ( A1 ) 計算實例,或同等數量的其他類型或大小的計算實例。(使用不了有GPU規格的虛擬機)
- 充值和有限期限制:標準預付費產品最低充值金額為人民幣 1,000 元,使用額度有效期為 12 個月。 12 個月后就算額度沒有用完,額度也將作廢。
個人覺得1 元試用訂閱的限制蠻多的,標準預付費產品的預付款模式也不怎么經濟。如果不想使用中國區的Azure機器學習服務,那么可以開通Global的Azure機器學習服務:立即創建 Azure 免費帳戶。
Global的Azure機器學習是30天200美元的免費額度。免費30天之后,可以升級成即用即付賬戶。Global的Azure機器學習的劣勢是所有資源都在大陸外,雖然不需要VPN,但是訪問和加載速度會慢一些。
二、創建Azure機器學習服務(工作區)
Azure機器學習工作區是Azure的基礎資源,用于試驗、訓練和部署機器學習模型。你在云上創建了一個Azure機器學習服務,相當于創建了一個Azure機器學習工作區。
在Azure portal界面創建Azure機器學習工作區
點擊圖1右上角所示的門戶,跳轉到Azure portal界面,如下圖所示。
圖2 Azure portal界面
portal中間顯示了最新創建和使用過的資源和資源組。更多關于portal的信息請查閱官方文檔。
點擊圖2中左上角的“創建資源+”,進入新建資源頁面。
圖3 新建資源
在圖3左上角的搜索市場中,輸入“機器學習”,在搜索結果中點擊“機器學習”。
圖4 機器學習服務
點擊創建,進入創建頁面:
圖5 機器學習創建頁面
主要:在上圖主要項下面:
- 工作區名稱:你新建的工作區的名稱。
- 訂閱:目前只有“1元版試用套餐”。
- 資源組:一個保存 Azure 解決方案相關資源的容器。如果想將資源放在一個新的組中,可以點擊“新建”。
Azure中層級目錄由高到低:賬戶——>訂閱——>用戶——>資源組——>資源。 - 位置:目前Azure 機器學習只在“中國東部2”可用。建議將同一個解決方案中的所有資源放在同一個位置,這樣可以減少解決方案中不同資源間網絡傳輸帶來的開銷。
關于Azure 全球基礎結構,請查看此鏈接。若要查詢某個資源是否在某個區域可用,可以使用此鏈接。 - 工作區版本:目前有基本版和企業版2個選擇。兩者的差別源于Azure機器學習的定價。
Azure機器學習的收費包括:虛擬機的收費和機器學習附加費。基本版對用于訓練和推理的 Azure 資源免收機器學習附加費。在企業版正式發布后,將(針對訓練和推理)收取定價如下所示的機器學習附加費。
基本版現已正式發布 (GA)。企業版現為預覽版,在此期間不收取機器學習附加費。由于企業版的很多功能基本版都不支持,并且企業版目前(2020/3/18)未收取機器學習附加費,因此建議選擇企業版。
標記:輸入鍵-值對來給新創建的資源做標記,比如創建者、所有者、資源用途等等。若要在資源組中顯示,點擊資源組中“編輯列”按鈕,可以在創建時或者創建后添加。
圖6 資源組中資源的標記信息
審閱:審查前面步驟所填寫信息是否有誤,如無誤點擊下方“創建”按鈕。
稍等片刻后資源部署成功,點擊下方“轉到資源”按鈕或者在portal主頁中點擊新創建的機器學習工作區,都可以進入剛剛創建的機器學習服務。
使用Python SDK創建Azure機器學習工作區
或者你可以直接通過Python SDK來創建一個Azure機器學習工作區。
SDK工作區命名空間:azureml.core.workspace.Workspace
使用以下代碼導入Workspace類并創建新工作區。 如果事先已有一個可用于該工作區的 Azure 資源組,請將 create_resource_group 設置為 False。期間可能會提示輸入 Azure 身份驗證憑據。
三、Azure機器學習服務界面介紹
使用Azure機器學習Python SDK可以快速進行各種ML試驗,也可以查看試驗的相關信息。除了SDK,Azure機器學習還提供了Azure 門戶(portal.azure.cn,Global:ms.portal.azure.com)和Azure 機器學習工作室(studio.ml.azure.cn,Global:ml.azure.com)這兩個地方查看上述信息,并且它們還有一些彼此不同的功能。熟悉使用它們可以讓Azure 機器學習的使用變得更加方便。
portal界面
Azure機器學習中國區的portal界面如下圖所示:
圖7 Azure機器學習中國區的portal界面
portal界面左側欄目中一些使用較多的介紹如下:
概述
我們可以在“概述”中看到工作區版本、資源組、位置、訂閱 和訂閱 ID這些信息,也可以看到在創建工作區時系統自動一起創建的幾個 Azure 資源的名稱,他們都自動放到了同一個資源組中:
- Azure 容器注冊表:注冊在 訓練和部署模型時使用的docker 容器。 Azure機器學習在訓練和部署中使用了容器化技術,對需要運行的每個 Python 環境創建一個docker鏡像,鏡像會被上傳到工作區。對于后續運行,只要不更改腳本依賴項,將重復使用已上傳的鏡像。 由于容器啟動的速度很快,因此訓練可在更短的時間內獲得更好的結果。
- 存儲帳戶:用作工作區的默認數據存儲,工作區可以直接使用該賬戶內的數據進行訓練。
- Azure 應用程序 Insights:存儲有關模型的監視信息。
- Azure Key Vault:存儲工作區所需的計算目標和其他敏感信息所使用的密鑰。
訪問控制(標識和訪問管理)
對該訂閱下的其他用戶設置角色(所有者、參與者等),不同的角色擁有不同的權限,從而限制某些用戶、團隊或者項目對工作區資源的訪問和修改。
標記
以鍵-值對的方式添加該資源的一些信息。
計算
該工作區中已創建的單節點或者多節點計算資源,包括用于訓練和推理的計算集群,以及附加到工作區的自己的計算資源。
圖8 Azure機器學習計算資源實例
鎖
可以添加“只讀”或者“刪除”鎖,防止自己或者別人誤改或者誤刪此資源。
下圖是Azure Global中機器學習的portal界面,可見與中國區相比,左側多了“試驗”、“管道”、“模型”等欄目。不過拋開portal界面的些微差別,中國區和Global的Azure機器學習功能基本一致,并不影響使用。
注意:世紀互聯運營的Azure中不能創建Global的Azure機器學習。
圖9 Azure機器學習Global的portal界面
studio界面
雖然portal界面中的“試驗”、“管道”、“模型”和“計算”等欄目可以讓我們實時查看訓練中的任務、已注冊的模型、運行中的計算集群等信息。但Azure機器學習還提供了一個更加強大的studio界面讓我們可以管理端到端機器學習過程。
注意:請勿將此Azure 機器學習工作室與機器學習工作室(經典版)混淆!
機器學習工作室(經典版)更加接近Azure 機器學習設計器(預覽版),都是通過拖、拉、拽已有模塊生成ML模型。Azure 機器學習工作室功能更加強大,但是現在是預覽版(Preview)。
點擊圖9中“體驗新的 Azure 機器學習工作室”下方的“立即啟動”按鈕,頁面跳轉到https://studio.ml.azure.cn,即Azure 機器學習工作室界面,如下圖所示:
圖10 Azure機器學習中國區的studio界面
studio界面左側的欄目比portal界面的多,功能也更加強大。下面進行介紹:
筆記本
其中包含了用Python和R語言寫的如何使用Azure機器學習的教程和例子,這些notebook也可以在此github中找到。
用戶可以將這些notebook clone到自己的文件夾中運行。
圖11 studio界面中的筆記本
自動化 ML
新建自動化ML試驗。在訓練過程中,Azure 機器學習會創建多個并行管道,嘗試使用不同的算法和參數。 一旦到達試驗中定義的退出條件,它就會停止。
如果直接在studio界面中新建自動化ML試驗,目前僅支持表格數據。
圖12 studio界面中的自動化ML
設計器
通過拖、拉、拽現成的模塊在幕布中生成機器學習模型。此種建模方法僅需要少量的編程知識或者完成不需要編程知識就可以搭建一個機器學習模型。
從圖中可以看出,Azure機器學習提供了很多現成的模塊,如數據輸入輸出、數據前處理、特征選擇、算法、模型訓練和評估等。
圖13 studio界面中的設計器
數據集
可以將本地文件、數據存儲、web文件或者開放數據集注冊成Azure機器學習數據集。注冊數據集的一個好處是同一個工作區的試驗或者用戶可以通過數據集的注冊名稱反復使用該數據集,而不用每次都通過文件路徑來訪問。
另外注冊數據集還有版本、創建時間、修改時間、屬性、創建者和標記等信息,方便數據集的管控和追蹤。
圖14 studio界面中的數據集
試驗
每次試驗的信息都在這里顯示,訓練中和訓練完成后要查詢訓練狀態和參數,可以在試驗中查詢。
管道
創建的管道(如設計器創建的模型)模型都會在這里顯示,需要查詢管道的運行狀態和信息,可以在管道中查詢。
模型
和數據集一樣,已經注冊的模型將會在這里顯示。
終結點
可以在此處查看部署后的終結點信息和狀態。
計算
和portal界面的計算一樣,此處顯示Azure機器學習工作區關聯的計算資源。
數據存儲
工作區默認的Blob存儲和其他注冊到工作區的Blob存儲都會在這里顯示。
圖15 studio界面中的數據存儲
提供了一個在線的圖像分類和目標檢測打標簽的工具,打好標簽的數據可以通過注冊數據集的方式直接給工作區使用,也可以已COCO數據集的格式導出。
圖16 studio界面中的數據標記
四、總結
- 以上介紹了Azure訂閱和Azure機器學習的創建方法。可以通過portal界面和studio界面來查看Azure機器學習的相關信息。
- 相比portal界面,studio界面內容更豐富,功能也更強大。目前機器學習studio雖然只是預覽版,但是正式版會很快推出,建議大家使用Azure機器學習時充分使用studio的功能。
- 你可以用Azure機器學習的Python SDK或者Azure 機器學習 studio來使用Azure機器學習。雖然在studio界面上點擊“新建”就可以直接完成一些機器學習試驗,但是還是推薦大家使用SDK來充分使用Azure機器學習,接下來會用Python SDK向大家介紹如何使用Azure機器學習。
總結
以上是生活随笔為你收集整理的Azure机器学习——创建Azure机器学习服务的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 线性代数之行列式
- 下一篇: Markdown调整多种字体