本期實戰(zhàn)為圖像分類第二期，我們使用數(shù)據(jù)智能標注、模型訓(xùn)練和模型部署端到端模擬真實AI開發(fā)場景，構(gòu)建一個圖像分類應(yīng)用。

1. 配置ModelArts訪問秘鑰

登錄ModelArts管理控制臺，在“全局配置”界面添加訪問秘鑰，如下圖（如已添加密鑰，可跳過此步）：

特別注意的點：區(qū)域選擇 北京一，我這邊已添加，因為在做第一期的時候有添加好，第一期的實踐地址:

https://github.com/huaweicloud/ModelArts-Lab/issues/49

2. 數(shù)據(jù)智能標注

在監(jiān)督學(xué)習(xí)中，AI開發(fā)者首先需要給訓(xùn)練數(shù)據(jù)打標簽。如果數(shù)據(jù)量比較大，給數(shù)據(jù)打標簽的工作量會很大。ModelArts的智能標注功能可以只標注少量的數(shù)據(jù)，然后智能標注剩余的數(shù)據(jù)，從而減少開發(fā)者的工作量。此小節(jié)中，我們演示ModelArts智能標注功能。

步驟 1?? ?點擊此處? ?(https://modelarts-labs.obs.cn-north-1.myhuaweicloud.com/end2end/image_recognition/dog_and_cat_200.tar.gz)，下載小樣本的貓狗識別數(shù)據(jù)集，然后解壓壓縮包至本地。

此數(shù)據(jù)集包含貓和狗的圖片各100張，名稱為dog_and_cat_200，即經(jīng)過7ZIP的兩次提取，獲得文件夾，打開里面會有200張圖片

步驟 2?? ?使用OBS Browser上傳文件夾dog_and_cat_200至OBS路徑/ai-course-001/dog_and_cat_recognition/下（其中，ai-course-001是OBS桶名，在創(chuàng)建OBS桶的時候可以自己定義桶名，dog_and_cat_recognition是OBS桶下的一個文件夾）。如果OBS桶和路徑不存在，需要自己創(chuàng)建。注意：OBS桶名全局唯一，如果創(chuàng)建桶時桶名沖突，需要選擇其他桶名。

OBS是對象儲存服務(wù)的英文縮寫，是華為云上的數(shù)據(jù)存儲服務(wù)。

OBS Browser是OBS客戶端的英文名稱，用來上傳本地文件至OBS。

OBS Browser的下載鏈接：https://support.huaweicloud.com/clientogw-obs/zh-cn_topic_0045829056.html

以下是我本機操作時的文件夾創(chuàng)建過程：文件夾為dog_and_cat_recognition，ai-course-test為我第一次實驗時已創(chuàng)建好的

步驟 3?? ?在ModelArts數(shù)據(jù)標注中創(chuàng)建數(shù)據(jù)集

在ModelArts中左側(cè)找到“數(shù)據(jù)標注”，先做OBS服務(wù)授權(quán)，如下圖所示：

然后點擊“創(chuàng)建數(shù)據(jù)集”，創(chuàng)建數(shù)據(jù)集頁面填寫方式如下：注意紅框部分，按要求填寫，其中輸出位置的長度有限制，適當(dāng)截取

數(shù)據(jù)集名稱：dataset-dog-and-cat

數(shù)據(jù)集輸入位置：dog_and_cat_200文件夾所在的OBS路徑

數(shù)據(jù)集輸出位置：標注后數(shù)據(jù)的輸出OBS路徑。如果不存在，需要自己創(chuàng)建，我當(dāng)前的是dog_and_cat_200_label，與dog_and_cat_200在同一個文件夾中

標注場景：物體

標注類型：圖像分類

添加標簽集："dog"和"cat"

填寫完畢所有的字段后，點擊創(chuàng)建。

上述截圖中，太著急，dog拼錯了，可以點擊修改，到修改畫面：

步驟 4?? ?手工標注部分數(shù)據(jù)

點擊進入剛剛創(chuàng)建的數(shù)據(jù)集，手工標注部分數(shù)據(jù)。我們建議標注貓和狗各20到30張圖片，剩余的圖片采用智能標注。手工標注的方式參考數(shù)據(jù)集頁面右上角的“標注樣例說明”。

手工標注完的界面如下：? 此處都各自標注 30張圖片，如圖，我們看到已標注60張，未標注140張

步驟 5?? ?剩余的數(shù)據(jù)使用智能標注

點擊“智能標注“頁簽，然后點擊”啟動智能標注“按鈕。在彈出的對話框中，模型來源選擇“自動選擇”。然后點擊提交。（智能標注作業(yè)運行過程預(yù)計3到5分鐘左右，ModelArts使用高峰期可能會有時間延遲）

步驟 6?? ?處理智能標注結(jié)果

智能標注作業(yè)完成后，我們需要人工仔細確認每張圖片的智能標注的結(jié)果。

首先，對標注正確的圖片進行接納。

對智能標注結(jié)果進行分類，依次處理每個類別。點擊類別下拉框，選擇其中一類，比如cat，如下圖所示：

人工確認每張圖片，如果是cat，就選擇圖片（可以多選），然后點擊按鈕“將選中的圖片確認為已標注”，接納標注結(jié)果。注意，不是cat的圖片，不要選，后面會處理。如下圖：

cat類別的圖片確認完之后，按照相同的方式處理dog類別。

對于錯誤的標注結(jié)果，我們在下一步中處理。

從結(jié)果來看，發(fā)現(xiàn)cat的識別還算正常，但是dog的識別上出現(xiàn)錯誤標注，如下圖：

步驟 7?? ?處理智能標注錯誤的結(jié)果

最后，對于智能標注錯誤的結(jié)果，可以在“未標注”頁簽統(tǒng)一查看到。

對于這些智能標注錯誤的圖片，我們點擊“啟動智能標注”按鈕，使用智能標注再次給這些圖片標注。原理是：由于訓(xùn)練數(shù)據(jù)量增加，標注的精度會大大增加。

等待第二次的智能標注作業(yè)運行完成。

步驟 8?? ?再次處理智能標注

依據(jù)之前處理智能標注結(jié)果的流程，處理第二次的智能標注作業(yè)。

迭代上述過程，直到完成所有圖片的標注。

小結(jié)

在本小節(jié)中，我們學(xué)習(xí)了如何使用ModelArts智能標注減少我們的標注工作量。當(dāng)數(shù)據(jù)量比較小時，減少工作量的效果不是很明顯，但是當(dāng)數(shù)據(jù)量較大、標注任務(wù)較復(fù)雜（比如目標檢測、實例分割等任務(wù)）的時候，智能標注將會幫助開發(fā)者顯著減少工作量。你可以使用自己的大樣本數(shù)據(jù)集體驗ModelArts的智能標注功能。

在接下來的模型訓(xùn)練階段，由于本小節(jié)標注得到的數(shù)據(jù)量較少，我們不會采用該小節(jié)標注得到的數(shù)據(jù)集，而是采用已經(jīng)標注好的數(shù)據(jù)集來訓(xùn)練模型。

3. 模型訓(xùn)練

接下來，我們基于?貓狗識別notebook案例?中開發(fā)的算法，編寫一個訓(xùn)練腳本，然后使用ModelArts訓(xùn)練作業(yè)訓(xùn)練一個模型。

本案例使用的神經(jīng)網(wǎng)絡(luò)模型是VGG16，VGG16模型是一個經(jīng)典，而且簡單有效的神經(jīng)網(wǎng)絡(luò)模型，可以有效地學(xué)習(xí)圖像的一些簡單的特征。VGG模型的解析見此鏈接?。

具體的提交訓(xùn)練作業(yè)的步驟如下：

下載 ModelArts-Lab?項目：https://github.com/huaweicloud/ModelArts-Lab.git

步驟 1?? ? 在本地的ModelArts-Lab代碼庫train_inference/image_recognition/codes/路徑下找到模型訓(xùn)練腳本dog_and_cat_train.py?，將訓(xùn)練腳本上傳至OBS路徑/ai-course-001/dog_and_cat_recognition/codes/下（codes文件夾如果不存在，需創(chuàng)建，該文件夾名稱可以自定義）。

訓(xùn)練腳本的名稱可以自定義。如下圖所示：

步驟 2?? ? 下載訓(xùn)練數(shù)據(jù)集? （https://modelarts-labs.obs.cn-north-1.myhuaweicloud.com/end2end/image_recognition/dog_and_cat_25000.tar.gz）至本地，無需解壓?（在訓(xùn)練腳本中會做解壓操作）。然后上傳訓(xùn)練數(shù)據(jù)集壓縮包至OBS路徑/ai-course-001/dog_and_cat_recognition/data/下（data文件夾如果不存在，需創(chuàng)建，該文件夾名稱可以自定義）。

該訓(xùn)練數(shù)據(jù)集壓縮包共五百多MB，包含貓和狗圖片各12500張，數(shù)據(jù)集文件名稱是 dog_and_cat_25000.tar.gz 。

步驟 3?? ? 在ModelArts“訓(xùn)練作業(yè)”界面，單擊“創(chuàng)建”按鈕，進入創(chuàng)建訓(xùn)練作業(yè)頁面。按照如下指導(dǎo)填寫字段：

名稱：dog_and_cat_recognition

數(shù)據(jù)來源：選擇數(shù)據(jù)存儲位置

數(shù)據(jù)存儲位置：訓(xùn)練數(shù)據(jù)集的路徑，選擇OBS路徑/ai-course-test/dog_and_cat_recognition/data/

算法來源：常用框架

AI引擎：TensorFlow，TF-1.13.1-python3.6

代碼目錄：訓(xùn)練腳本所在的目錄，選擇OBS路徑/ai-course-test/dog_and_cat_recognition/codes/

啟動文件：訓(xùn)練腳本，選擇OBS路徑/ai-course-test/dog_and_cat_recognition/codes/dog_and_cat_train.py

運行參數(shù)：添加max_epochs=20。運行參數(shù)中設(shè)置的變量會傳入到訓(xùn)練腳本中，經(jīng)過解析，可以使用。此字段用于設(shè)置算法中的超參。

訓(xùn)練輸出位置：選擇OBS路徑/ai-course-test/dog_and_cat_recognition/output/（output文件夾如果不存在，該文件夾名稱可以自定義，需創(chuàng)建）。訓(xùn)練輸出位置用來保存訓(xùn)練輸?shù)玫降哪Ｐ秃蚑ensorBoard日志。

資源池：機器的規(guī)格，選擇“計算型GPU(P100)實例”，表示這臺機器包含一張GPU卡。此處是P100，不是4P100

計算節(jié)點個數(shù)：選擇1，表示我們運行一個單機訓(xùn)練任務(wù)。（注：本訓(xùn)練腳本不支持分布式訓(xùn)練）

所有字段填寫好之后，確認參數(shù)無誤，點擊下一步，然后點擊立即創(chuàng)建，開始訓(xùn)練。訓(xùn)練時長預(yù)計5到8分鐘左右，ModelArts使用高峰期可能會有時間延遲。

步驟 4?? ? 查看作業(yè)運行結(jié)果。在訓(xùn)練作業(yè)頁面，點擊作業(yè)名稱，進入作業(yè)詳情界面。可以查看到訓(xùn)練作業(yè)的詳情，如下圖所示：

?

其中，配置信息展示的是創(chuàng)建訓(xùn)練作業(yè)時填寫的參數(shù)和配置信息；

日志展示的是訓(xùn)練腳本運行過程中輸出的日志，如果作業(yè)運行失敗，可以通過日志信息定位問題；

資源占用情況展示CPU、GPU和內(nèi)存的利用率；

評估結(jié)果展示訓(xùn)練得到的模型的精度，本訓(xùn)練腳本只計算了準確率。可以在以下位置查看模型精度：

本次訓(xùn)練得到的模型的精度是0.8368。

步驟 5?? ? 創(chuàng)建TensorBoard查看訓(xùn)練過程，查看loss， accuracy等參數(shù)的變化信息。在訓(xùn)練詳情頁面，點擊“創(chuàng)建TensorBoard”按鈕，會跳轉(zhuǎn)到創(chuàng)建TensorBoard頁面：

名稱：tensor-dog-and-cat

日志路徑：TensorBoard日志的OBS存儲路徑，會自動讀取，請保持不變。

點擊“下一步”，確認參數(shù)，然后點擊“立即創(chuàng)建”。最后點擊“返回TensorBoard”，等待TensorBoard創(chuàng)建完成。

當(dāng)狀態(tài)處于“運行中”時， 點擊TensorBoard名稱，進入TensorBoard，可以看到TensorBoard界面，如下所示：

TensorBoard可以直觀地顯示訓(xùn)練過程中l(wèi)oss、accuracy等評估指標的變化曲線，為開發(fā)者優(yōu)化模型精度提供依據(jù)。

4. 部署模型

模型訓(xùn)練完成后，可以在ModeArts上將模型部署為在線預(yù)測服務(wù)。

步驟 1?? ? 在本地的ModelArts-Lab代碼庫train_inference/image_recognition/codes/路徑下中找到推理腳本customize_service.py?和模型部署配置文件config.json?，然后將這兩個文件上傳到訓(xùn)練輸出位置/ai-course-001/dog_and_cat_recognition/output/下的model目錄下（其中，model目錄是訓(xùn)練作業(yè)保存模型的目錄。如果使用多版本訓(xùn)練，注意訓(xùn)練輸出位置中包含版本號）。

customize_service.py推理腳本中有兩個方法。_preprocess?是預(yù)處理方法，在推理請求前調(diào)用，用于將API接口用戶原始請求數(shù)據(jù)轉(zhuǎn)換為模型期望輸入數(shù)據(jù)。_postprocess?是后處理方法，在推理請求完成后調(diào)用，用于將模型輸出轉(zhuǎn)換為API接口輸出。

config.json 是模型部署配置信息，定義了AI引擎的類別，推理腳本需要的Python依賴等。

ModelArts平臺約定：推理腳本的名稱必須為customize_service.py，模型部署配置文件的名稱必須為config.json。

步驟 2?? ?導(dǎo)入模型。點擊“模型管理”界面，然后點擊“導(dǎo)入”按鈕，如下圖：

?

進入導(dǎo)入模型界面，按照下圖指導(dǎo)，填寫參數(shù)：

?

名稱：model-dog-and-cat

版本：0.0.1

元數(shù)據(jù)來源：從訓(xùn)練中選擇

選擇訓(xùn)練作業(yè)：選擇之前創(chuàng)建的貓狗識別訓(xùn)練作業(yè)

版本：選擇相應(yīng)的版本

其他參數(shù)會自動加載

點擊立即創(chuàng)建按鈕，等待模型導(dǎo)入完成。

步驟 3?? ? 將模型部署成在線服務(wù)。

在模型管理頁面， 找到之前導(dǎo)入的模型，點擊“部署”下拉框中的“在線服務(wù)”，如下圖：

進入部署頁面，按照下圖指導(dǎo)，填寫相關(guān)參數(shù)：

名稱：service-dog-and-cat

資源池：公共資源池

選擇模型及配置：會自動加載，保持默認

點擊“下一步”按鈕，然后點擊“立即創(chuàng)建”按鈕，最后點擊“查看服務(wù)詳情”。等待在線服務(wù)部署成功（狀態(tài)變成“運行中”），大概需要預(yù)計3到8分鐘左右，ModelArts使用高峰期可能會有時間延遲。

5. 發(fā)起預(yù)測請求

當(dāng)在線服務(wù)部署成功后，我們可以使用測試圖片進行預(yù)測。

將本案例提供的幾張測試圖片?(https://github.com/huaweicloud/ModelArts-Lab/blob/master/train_inference/image_recognition/data)下載至本地，或者從網(wǎng)絡(luò)上下載若干張包含貓或者狗的圖片作為測試圖片。

在“部署上線”->"在線服務(wù)"中，找到自己剛剛部署的在線服務(wù)，點擊進入，然后點擊“預(yù)測”頁簽。點擊“上傳”按鈕，選擇準備好的貓或者狗圖片，并上傳，然后點擊“預(yù)測”按鈕，預(yù)測結(jié)果會出現(xiàn)在右側(cè)輸出框中，如下圖所示：

如果上傳的圖片中不包含貓或者狗，可能會出現(xiàn)錯誤的結(jié)果。

注意：實驗完成后，為了防止繼續(xù)扣費，需要把在線服務(wù)停止掉，在線服務(wù)停止后可以重新啟動。點擊“停止”按鈕即可：

總結(jié)

以上是生活随笔為你收集整理的【华为云 ModelArts-Lab AI实战营】第二期的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。