NNI工具介绍
NNI (Neurol Network Intelligence) 是微軟開源的自動機器學(xué)習(xí)工具。與當前的各種自動機器學(xué)習(xí)服務(wù)或工具相比，有非常獨特的價值。本文先介紹一下 NNI 的特點，然后再后續(xù)的安裝、使用章節(jié)詳細介紹如何上手。
支持私有部署。云服務(wù)中的自動機器學(xué)習(xí)直接提供了自動機器學(xué)習(xí)的服務(wù)，不僅包含了自動機器學(xué)習(xí)的功能，也包含了算力。如果團隊或個人已經(jīng)有了很強的算力資源，就需要支持私有部署的自動學(xué)習(xí)工具了。
NNI 支持私有部署。整個部署也很簡單，使用 pip 即可完成安裝。
分布式調(diào)度。NNI 可以在單機上完成試驗，也支持以下兩種分布式調(diào)度方案：
GPU 遠程服務(wù)器。通過 SSH 控制多臺 GPU 服務(wù)器協(xié)同完成試驗，并能夠計劃每個試驗所需要的 GPU 的數(shù)量。
OpenPAI。通過 OpenPAI，NNI 的試驗可以在獨立的 Docker 中運行，支持多樣的實驗環(huán)境。在計算資源規(guī)劃上，不僅能指定 GPU 資源，還能制定 CPU，內(nèi)存資源。
超參搜索的直接支持。當前，大部分自動機器學(xué)習(xí)服務(wù)與工具都是在某個任務(wù)上使用，比如圖片分類。這樣的好處是，普通用戶只要有標記數(shù)據(jù)，就能訓(xùn)練出一個高質(zhì)量的平臺，不需要任何模型訓(xùn)練方面的知識。但這需要對每個訓(xùn)練任務(wù)進行定制，將模型訓(xùn)練的復(fù)雜性包裝起來。
與大部分現(xiàn)有的自動機器學(xué)習(xí)服務(wù)與工具不同，NNI 需要用戶提供訓(xùn)練代碼，并指定超參的搜索范圍。這樣的好處在于，NNI 幾乎是通用的工具，任何訓(xùn)練任務(wù)都可以使用 NNI 來進行超參搜索。但另一方面，NNI 的通用性，也帶來了一定的使用門檻。使用 NNI 需要有基本的模型訓(xùn)練的經(jīng)驗。
兼容已有代碼。NNI 使用時，可以通過注釋的方法來進行無侵入式的改動。不會影響代碼原先的用途。通過注釋方式支持 NNI 后，代碼還可以單獨運行。
易于擴展。NNI 的設(shè)計上有很強的可擴展性。通過下面這些擴展性，能將系統(tǒng)與算法相隔離，把系統(tǒng)復(fù)雜性都包裝起來。
Tuner 接口，可以輕松實現(xiàn)新的超參調(diào)試算法。研究人員可以使用 NNI 來試驗新的超參搜索方法，比如在強化學(xué)習(xí)時，在 Tuner 中支持 off-policy 來探索比較好的超參組合，在 Trial 里進行 on-policy 的實際驗證。也可以使用 Tuner 和訓(xùn)練代碼相配合，支持復(fù)雜的超參搜索方法。如，實現(xiàn) ENAS ，將 Tuner 作為 Control，在多個 Trial 中并行試驗。
Accessor 接口，可以加速參數(shù)搜索，將表現(xiàn)不好的超參組合提前結(jié)束。
NNI 還提供了可擴展的集群接口，可以定制對接的計算集群。方便連接已經(jīng)部署的計算集群。
可視化界面。在啟動一次超參搜索試驗后，就可以通過可視化界面來查看試驗進展，并幫助超參結(jié)果，洞察更多信息。
首頁，可以看到當前試驗的進展情況，搜索參數(shù)和效果最好的一些超參組合。
優(yōu)化進度頁面可以看到按時序排列的精度或損失值（此圖為精度）。可以看到，時間越靠后（右側(cè)），精度高的越多。這說明選擇的超參探索算法隨著時間能找到一些好的超參空間繼續(xù)探索。
通過超參的分布圖來直觀地看到哪些超參值會明顯比較好，或者看出它們之間的關(guān)聯(lián)。通過下面的顏色圖就能直觀地看到紅色（即精度較高的超參組合）線條所表達的豐富信息。如：
卷積核大一些會表現(xiàn)較好。
全連接層大了不一定太好。也許是所需要的訓(xùn)練時間增加了，訓(xùn)練速度太慢造成的。
而學(xué)習(xí)率小一些（小于0.03），表現(xiàn)基本都不錯。
ReLU 比 tanh 等其它激活函數(shù)也好不少。
...
通過試驗狀態(tài)頁面，能看到每個試驗的時間長度以及具體的超參組合。
通過控制頁面還可以實時的增加試驗的超參組合，或者調(diào)整超參的范圍。
?
?
使用方法和更多詳情，可參考 GitHub 的官網(wǎng)，有問題或 bug 可以直接提 Issue。
?
?
?
https://github.com/Microsoft/nni
?
https://microsoft.github.io/
---------------------?
作者：曾先森向前進?
來源：CSDN?
原文：https://blog.csdn.net/zwqjoy/article/details/85051862?
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！
總結(jié)
- 上一篇： 表数据比图数据更难处理
- 下一篇： AutoML Vision教程：训练模型