人工智能微控制器體系結(jié)構(gòu)

Microcontroller architectures evolve for AI

如果把人工智能和物聯(lián)網(wǎng)交叉，會得到什么？AIoT是一個簡單的答案，但是也可以為微控制器提供一個巨大的新應(yīng)用領(lǐng)域，這是由于神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)步，這意味著機(jī)器學(xué)習(xí)不再局限于超級計算機(jī)的世界。如今，智能手機(jī)應(yīng)用處理器可以（也確實(shí)）為圖像處理、推薦引擎和其復(fù)雜功能執(zhí)行人工智能推理。

一個數(shù)十億物聯(lián)網(wǎng)設(shè)備的生態(tài)系統(tǒng)將在未來幾年內(nèi)獲得機(jī)器學(xué)習(xí)能力

將這種能力帶給不起眼的微控制器代表著一個巨大的機(jī)會。想象一下，一個助聽器可以使用人工智能過濾談話中的背景噪音，智能家用電器可以識別用戶的臉并切換到個性化設(shè)置，還有一個支持人工智能的傳感器節(jié)點(diǎn)，可以用最小的電池運(yùn)行數(shù)年。在端點(diǎn)處理數(shù)據(jù)提供了不可忽視的延遲、安全性和隱私優(yōu)勢。

然而，用微控制器級設(shè)備實(shí)現(xiàn)有意義的機(jī)器學(xué)習(xí)并非易事。例如，作為人工智能計算的一個關(guān)鍵標(biāo)準(zhǔn)，內(nèi)存常常受到嚴(yán)重限制。但是，數(shù)據(jù)科學(xué)正在迅速發(fā)展以縮小模型尺寸，設(shè)備和IP供應(yīng)商正在通過開發(fā)工具和結(jié)合為現(xiàn)代機(jī)器學(xué)習(xí)需求量身打造的功能做出回應(yīng)。

一個數(shù)十億物聯(lián)網(wǎng)設(shè)備的生態(tài)系統(tǒng)將在未來幾年內(nèi)獲得機(jī)器學(xué)習(xí)能力

將這種能力帶給不起眼的微控制器代表著一個巨大的機(jī)會。想象一下，一個助聽器可以使用人工智能過濾談話中的背景噪音，智能家用電器可以識別用戶的臉并切換到個性化設(shè)置，還有一個支持人工智能的傳感器節(jié)點(diǎn)，可以用最小的電池運(yùn)行數(shù)年。在端點(diǎn)處理數(shù)據(jù)提供了不可忽視的延遲、安全性和隱私優(yōu)勢。

然而，用微控制器級設(shè)備實(shí)現(xiàn)有意義的機(jī)器學(xué)習(xí)并非易事。例如，作為人工智能計算的一個關(guān)鍵標(biāo)準(zhǔn)，內(nèi)存常常受到嚴(yán)重限制。但是，數(shù)據(jù)科學(xué)正在迅速發(fā)展以縮小模型尺寸，設(shè)備和IP供應(yīng)商正在通過開發(fā)工具和結(jié)合為現(xiàn)代機(jī)器學(xué)習(xí)需求量身打造的功能做出回應(yīng)。

TinyML Takes Off

TinyML起飛了

作為這個行業(yè)快速增長的一個標(biāo)志，TinyML峰會（本月早些時候在硅谷舉行的一個新的行業(yè)盛會）正在變得越來越強(qiáng)大。據(jù)主辦方介紹，去年舉行的首屆峰會有11家贊助公司，而今年的活動有27家，展位早就賣完了，還表示，全球設(shè)計師月度見面會的會員人數(shù)大幅增長。

TinyML委員會聯(lián)合主席、高通公司的Evgeni
Gousev在展會開幕致辭中說：“看到了一個新的世界，擁有數(shù)萬億臺由TinyML技術(shù)支持的智能設(shè)備，這些設(shè)備能夠感知、分析并自主行動，為所有人創(chuàng)造一個更健康、更可持續(xù)的環(huán)境?！?。

Gousev將這種增長歸因于更節(jié)能的硬件和算法的開發(fā)，以及更成熟的軟件工具。指出，公司和風(fēng)投投資正在增加，創(chuàng)業(yè)和并購活動也在增加。

今天，TinyML委員會認(rèn)為，這項(xiàng)技術(shù)已經(jīng)得到驗(yàn)證，在微控制器中使用機(jī)器學(xué)習(xí)的初始產(chǎn)品將在2-3年內(nèi)投放市場。“殺手級應(yīng)用”被認(rèn)為還有3-5年的時間。

去年春天，谷歌首次為微控制器演示了TensorFlow框架版本，這是技術(shù)驗(yàn)證的一個重要部分。用于微控制器的TensorFlow Lite被設(shè)計為在只有數(shù)千字節(jié)內(nèi)存的設(shè)備上運(yùn)行（核心運(yùn)行時在Arm Cortex M3上可容納16 KB，并且有足夠的操作員運(yùn)行語音關(guān)鍵字檢測模型，總共占用22 KB）。只支持推理（不支持訓(xùn)練）。

Big Players

大玩家

大的微控制器制造商當(dāng)然在關(guān)注著TinyML社區(qū)的發(fā)展。隨著研究使神經(jīng)網(wǎng)絡(luò)模型變得更小，機(jī)會也越來越大。

大多數(shù)都支持機(jī)器學(xué)習(xí)應(yīng)用程序。例如，STMicroelectronics有一個擴(kuò)展包STM32立方體.AI，可以在基于Arm Cortex-M的STM32系列微控制器上映射和運(yùn)行神經(jīng)網(wǎng)絡(luò)。

Renesas有其e-AI開發(fā)環(huán)境，允許在微控制器上實(shí)現(xiàn)AI推理。有效地將模型轉(zhuǎn)換為可在其E2工作室中使用的形式，與C/C++項(xiàng)目兼容。

NXP表示，有客戶將其低端Kinetis和LPC MCU用于機(jī)器學(xué)習(xí)應(yīng)用。該公司正在用硬件和軟件解決方案擁抱人工智能，盡管主要面向更大的應(yīng)用處理器和交叉處理器（應(yīng)用處理器和微控制器之間）。

Strong Arm-ed

超強(qiáng)的ARM

在微控制器領(lǐng)域的大多數(shù)老牌公司都有一個共同點(diǎn)：Arm。嵌入式處理器核心巨頭Cortex-M系列在微控制器市場占據(jù)主導(dǎo)地位。該公司最近發(fā)布了全新的Cortex-M55內(nèi)核，該內(nèi)核專為機(jī)器學(xué)習(xí)應(yīng)用而設(shè)計，尤其是與Ethos-U55 AI加速器結(jié)合使用時。兩者都是為資源受限的環(huán)境而設(shè)計的。

Arm的Cortex-M55和Ethos-U55串聯(lián)使用，在手勢識別、生物識別和語音識別等應(yīng)用中有足夠的處理能力

但是創(chuàng)業(yè)公司和小公司如何在這個市場上與大公司競爭呢？

“不是通過建立基于Arm的SOC！因?yàn)樽龅煤芎?#xff0c;”XMOS首席執(zhí)行官馬克·利佩特笑著說?！芭c這些公司競爭的唯一方法是擁有架構(gòu)優(yōu)勢……[這意味著]Xcore在性能方面的內(nèi)在能力，以及靈活性。”

當(dāng)XMOS’ Xcore.ai公司其最新發(fā)布的語音接口交叉處理器將不會直接與微控制器競爭，這種觀點(diǎn)仍然成立。任何一家制造基于ARM的SoC來與大公司競爭的公司最好在秘密策略中有一些非常特別的東西。

標(biāo)度電壓和頻率

初創(chuàng)公司Eta Compute在TinyML展會上發(fā)布了備受期待的超低功耗設(shè)備。可用于在功耗預(yù)算為100μW的圖像處理和傳感器融合應(yīng)用程序中進(jìn)行機(jī)器學(xué)習(xí)。該芯片使用Arm Cortex-M3內(nèi)核和NXP DSP內(nèi)核，其中一個或兩個內(nèi)核都可用于ML工作負(fù)載。該公司的秘密醬有幾種成分，但關(guān)鍵是如何在連續(xù)的基礎(chǔ)上，為兩個核心調(diào)整時鐘頻率和電壓。這節(jié)省了大量的功率，尤其是在沒有鎖相環(huán)的情況

Eta Compute的ECM3532使用Arm Cortex-M3內(nèi)核和NXP CoolFlux DSP內(nèi)核。機(jī)器學(xué)習(xí)的工作量可以由其中一個或兩個來處理

現(xiàn)在有了可行的競爭對手，包括RISC-V基金會提供的即將到來的指令集架構(gòu)，為什么ETA計算選擇使用ARM核來實(shí)現(xiàn)超低功耗機(jī)器學(xué)習(xí)加速？

“簡單的答案是，Arm的生態(tài)系統(tǒng)發(fā)展得非常好，”特克斯伯里告訴《電子時報》。“與RISC-V相比，（使用Arm）投入生產(chǎn)要容易得多。這種情況將來可能會改變……RISC-V有自己的一系列優(yōu)勢；當(dāng)然，這對中國市場是有利的，但目前主要著眼于國內(nèi)和歐洲市場（設(shè)備）的生態(tài)系統(tǒng)。”

特克斯伯里指出，AIoT面臨的主要挑戰(zhàn)是應(yīng)用的廣泛性和多樣性。市場相當(dāng)分散，許多相對不錯的應(yīng)用程序只占少量。然而，加在一起，這個領(lǐng)域可能會擴(kuò)展到數(shù)十億個設(shè)備。

Tewksbury說：“開發(fā)人員面臨的挑戰(zhàn)是，無法投入時間和金錢為每個用例開發(fā)定制解決方案?！薄！斑@就是靈活性和易用性變得絕對重要的地方。這也是選擇Arm的另一個原因—因?yàn)樯鷳B(tài)系統(tǒng)在那里，工具也在那里，而且客戶很容易快速開發(fā)產(chǎn)品并將其快速推向市場，而無需大量定制?！?/p>

幾十年來，Arm一直對ISA嚴(yán)格保密，去年10月，Arm終于宣布，將允許客戶為處理機(jī)器學(xué)習(xí)等專業(yè)工作負(fù)載構(gòu)建自己的定制指令。這種能力，掌握在正確的人手中，也可能提供進(jìn)一步降低功耗的機(jī)會。

Eta計算還不能利用這一點(diǎn)，因?yàn)椴贿m用于現(xiàn)有的Arm核心，因此不適用于Eta正在使用的M3核心。但是，在未來幾代產(chǎn)品中，Tewksbury能否看到Eta使用Arm定制指令來計算，從而進(jìn)一步降低功耗呢？

“當(dāng)然，是的，”說。

Alternative ISAs

RISC-V今年備受關(guān)注。開源的ISA允許處理器的設(shè)計不需要支付許可費(fèi)，而基于RISC-visa的設(shè)計可以像任何其類型的IP一樣受到保護(hù)。設(shè)計者可以選擇要添加的擴(kuò)展，也可以添加自己定制的擴(kuò)展。

法國初創(chuàng)企業(yè)GreenWaves是幾家使用RISC-V內(nèi)核瞄準(zhǔn)超低功耗機(jī)器學(xué)習(xí)空間的公司之一。設(shè)備GAP8和GAP9分別使用8核和9核計算集群。

GreenWaves的GAP9超低功耗AI芯片的架構(gòu)現(xiàn)在使用10個RISC-V核
GreenWaves負(fù)責(zé)業(yè)務(wù)開發(fā)的副總裁martincroome向EETimes解釋了公司為什么使用RISC-V內(nèi)核。

“第一個原因是RISC-V使能夠在指令集級別定制核心，這是大量使用的，”Croome說，解釋說自定義擴(kuò)展用于降低機(jī)器學(xué)習(xí)和信號處理工作負(fù)載的能力?！爱?dāng)公司成立時，如果想用其處理器架構(gòu)來實(shí)現(xiàn)這一目標(biāo)，那要么是不可能的，要么就是要花掉一大筆錢。而所要付出的財富，基本上就是投資者的錢流向了另一家公司，這很難證明這一點(diǎn)。”

GreenWaves的定制擴(kuò)展使其核心的能耗比未經(jīng)修改的RISC-V內(nèi)核提高了3.6倍。但Croome也表示，RISC-V僅僅是因?yàn)槭切碌?#xff0c;所以有基本的技術(shù)優(yōu)勢。

“這是一個非常干凈、現(xiàn)代的指令集。沒有任何行李。所以從實(shí)現(xiàn)的角度來看，RISC-V內(nèi)核實(shí)際上是一個更簡單的結(jié)構(gòu)，簡單意味著功耗更低?！薄?/p>

Croome還提到控制是一個重要因素。GAP8設(shè)備在其計算集群中有8個核心，GreenWaves需要對核心執(zhí)行進(jìn)行非常細(xì)致的控制，以實(shí)現(xiàn)最大的功率效率。說，RISC-V實(shí)現(xiàn)了這一點(diǎn)。

開玩笑說：“最后，如果能用Arm完成所有這些，也會用Arm來完成所有這些，這將是一個更符合邏輯的選擇……因?yàn)閺膩頉]有人因?yàn)橘徺IArm而被解雇?！薄！败浖ぞ叩某墒於冗h(yuǎn)高于RISC-V……但也就是說，現(xiàn)在人對RISC-V的關(guān)注太多了，以至于這些工具的成熟度正在迅速提高?！?/p>

總之，雖然有人認(rèn)為Arm在微處理器市場上的地位正在減弱，部分原因是RISC-V的競爭加劇，但該公司的回應(yīng)是允許一些定制的擴(kuò)展，并從一開始就開發(fā)用于機(jī)器學(xué)習(xí)的新內(nèi)核。

事實(shí)上，在超低功耗機(jī)器學(xué)習(xí)應(yīng)用市場上，有Arm和非Arm設(shè)備。隨著TinyML社區(qū)繼續(xù)致力于減小神經(jīng)網(wǎng)絡(luò)模型的規(guī)模，開發(fā)專用框架和工具，這一領(lǐng)域?qū)l(fā)展成為一個健康的應(yīng)用領(lǐng)域，將支持各種不同的設(shè)備類型。

總結(jié)

以上是生活随笔為你收集整理的人工智能微控制器体系结构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。