將人工智能模型壓縮到微控制器中

Squeezing AI models into microcontrollers

當你把人工智能與物聯網交叉時，你得到了什么？人工智能事物（AIoT）是一個簡單的答案，但你也得到了一個巨大的微控制器新的應用領域，這是由于神經網絡技術的進步，意味著機器學習不再局限于超級計算機的世界。如今，智能手機應用處理器可以（也確實）為圖像處理、推薦引擎和其他復雜功能執行人工智能推理。

將這種能力帶給不起眼的微控制器代表著一個巨大的機會。想象一下，一個助聽器可以使用人工智能過濾談話中的背景噪音，智能家用電器可以識別用戶的臉并切換到他們的個性化設置，還有一個支持人工智能的傳感器節點，它可以用最小的電池運行數年。在端點處理數據提供了不可忽視的延遲、安全性和隱私優勢。

Used in tandem, Arm’s Cortex-M55 and Ethos-U55 have enough processing power for applications such as gesture recognition, biometrics and speech recognition

Arm的Cortex-M55和Ethos-U55串聯使用，在手勢識別、生物識別和語音識別等應用中有足夠的處理能力。

然而，用微控制器級設備實現有意義的機器學習并非易事。例如，作為人工智能計算的一個關鍵標準，內存常常受到嚴重限制。但是，數據科學正在迅速發展以縮小模型尺寸，設備和IP供應商正在通過開發工具和結合為現代機器學習需求量身打造的功能做出回應。
TinyML起飛了

作為這一行業快速增長的一個標志，今年2月在硅谷舉行的一個新的行業盛會TinyML峰會正在變得越來越強大。據主辦方介紹，去年舉行的首屆峰會共有11家贊助公司；今年的峰會有27家，而且展位提前售罄。主辦方稱，參加TinyML全球設計師月會的人數大幅增加。

“我們看到了一個新世界，擁有數萬億臺由TinyML技術支持的智能設備，這些設備能夠感知、分析并自主行動，為所有人創造一個更健康、更可持續的環境，”TinyML委員會聯席主席、高通公司高級總監Evgeni Gousev在最近的一次會議上致開幕詞時說。

Gousev將這種增長歸因于更節能的硬件和算法的開發，以及更成熟的軟件工具。他指出，企業和風險資本投資正在增加，創業和并購活動也在增加。

Eta Compute’s ECM3532 uses an Arm Cortex-M3 core plus an NXP CoolFlux DSP core. The machine learning workload can be handled by either, or both

今天，TinyML委員會認為，這項技術已經得到驗證，在微控制器中使用機器學習的初始產品將在2到3年內投放市場?！皻⑹旨墤谩北徽J為還有三到五年的時間。

去年春天，谷歌首次為微控制器演示了TensorFlow框架版本，這是技術驗證的一個重要部分。用于微控制器的TensorFlow Lite被設計為在只有數千字節內存的設備上運行（核心運行時在Arm Cortex-M3上可容納16 KB；有足夠的操作員運行語音關鍵字檢測模型，它總共占用22 KB）。它支持推理，但不支持訓練。

大玩家

當然，大型微控制器制造商正饒有興趣地關注著TinyML社區的發展。隨著研究使神經網絡模型變得更小，機會也越來越大。大多數都支持機器學習應用程序。例如，STMicroelectronics有一個擴展包STM32立方體.AI，它可以在基于Arm Cortex-M的STM32系列微控制器上映射和運行神經網絡。

Renesas Electronics的e-AI開發環境允許在微控制器上實現AI推理。它有效地將模型轉換成可在公司E2工作室中使用的形式，與C/C++項目兼容。

NXP半導體表示，有客戶將低端Kinetis和LPC MCU用于機器學習應用。該公司正在用硬件和軟件解決方案擁抱人工智能，盡管它主要面向更大的應用處理器和交叉處理器（應用處理器和微控制器之間）。

強壯的ARM公司合作

在微控制器領域的大多數老牌公司都有一個共同點：Arm。嵌入式處理器-核心巨頭Cortex-M系列在微控制器市場占據主導地位。該公司最近發布了全新的Cortex-M55內核，它是專門為機器學習應用而設計的，尤其是與Arm的Ethos-U55 AI加速器結合使用時。兩者都是為資源受限的環境而設計的。但是創業公司和小公司如何在這個市場上與大公司競爭呢？

XMOS首席執行官馬克利佩特（Mark Lippett）笑著說：“不是通過建立基于Arm的SOC，因為（占主導地位的）SOC做得非常好。”?！芭c這些公司競爭的唯一方法是擁有架構優勢……[這意味著]Xcore在性能方面的內在能力，以及靈活性?！?/p>

XMOS’s Xcore.ai公司其最新發布的語音接口交叉處理器將不會直接與微控制器競爭，但這種觀點仍然成立。任何一家制造基于Arm的SoC來與大公司競爭的公司最好在它的秘密策略中有一些非常特別的東西。

總結

以上是生活随笔為你收集整理的将人工智能模型压缩到微控制器中的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。