大模型重塑一切的浪潮，正在加速涌向移動應用。

不久前，高通剛在 MWC 上露了一手純靠手機跑 Stable Diffusion，15 秒就能出圖的騷操作：

3 個月后的 CVPR 2023 上，參數加量到 15 億，ControlNet 也已在手機端閃亮登場，出圖全程僅用了不到 12 秒：

更令人意想不到的速度是，高通技術公司產品管理高級副總裁兼 AI 負責人 Ziad Asghar 透露：

從技術角度來說，把這些 10 億 + 參數大模型搬進手機，只需要不到一個月的時間。

并且這還只是個開始。

在與量子位的交流中，Ziad 認為：

大模型正在迅速重塑人機交互的方式。這會讓移動應用的使用場景和使用方式發生翻天覆地的變化。

“大模型改變終端交互方式”

每一個看過《鋼鐵俠》的人，都很難不羨慕鋼鐵俠無所不能的助手賈維斯。

盡管語音助手早已不是什么新鮮事物，但其現如今的形態多少還是離科幻電影中的智能助手有點差距。

而大模型，在 Ziad 看來，正是一個破局者。

大模型有能力真正重塑我們與應用交互的方式。

這種改變的一種具體的表現，就是 all in one。

也就是說，通過大模型加持下的數字助手這一個應用入口，人們就可以在手機這樣的終端上操控一切：

通過自然語言指令，數字助手能自動幫你管理所有手機上的 APP，完成辦理銀行業務、撰寫電子郵件、制定旅程并訂票等等各種操作。

更為關鍵的是，這樣的數字助手還能做到“私人訂制”——

手機上的個性化數據，與能夠理解文字、語音、圖像、視頻等多模態輸入的大語言模型相結合，就能使數字助手更為精準地把握使用者的偏好。

并且這樣的個性化體驗，可以在不犧牲隱私的情況下實現。

從技術的角度來說，背后關鍵，其實就是如今把 Stable Diffusion 和 ControlNet 搬進手機的混合 AI 架構及作為支撐的量化、編譯和硬件加速優化等 AI 技術。

混合 AI，指的是終端和云端協同工作，在適當場景和時間下分配 AI 計算的工作負載，以更為高效地利用算力資源。

量化、編譯和硬件加速優化，則是實現混合 AI 的關鍵 AI 技術，受到高通等終端 AI 廠商的長期關注和押注。

量化，是將更大的模型在精度不變的情況下，從浮點數轉變成整數，節省計算時間；又或是在確保模型性能的同時，對其大小進行壓縮，使之更容易部署在終端。

編譯器是 AI 模型能夠以最高性能和最低功耗高效運行的關鍵。AI 編譯器將輸入的神經網絡轉化為可以在目標硬件上運行的代碼，同時針對時延、性能和功耗進行優化。

硬件加速方面，以高通為例，其 AI 引擎中的關鍵核心 Hexagon 處理器，采用專用供電系統，支持微切片推理、INT4 精度、Transformer 網絡加速等，能夠在提供更高性能的同時，降低能耗和內存占用。

數據顯示，Transformer 加速大幅提升了生成式 AI 中充分使用的多頭注意力機制的推理速度，在使用 MobileBERT 的特定用例中能帶來 4.35 倍的 AI 性能提升。

以 Stable Diffusion 為例，現在，高通的研究人員通過量化、編譯和硬件加速優化，已經能夠在搭載第二代驍龍 8 移動平臺的手機上，以 15 秒 20 步推理的速度運行這一模型，生成出 512×512 像素的圖片。

這樣一來，整個推理過程可以完全只靠手機實現 —— 開著飛行模式不聯網也能做到。

這類 AI 技術的部署并非易事，Ziad 表示在相關軟件、工具和硬件方面，高通準備了 2-3 年的時間。

但現在，當高通 AI 模型增效工具包、高通 AI 軟件棧和高通 AI 引擎等軟硬件工具齊備之后，正如前文所言，高通只花了不到一個月的時間，就實現了 Stable Diffusion 在驍龍平臺上的高速運行。

也就是說，當基礎技術準備就緒，包括大模型在內的生成式 AI 部署，就會更加容易，原本無法想象的“大模型部署到終端變成數字助手”，現在看來也并非不可能。

具體而言，在硬件上混合 AI 和軟件 AI 技術的“雙重”架構下，部署在手機等終端中的大模型，可以在終端側根據用戶習慣不斷優化和更新用戶畫像，從而增強和打造定制化的生成式 AI 提示。這些提示會以終端側為中心進行處理，只在必要時向云端分流任務。

Ziad 也進一步向我們解釋說：

云不了解你，但終端設備了解你。如果模型可以在設備上進行微調，那它的功能將非常強大。

這也是突破大模型幻覺和記憶瓶頸的方式之一。高通可以做到通過一系列技術讓大模型在不聯網的情況下，借助終端設備數據長時間提供“專屬”服務，同時也保護了用戶隱私。

值得關注的是，Ziad 還透露，在 Stable Diffusion 和 ControlNet 之外，基于高通全棧式的軟件和硬件能力，研究人員正在將更多生成式 AI 模型遷移到手機之中，參數量也正在向百億級別進發。

很快，你就會在終端上看到像 LLaMA 7B / 13B 這樣的模型。一切工具已經就緒，剩下的只是時間問題。

而且，雖然目前能在終端側部署的只是“特定”的大模型，但隨著技術的不斷應用成熟，能部署的大模型數量、模態類型和部署形式，都會飛速進化。Ziad 表示：

隨著更多更好的 AI 算法被開源出來，我們也能更快地沿用這套軟硬件技術將它們部署到終端側，這其中就包括文生視頻等各種多模態 AI。

這樣來看，未來用戶將自己想用的大模型遷移到手機端，成為超級助手的核心，也并非不可能實現。

大模型正在重塑移動互聯網

實際上，手機上的交互變革，還只是冰山一角。

早在生成式 AI、大模型技術爆發之前，在移動互聯網時代，AI 需求已經呈現出向邊緣設備轉移的趨勢。

正如 Ziad 的觀點“終端側 AI 是 AI 的未來”一樣，隨著以大模型為代表的生成式 AI 浪潮加速改變人機交互方式，更多終端側如筆記本電腦、AR / VR、汽車和物聯網終端等，也都會因為這場變革迎來重塑，甚至反過來加速 AI 規?；涞?。

在這個過程中，不僅硬件會誕生新的衡量標準，軟件上以大模型為核心的超級 AI 應用，更是有可能出現。

首先是硬件上，由于終端側算力會成為延展生成式 AI 落地應用不可或缺的一部分，對于移動端芯片本身來說，AI 處理能力也會日益凸顯，甚至成為新的設計基準之一。

隨著大模型變得更受歡迎、更多應用不斷接入其能力，更多潛在的用戶也會意識到大模型具備的優勢，從而導致這類技術使用次數的迅猛上升。

但云端算力終究有限。Ziad 認為：

隨著 AI 計算需求的增加，云端算力必然無法承載如此龐大的計算量，從而導致單次查詢成本急劇增加。

要解決這一問題，就應當讓更多算力需求“外溢”到終端，依靠終端算力來緩解這一問題。

為了讓更多大模型在終端就能處理甚至運行，從而降低調用成本，必然需要在確保用戶體驗的同時，提升移動端芯片處理 AI 的能力。

長此以往，AI 處理能力會成為衡量硬件能力的 benchmark，如同過去手機芯片比拼通用算力和 ISP 影像能力一樣，成為整個移動端芯片的新“賽點”。

誰能在設計移動端芯片時將之考慮進去，誰就更有可能取得這場大模型較量的話語權。

不止是硬件。軟件上，通過改變人機交互的方式，大模型將重塑包括娛樂、內容創作、生產力在內的所有移動應用。

在這種情況下，越來越多的大模型、或者說生成式 AI 會參與其中，重塑不同移動端 AI 應用，而這些應用隨著不同移動端算力和應用場景的差異，又會有所不同：

在智能手機端，正如前文所述，這種重塑會率先出現在搜索和“智能助手”上。例如，只需要一句“安排 5 人會議”，大模型就能將以往需要用電子郵件反復確認的消息簡化成一條指令，自動發送到其他人的日歷上。

而在筆記本電腦和 PC 上，最大的影響可能是工具生產效率的提升，如使用 Office 的方式不再需要是依靠打字輸入內容，而是聊聊天就能完成自己想要寫的報告、處理的 PPT。

至于在汽車端，率先受到影響的可能會是數字助理和自動駕駛軟件，像使用導航軟件時不再需要點擊目的地，而是直接告訴它“我想去 XX，中途安排一個吃飯的地點，別太貴”，大模型就能讀懂人話，自動規劃汽車路線。

又或是 XR 更吸引人的應用重塑，在于 3D 內容創作和沉浸式體驗；物聯網的改變，則可能發生在運營效率和客戶支持應用上……

當然，這并不意味著 AI 小模型的“消失”。大模型出現之前，圖像應用已經成為移動端 AI 落地最顯著的領域，包括 AI 修圖、暗景視頻拍攝去噪算法等在內已有不少成熟的 AI 應用。

Ziad 認為，生成式 AI 的出現并不會替代已有 AI 應用，甚至在其刺激下，CPU、GPU、AI 處理器的升級進化，會進一步提升去噪等傳統 AI 算法的能力。

同時，移動端應用之間并非“孤島”。無論智能手機、電腦、汽車、物聯網還是 XR，一旦大模型促使某個真正的“殺手級”應用出現，勢必也會在各個移動端之間部署。

因此在這波大模型浪潮下，如何讓開發的應用快速適配到不同移動端，實現“一次開發多端互聯”，也是不可或缺的技術趨勢。

總而言之，從硬件的芯片設計、軟件的應用程序，到應用的整體開發方式，大模型都在給移動端、甚至是整個移動互聯網帶來改變。

那么，高通在這場大模型變革浪潮中會扮演什么樣的角色？

Ziad 認為，高通將會領導技術前沿，成為引領這場變革的核心：

在終端側，無論是從硬件還是軟件而言，高通都處在領先地位。不僅僅是手機，在電腦、AR、VR、汽車、物聯網等領域都是如此。

而這份信心的來源，是高通長期的 AI 技術積累，“一切工具都已經就緒”。

無論是硬件上的 Hexagon AI 處理器、讓生成式 AI 在云端和終端之間“無縫”應用的混合 AI，還是軟件上所具備的量化、壓縮、神經網絡架構搜索（NAS）和編譯等技術，高通都已經具備了將大模型隨時應用到終端側的技術儲備。

一旦成功將大模型部署到某個終端側，如智能手機，就能通過高通 AI 軟件棧將之迅速部署到其他所有端側設備上，進一步加速大模型的規?；涞?。

像 10 億參數 Stable Diffusion 模型，在部署到手機上之后，也已經實現在搭載驍龍計算平臺的筆記本上運行。

面對這波大模型浪潮下生成式 AI 帶來的機遇和挑戰，不少科技公司都在尋找應對之策，以探求如何跟進其中的技術。

至少在終端側，高通已經以技術玩家的身份，為行業率先打了個樣。

One More Thing

在這波生成式 AI 熱潮下，大模型是否可能帶來新的如微信一樣的“殺手級”應用？高通如何看待這個觀點？

Ziad 回答稱，可能會，而且這類“殺手級”應用，更可能率先在中國出現：

如果按發展趨勢來看的話，中國確實可能會更快出現這類應用。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的大模型加速涌向移动端！ControlNet 手机出图只需 12 秒，高通 AI 掌门人：LLaMA 也只是时间问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。