【網(wǎng)易科技9月12日報(bào)道】近日，記者獲悉，地平線成功在旭日3中的BPU?計(jì)算單元上，部署運(yùn)行參數(shù)規(guī)模高達(dá)14億的大語言模型。

據(jù)介紹，此次部署源于旭日3所搭載的雙核BPU?伯努利計(jì)算單元對神經(jīng)網(wǎng)絡(luò)計(jì)算的原生性支持，能夠在處理大語言模型方面提供高性能、低功耗的計(jì)算處理能力。

另一方面，地平線通過軟硬協(xié)同編譯，采用算子重寫、算子重排、算子融合和KV-Cache等技術(shù)，優(yōu)化了模型結(jié)構(gòu)，實(shí)現(xiàn)推理速度的提升。

據(jù)了解，該模型的運(yùn)行效能相較于LLaMA.cpp等純CPU方案有所提升。這也意味著，旭日3對此大語言模型的支持性可達(dá)到產(chǎn)品級應(yīng)用水平。（江淼）

總結(jié)

以上是生活随笔為你收集整理的快讯|地平线旭日3成功部署14亿参数大语言模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。