近幾年，關(guān)于動(dòng)作捕捉能力的實(shí)際應(yīng)用場(chǎng)景越來越多，比如科幻電影里特效制作，虛擬游戲人物的制作等，這些大多采用了傳統(tǒng)的動(dòng)作捕捉方案。

傳統(tǒng)的動(dòng)作捕捉通常有兩種解決方法：光學(xué)捕捉和慣性捕捉。

光學(xué)動(dòng)作捕捉需要在人體的關(guān)鍵點(diǎn)部位粘貼反射標(biāo)志，通過多個(gè)紅外攝像頭從不同角度追蹤人體身上的光標(biāo)位置，具有精度高、時(shí)延低的優(yōu)勢(shì)，缺點(diǎn)是對(duì)場(chǎng)地有嚴(yán)格要求，設(shè)備穿戴繁瑣，價(jià)格也十分昂貴。慣性動(dòng)捕系統(tǒng)是通過陀螺儀、加速度計(jì)等慣性傳感器來捕獲人體關(guān)鍵骨骼的旋轉(zhuǎn)信息，相比光學(xué)式動(dòng)捕穿戴方便，但精度較低，易受地磁干擾。

無論是光學(xué)式還是慣性式動(dòng)捕系統(tǒng)，都需要穿戴專業(yè)的動(dòng)捕設(shè)備，同時(shí)成本很高。而華為3D建模服務(wù)（3D Modeling Kit）最新推出的動(dòng)作捕捉能力，僅需要RGB攝像頭就可以捕獲人體關(guān)鍵點(diǎn)的旋轉(zhuǎn)信息，讓每個(gè)人都可以通過手機(jī)來實(shí)現(xiàn)動(dòng)作捕捉。

技術(shù)支持

那么，脫離了輔助設(shè)備，華為是采用了哪些技術(shù)來實(shí)現(xiàn)低門檻高精準(zhǔn)的動(dòng)作捕捉能力的呢？

人體檢測(cè)技術(shù)

進(jìn)行動(dòng)作捕捉前需要從圖像中定位出人體的位置。人體檢測(cè)技術(shù)可以回歸出包含人體的邊界框，根據(jù)邊界框切割出對(duì)應(yīng)的區(qū)域可以去除冗余的背景，方便后續(xù)的姿態(tài)估計(jì)。

3D人體姿態(tài)估計(jì)技術(shù)

動(dòng)作捕捉能力最關(guān)鍵的一環(huán)，是基于深度學(xué)習(xí)的單目姿態(tài)估計(jì)算法可以從RGB圖像中估計(jì)出人體關(guān)鍵點(diǎn)的3D位置和骨骼的旋轉(zhuǎn)信息，從而可以應(yīng)用到廣泛的實(shí)際場(chǎng)景中。

模型加速與壓縮技術(shù)

動(dòng)捕算法最終要部署在端側(cè)，由于存儲(chǔ)空間和功耗的限制，對(duì)于模型的時(shí)延和大小要求都非常嚴(yán)格。一方面，需要針對(duì)移動(dòng)設(shè)備的CPU設(shè)計(jì)合適的輕量化網(wǎng)絡(luò)結(jié)構(gòu)。另一方面對(duì)于訓(xùn)練好的float32模型進(jìn)行參數(shù)量化，轉(zhuǎn)化為int8模型，并針對(duì)部分算子進(jìn)行優(yōu)化，壓縮模型大小的同時(shí)顯著提高推理速度。

應(yīng)用場(chǎng)景

動(dòng)作捕捉能力最廣泛也最直接的應(yīng)用是用來驅(qū)動(dòng)虛擬形象，在虛擬直播、游戲和電影制作等場(chǎng)景都有著不少需求。例如在游戲中，利用動(dòng)作捕捉能力，用戶上傳一段視頻即可捕捉其中的人物動(dòng)作，產(chǎn)生對(duì)應(yīng)的數(shù)據(jù)來驅(qū)動(dòng)游戲中的人物。

另外在短視頻領(lǐng)域，動(dòng)作捕捉能力也大有可為。基于模型的動(dòng)捕算法可以輸出人體網(wǎng)格，在此基礎(chǔ)上可以添加各種特效。

除此之外，動(dòng)作捕捉能力還有更多待開發(fā)的應(yīng)用場(chǎng)景和無限的使用價(jià)值，華為動(dòng)作捕捉能力極大降低了各行業(yè)的開發(fā)使用門檻。

了解更多詳情>>

訪問華為開發(fā)者聯(lián)盟官網(wǎng)
獲取開發(fā)指導(dǎo)文檔
華為移動(dòng)服務(wù)開源倉(cāng)庫(kù)地址：GitHub、Gitee

關(guān)注我們，第一時(shí)間了解 HMS Core 最新技術(shù)資訊~

總結(jié)

以上是生活随笔為你收集整理的使用普通摄像头，轻松实现精准动作捕捉能力的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。