為視頻短片增加有趣的3D對(duì)象，通過Android Motion Stills就可以實(shí)現(xiàn)。近日，Google宣布對(duì)Motion Stills增加了AR功能。本文由LiveVideoStack摘譯，點(diǎn)擊『閱讀原文』訪問原文鏈接。

文 / ?Jianing Wei和Tyler Mullen

譯 / 鴻蒙

審校 / Ant

去年夏天，我們?cè)贏ndroid平臺(tái)上推出了Motion Stills，它可以在各種Android手機(jī)上提供出色的視頻捕捉和觀看體驗(yàn)。然后，我們進(jìn)一步改進(jìn)了Motion Stills技術(shù)，為Pixel 2增加了新的動(dòng)態(tài)照片功能。

今天，我們很高興地發(fā)布Android Motion Stills中的增強(qiáng)現(xiàn)實(shí)（AR）模式。在新推出的AR模式下，用戶只需觸摸取景器即可在靜態(tài)或移動(dòng)的水平表面（例如桌子，地板或手）上放置有趣的虛擬3D對(duì)象，從而與動(dòng)態(tài)真實(shí)世界環(huán)境進(jìn)行無縫交互。您還可以將剪輯錄制下來并分享為GIF圖或者視頻形式。

Motion Stills的即時(shí)運(yùn)動(dòng)捕捉

AR模式由即時(shí)運(yùn)動(dòng)捕捉、6自由度跟蹤系統(tǒng)來支撐。6自由度跟蹤系統(tǒng)是基于能夠驅(qū)動(dòng)Motion iOS中的Motion Text和YouTube上的Privacy Blur這兩項(xiàng)功能的相關(guān)技術(shù)的，這項(xiàng)技術(shù)可以精確跟蹤靜態(tài)和移動(dòng)物體。我們對(duì)這項(xiàng)技術(shù)進(jìn)行了改進(jìn)和增強(qiáng)，以便能夠在任何使用陀螺儀的Android設(shè)備上運(yùn)行有趣的AR應(yīng)用體驗(yàn)。

當(dāng)您觸摸取景器時(shí)，Motion Stills AR會(huì)將3D虛擬物體“粘”到該位置，使其看起來像是真實(shí)世界場(chǎng)景的一部分。假設(shè)跟蹤的表面與地平面平行，并使用設(shè)備的加速度計(jì)傳感器提供手機(jī)相對(duì)于地平面的初始方向，我們便可以跟蹤攝像機(jī)的6個(gè)自由度（3個(gè)用于平移，3個(gè)用于旋轉(zhuǎn)）。這使我們能夠準(zhǔn)確地變換和渲染場(chǎng)景中的虛擬物體。

當(dāng)手機(jī)大致穩(wěn)定時(shí)，加速計(jì)傳感器會(huì)提供由于地球重力而產(chǎn)生的加速度。對(duì)于水平面來說，重力矢量平行于跟蹤平面的法線，并且可以精確地提供手機(jī)的初始定向。

即時(shí)運(yùn)動(dòng)捕捉

即時(shí)運(yùn)動(dòng)捕捉的核心思想是解耦攝像機(jī)的平移和旋轉(zhuǎn)估計(jì)，將其視為獨(dú)立的優(yōu)化問題。首先，我們只根據(jù)相機(jī)的視覺信號(hào)確定3D相機(jī)的平移。為此，我們觀察目標(biāo)區(qū)域的明顯2D平移和跨幀的相對(duì)縮放比例。一個(gè)簡(jiǎn)單的針孔照相機(jī)模型將圖像平面中的框的平移和縮放與相機(jī)的最終3D平移相關(guān)聯(lián)。

可以使用圖像平面中的框的平移和尺寸（相對(duì)縮放比例）的變化來確定兩個(gè)相機(jī)位置C1和C2之間的3D平移。但是，由于我們的相機(jī)模型并不假定相機(jī)鏡頭的焦距，我們不知道被跟蹤平面的真實(shí)距離/深度。

為了解決這個(gè)問題，我們?cè)诂F(xiàn)有的跟蹤器（Motion Text中使用的跟蹤器）中添加了縮放比例估計(jì)，并在相機(jī)的視場(chǎng)之外追加了區(qū)域跟蹤。當(dāng)相機(jī)靠近被跟蹤的表面時(shí)，虛擬內(nèi)容精確地縮放，這與真實(shí)世界對(duì)象的感知一致。當(dāng)您將鏡頭移出目標(biāo)區(qū)域的視場(chǎng)之外并再返回時(shí)，虛擬物體將重新出現(xiàn)在大致相同的位置。

獨(dú)立的平移（僅從紅色框顯示視覺信號(hào)）和旋轉(zhuǎn)捕捉（從陀螺儀;但未顯示）

我們使用手機(jī)的內(nèi)置陀螺儀來獲得設(shè)備的3D旋轉(zhuǎn)（翻滾，俯仰和偏擺）。估算的3D平移與3D旋轉(zhuǎn)相結(jié)合，使我們能夠在取景器中正確渲染虛擬內(nèi)容。而且，由于我們分別處理旋轉(zhuǎn)和平移，所以我們的即時(shí)運(yùn)動(dòng)捕捉方法不需要校準(zhǔn)，可以在任何帶有陀螺儀的Android設(shè)備上工作。

Motion Still AR模式下的小雞家庭

我們很高興為Android的Motion Stills增加這種新的模式，我們也希望您能喜歡它。請(qǐng)下載Motion Stills的新版本，并繼續(xù)在您最喜愛的社交媒體上發(fā)送#motionstills反饋意見。

致謝

在渲染方面，我們很感謝能夠使用動(dòng)畫Poly模型來利用Google的Lullady引擎。感謝曾與我們合作過的團(tuán)隊(duì)成員，他們是：John Nack，Suril Shah，Igor Kibalchich，Siarhei Kazakou和Matthias Grundmann。

WebRTCon 2018 7折火熱報(bào)名

WebRTCon希望與行業(yè)專家一同分享、探討當(dāng)下技術(shù)熱點(diǎn)、行業(yè)最佳應(yīng)用實(shí)踐。如果你擁有音視頻領(lǐng)域獨(dú)當(dāng)一面的能力，歡迎申請(qǐng)成為講師，分享你的實(shí)踐和洞察，請(qǐng)聯(lián)系 speaker@livevideostack.com。

點(diǎn)擊了解大會(huì)詳情。

總結(jié)

以上是生活随笔為你收集整理的Android Motion Stills实现AR即时运动捕捉的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。