大家好，今天給大家分享，今年三篇關(guān)于視頻防抖的文章，這三篇文章分布采用了不同的方法來(lái)解決視頻抖動(dòng)的問(wèn)題。

1、基于深度的三維視頻穩(wěn)定學(xué)習(xí)方法Deep3D穩(wěn)定器

2、融合運(yùn)動(dòng)傳感器數(shù)據(jù)和光流，實(shí)現(xiàn)在線視頻穩(wěn)定

3、融合視頻中多個(gè)相鄰幀的信息，來(lái)呈現(xiàn)無(wú)需裁剪的完整穩(wěn)定視頻

3D Video Stabilization with Depth Estimation by CNN-based Optimization （CVPR 2021）

論文：https://drive.google.com/file/d/1vTalKtMz2VEowUg0Cb7nW3pzQhUWDCLA/view?usp=sharing

項(xiàng)目：https://yaochih.github.io/deep3d-stabilizer.io/

視頻效果

摘要：

基于CNN優(yōu)化的深度估計(jì)三維視頻穩(wěn)定我們提出了一種新的基于深度的三維視頻穩(wěn)定學(xué)習(xí)方法Deep3D穩(wěn)定器。我們的方法不需要預(yù)訓(xùn)練數(shù)據(jù)，而是直接通過(guò)三維重建來(lái)穩(wěn)定輸入視頻。校正階段結(jié)合三維場(chǎng)景深度和攝像機(jī)運(yùn)動(dòng)，平滑攝像機(jī)軌跡，合成穩(wěn)定的視頻。與大多數(shù)基于學(xué)習(xí)的方法不同，我們的平滑算法允許用戶(hù)有效地操縱視頻的穩(wěn)定性。

主要貢獻(xiàn)包括：

• 我們介紹了第一種基于3D的深層CNN視頻穩(wěn)定方法，無(wú)需訓(xùn)練數(shù)據(jù)。

• 我們的方法可以利用3D運(yùn)動(dòng)模型更恰當(dāng)?shù)靥幚硪暡钚?yīng)。

• 我們的穩(wěn)定解決方案允許用戶(hù)實(shí)時(shí)操縱視頻的穩(wěn)定性（34.5 fps）。

框架圖：

推薦方法的pipeline：pipeline由兩個(gè)階段組成。首先，三維幾何優(yōu)化階段通過(guò)測(cè)試時(shí)訓(xùn)練，分別用PoseNet和DepthNet估計(jì)輸入RGB序列的三維攝像機(jī)軌跡和稠密場(chǎng)景深度。優(yōu)化階段以輸入序列和相應(yīng)的光流作為學(xué)習(xí)3D場(chǎng)景的引導(dǎo)信號(hào)。其次，視頻幀校正階段以估計(jì)的攝像機(jī)軌跡和場(chǎng)景深度作為輸入，在平滑后的軌跡上進(jìn)行視點(diǎn)合成。平滑過(guò)程使用戶(hù)可以通過(guò)操縱平滑濾波器的參數(shù)來(lái)獲得不同程度的穩(wěn)定度，然后對(duì)得到的視頻進(jìn)行包裝和裁剪，得到穩(wěn)定的視頻。

Deep Online Fused Video Stabilization

論文：https://arxiv.org/pdf/2102.01279.pdf

項(xiàng)目：https://zhmeishi.github.io/dvs/

摘要：

提出了一種利用傳感器數(shù)據(jù)（陀螺儀）和圖像內(nèi)容（光流）通過(guò)無(wú)監(jiān)督學(xué)習(xí)來(lái)穩(wěn)定視頻的深度神經(jīng)網(wǎng)絡(luò)（DNN）。該網(wǎng)絡(luò)將光流與真實(shí)/虛擬攝像機(jī)姿態(tài)歷史融合成關(guān)節(jié)運(yùn)動(dòng)表示。接下來(lái)，LSTM塊推斷出新的虛擬相機(jī)姿勢(shì)，并使用該虛擬姿勢(shì)生成一個(gè)扭曲網(wǎng)格，以穩(wěn)定幀。提出了一種新的相對(duì)運(yùn)動(dòng)表示方法和多階段的訓(xùn)練過(guò)程來(lái)優(yōu)化模型。據(jù)我們所知，這是第一個(gè)DNN解決方案，采用傳感器數(shù)據(jù)和圖像穩(wěn)定。我們通過(guò)燒蝕研究驗(yàn)證了所提出的框架，并通過(guò)定量評(píng)估和用戶(hù)研究證明了所提出的方法優(yōu)于現(xiàn)有的替代解決方案。

本文的貢獻(xiàn)如下：

• 第一個(gè)基于DNN的框架，融合運(yùn)動(dòng)傳感器數(shù)據(jù)和光流，實(shí)現(xiàn)在線視頻穩(wěn)定。

• 具有多階段訓(xùn)練和相對(duì)運(yùn)動(dòng)表示的無(wú)監(jiān)督學(xué)習(xí)過(guò)程。

• 基準(zhǔn)數(shù)據(jù)集，包含陀螺儀和OIS傳感器數(shù)據(jù)的視頻，涵蓋各種場(chǎng)景。數(shù)據(jù)集和代碼都將公開(kāi)發(fā)布。

框架圖：

deep-FVS概述。在給定輸入視頻的情況下，我們首先去除了OIS轉(zhuǎn)換，提取原始光流。我們還從陀螺儀獲得真實(shí)的相機(jī)姿態(tài)，并將其轉(zhuǎn)換為相對(duì)四元數(shù)。一個(gè)二維卷積編碼器將光流嵌入到一個(gè)潛在的表示，然后將其與真實(shí)和虛擬攝像機(jī)的姿態(tài)連接起來(lái)。該關(guān)節(jié)運(yùn)動(dòng)表示被饋送到LSTM單元和FC層，以預(yù)測(cè)新的虛擬相機(jī)姿態(tài)為四元數(shù)。最后，基于OIS和虛擬攝像機(jī)姿態(tài)對(duì)輸入幀進(jìn)行扭曲，生成穩(wěn)定幀

Hybrid Neural Fusion for Full-frame Video Stabilization

論文：https://arxiv.org/pdf/2102.06205.pdf

項(xiàng)目：https://github.com/alex04072000/FuSta

之前分享過(guò)，感興趣的可以點(diǎn)擊下面的鏈接查看

AI防抖，穩(wěn)如老狗？臺(tái)灣大學(xué)和谷歌提出NeRViS：無(wú)需裁剪的全幀視頻穩(wěn)定算法

該方法的核心思想，是融合視頻中多個(gè)相鄰幀的信息，來(lái)呈現(xiàn)無(wú)需裁剪的完整穩(wěn)定視頻。

具體而言，對(duì)于輸入視頻，首先對(duì)每一幀圖像特征進(jìn)行編碼，并在目標(biāo)時(shí)間戳處將相鄰幀翹曲至虛擬相機(jī)空間。

這里面主要用到了目標(biāo)幀到關(guān)鍵幀的翹曲場(chǎng)，以及從關(guān)鍵幀到相鄰幀的估計(jì)光流兩個(gè)信息，這樣，就可以通過(guò)鏈接流向量，計(jì)算目標(biāo)幀到相鄰幀的翹曲場(chǎng)。

然后，融合這些特征。

傳統(tǒng)的全景圖像拼接算法通常是在圖像級(jí)別進(jìn)行融合。這樣做的缺點(diǎn)在于，如果估計(jì)光流不可靠，就會(huì)產(chǎn)生偽影。

而將圖像編碼為CNN特征，再在特征空間中進(jìn)行融合的方法更具魯棒性，但又往往會(huì)產(chǎn)生過(guò)于模糊的圖像（如下圖b）。

于是，研究人員提出結(jié)合兩種策略的優(yōu)點(diǎn)：首先將圖像編碼為CNN特征，然后從多個(gè)幀中融合翹曲特征。

對(duì)于每個(gè)源幀，研究人員將融合特征圖和各個(gè)翹曲特征一起，解碼成輸出幀和相關(guān)的置信度圖。

最后，通過(guò)使用生成圖像的加權(quán)平均，來(lái)產(chǎn)生最終的輸出幀。

往期精彩回顧適合初學(xué)者入門(mén)人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專(zhuān)輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專(zhuān)輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專(zhuān)輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【深度学习】2021 最新视频防抖论文+开源代码汇总的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。