一、論文&代碼

論文鏈接：Digging into Uncertainty inSelf-supervised Multi-view Stereo

開源代碼：https://github.com/ToughStoneX/U-MVS

二、背景

多視圖立體視覺作為計算機視覺領域的一項基本的任務，利用同一場景在不同視角下的多張圖片來重構3D的信息。如下圖所示：

自監督多視角立體視覺(MVS)近年來取得了顯著的進展。然而，以往的方法缺乏對自監督MVS中pretext任務提供的監督信號進行有效性的全面解釋。本文首次提出在自監督MVS中估計認知不確定性(epistemic uncertainty)。具體而言，信號不確定可分為兩類:前景的監督信號模棱兩可性和背景監督信號無效性。為了解決這些問題，本文提出了一個新的減少不確定性的多視角立體(U-MVS)自監督學習框架：1.）本文引入了額外的光流深度一致性損失，利用光流的密集二維對應關系來正則化MVS中的三維立體對應關系，緩解前景監督的模凌兩可。2.）為了處理背景的無效監督信號，本文使用Monte-Carlo Dropout獲取不確定性映射，進一步過濾無效區域上的不可靠的監督信號。

最后通過在DTU和Tank&Temples數據集的大量實驗表明，本文提出的U-MVS框架在無監督MVS方法中取得了最好的性能，與完全監督的MVS方法相比具有相媲美的性能。

2.1 完全監督MVS

隨著深度學習的蓬勃發展，在多視角立體視覺領域已經出現越來越多的神經網絡方法。作為新型技術的代表，MVSNet構建了端到端的基于神經網絡來進行多視角重建的pipeline。首先利用2D的卷積網絡來獲得多視角圖片的特征，然后運用3D CNN對由feature構建得到的costvolume進行正則化操作，而后基于soft argmin操作回歸得到深度信息。如下圖所示：

為了緩解存儲和計算3D cost volume消耗大量的資源的壓力，一些方法運用coarse-to-fine的機制將之前單步的cost volume的計算變為多階段的cost volume 計算。CascadeMVSNet提出基于特征金字塔編碼的cost volume，縮小每個階段的深度(或視差)范圍的預測，隨著分辨率的逐漸提高和深度(或視差)間隔的自適應調整，輸出coarse-to-fine的深度估計。如下圖所示：

2.2 無監督MVS

此外，完全監督學習存在一個不可忽視的問題，標注large scale的數據集對于場景重建來講，需要繁瑣和昂貴的程序。近年來人們致力于發展自監督學習來替代有監督學習。Unsup MVS 利用預測的深度信息結合相機內外參數，通過homographywarping來重構圖像，并通過減小重構圖像和原始圖像之間的差異來優化深度信息。如下圖所示：

M^ 3VSNet在Unsup MVS 的基礎上，增加了深度信息和法向的一致性loss來進一步優化pipiline，而JDACS則利用非負矩陣分解（Non-Negative-Factorization）來生成Co-Segmentationmaps，借鑒photometric loss，構造更魯棒的cross-viewsemantic consistency，同時利用數據增強模塊來提升泛化能力。如下圖所示：

之前這些方法都是基于對于自監督學習的直觀的分析，缺乏對于自監督信號有效性的研究和解釋。對于完全監督學習，如Figure 1 (a)所示，有效監督信號因為ground truth的原因是顯性可用的，然而對于自監督框架來講，如Figure 1 (b)所示，基于圖像重建的pretext任務提供的監督信號是模糊不確定的，這將直接影響深度估計的效果。

2.3 核心解決問題

為了更直接地提供監督信號的有效性描述，本文利用了Monte-Carlo Dropout方法來可視化epistemic uncertainty，如上圖Figure 1(c)所示。那么不確定性到底可以給我們哪一些啟示呢？

如上圖Figure 2 所示，本文提供了完全監督和自監督信號的不確定性直觀比較，來加深理解導致自監督信號失敗的原因。由圖可知，自監督信號相比完全監督的信號有更多不確定性，基于自監督作為圖像重建任務的前提，將不確定性歸結為兩類：第一類為圖像前景中的監督信號的模凌兩可性，主要來自于不同視角下像素點的顏色變化以及物體之間的遮擋，導致了reference image和source image的部分像素點沒法很好的匹配；第二類為背景的監督信號的無效性，譬如無紋理區域沒法提供有效信息。

三、方法

3.1 前景監督信號

為了解決前景監督信號的模凌兩可，本文通過增加額外的先驗相關性來增強自監督信號的可靠性，并引入一種新的多視圖中的光流深度一致性損失。如下圖所示：

直觀地說，在自監督MVS中，可以利用光流來構造圖像對的像素點之間密集的相關性來正則化3D的相關性。本文提出了一個可微的Depth2Flow模塊，將視圖間的深度圖轉換為虛擬光流。如下圖所示：

RGB2Flow模塊可以無監督地預測相應視圖的光流。然后強制虛擬光流和真實光流保持一致，起到正則化的作用。如下圖所示：

3.2 背景監督信號

為了緩解背景信號的無效性，本文建議除去不可靠的監督信號在完全無監督的情況下。首先使用自監督預訓練模型標注數據集，并用Monte-Carlo-Dropout算法獲取不確定性映射。如下圖所示：

然后利用不確定性映射過濾之后的偽標簽對模型進行監督。同時對輸入的多視圖圖像進行隨機數據增強，增強有效監督區域對干擾的魯棒性。如下圖所示：

四、結果

為了評價本文提出的方法的性能，在DTU數據集上進行了驗證。在Table 1，本文給出了UMVS與最好的(SOTA)完全監督/自監督和傳統方法的性能對比。從表中可以看出，本文提出的方法比之前的自監督方法性能更好。在整體誤差(overall)的指標下，當前SOTA的完全監督方法的性能約為0.351 - 0.355mm。在沒有利用任何ground truth標簽的前提下，本文基于CascadeMVSNet的backbone可以在overall達到0.3537，這與完全監督的SOTA相媲美。Figure 5 給出了DTU數據集上多個場景的三維重建結果的定性比較。如下圖所示：

為了評價本文方法的泛化能力，給出了Tanks and Temples數據集上（intermediate/advanced）與SOTA的完全監督和無監督方法的性能比較（Table 4和Table 5）。

如下圖例為Tanks&Temples的intermediate/advancedpartition部分的效果可視化。

五、應用

本文模型將在maas上呈現，敬請期待。另外給大家介紹下其他域上的開源免費模型，歡迎大家體驗、下載（大部分手機端即可體驗）：

https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary

https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary

https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary

https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary

https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary

https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary

https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary

https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary

https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary

總結

以上是生活随笔為你收集整理的ICCV | 达摩院联合开源融合不确定度的自监督MVS框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。