多視角立體（MVS）相關文章總結

文章目錄

• 多視角立體（MVS）相關文章總結
• 前言
• 1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]
• 2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]
• 3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]

---

前言

作者：cxy
郵箱：1023499614@qq.com
根據(jù)本人的學習情況，持續(xù)更新~

---

1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]

文章鏈接: https://arxiv.org/pdf/1804.02505.pdf
pytorch代碼:https://github.com/xy-guo/MVSNet_pytorch

MVS系列的開山鼻祖，輸入為N張Source Image（后用sou)和1張Reference Image(后用Ref)來推斷ref的深度圖，即ref每個點與相機光心的距離值。
先利用ResNet（共享權重）提取每張圖像（N+1張）的特征。
劃分Z個預設深度值，假設ref上的每個像素點都處于同一個深度值，因此將ref前的空間劃分為了Z個平面。然后利用每張相片的相機參數(shù)根據(jù)單應性變換將N+1張圖片上每個點的特征（H,W維度）基于不同預設深度值（Z維度）warp到ref對應的位置上，對于任一深度預設值d，使得ref圖像上的一個點和其他每張sou上的一個點產(chǎn)生了聯(lián)系。對這N個點的特征計算方差得到了ref上這個點在深度d的差異性，由此我們得到了Cost Volume（后用cost)
后面對cost經(jīng)過U-Net來完成正則化操作（對cost做平滑），輸出一個probability volume，表示每個點在各個不同深度的概率值，這也對后面判斷這個點的深度估計置信提供了依據(jù)。沿著Z維度回歸得到初始的深度圖。
作者認為前面的U-Net正則化，使得邊界過于平滑了，因此將原圖像的RGB通道concate到初始深度圖上經(jīng)過一些2D卷積使得邊界更尖銳，最后加上原始深度圖的響應，得到了最終的深度圖。

---

2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]

文章鏈接: https://arxiv.org/pdf/1912.06378.pdf
pytorch代碼:https://github.com/alibaba/cascade-stereo

本文與MVS-Net不同之處主要有二：
1.提取多張圖像特征時，采用了FPN，提取多個尺度的特征
2.第一階段先采用最小尺寸的特征生成cost volume再做正則化（和MVSNet一摸一樣），第二階段利用較高尺寸的特征，此處利用上一個階段得到的深度圖上采樣獲得每個點的初始深度，在初始深度的基礎上精細劃分預設深度（Cascade體現(xiàn)的淋漓盡致），得到cost volume以后如MVS-Net一摸一樣，此處不再贅述。
和MVSNet相比是又快又好啊。。。

---

3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]

文章鏈接: https://arxiv.org/pdf/2012.01411.pdf
pytorch代碼:https://github.com/FangjinhuaWang/PatchmatchNet


利用cascade層級化思想，并且每一個stage會額外迭代一次，每個點的預設深度考慮為這個點的周圍點的深度（從上一步的深度圖得到）（此處運用可變形卷積考慮邊界不連續(xù)性），在patchmatch的模塊當中將c通道特征分為G個group兩兩（一張source，一張reference）計算相似性，最后結合N個相似性張量得到cost volume，在cost volumn正則化的時候再次利用可變形卷積考慮邊界不連續(xù)性，每個點的代價應當對周圍幾個點的cost做一個加權，最后回歸得到深度圖。

---

# 總結

總結

以上是生活随笔為你收集整理的MVS文章持续更新中~的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。