AAAI 2020 开源论文 | 用于深度立体匹配的自适应单峰匹配代价体滤波
?PaperWeekly 原創 ·?作者｜張承灝
學校｜中科院自動化所碩士生
研究方向｜深度估計
本文介紹北航和深動科技在 AAAI 2020 上的論文 Adaptive Unimodal Cost Volume Filtering for Deep Stereo Matching，他們在這篇工作中提出給匹配代價體（cost volume）添加自適應單峰分布的真值信息來監督，從而提升立體視差估計的準確率。?
論文鏈接：https://arxiv.org/abs/1909.03751
源碼鏈接：https://github.com/DeepMotionAIResearch/DenseMatchingBenchmark
立體匹配是一個經典的計算機視覺任務，傳統方法主要基于滑動窗口來計算匹配代價。基于深度學習的方法將視差估計視為回歸問題，這些模型都只在網絡的最終結果上計算損失函數，即預測的視差值與真實視差值的誤差。它們忽略了視差回歸的中間產物——匹配代價體在學習中容易產生過擬合，因為匹配代價體是沒有監督信息的。
針對這個問題，作者提出直接給匹配代價體增加在真值附近的單峰約束，并且設計了置信度估計網絡來生成單峰分布的方差，用以表示模型在不同紋理區域下匹配的不確定性。截止 2019.08.20，論文提出的模型 AcfNet 在 KITTI 2012 公開榜單上排名第一，在 KITTI 2015 上排名第四。
研究背景
立體匹配算法分為四個步驟：匹配代價計算，代價聚合，視差回歸和視差精修。其中，匹配代價的計算是至關重要的一步。根據匹配代價計算方式的不同，可以將基于深度學習的視差估計算法分為兩類。
1. 基于相關性的匹配代價計算。以 DispNetC [1] 為代表，利用相關層對左右圖像的特征計算匹配代價，構造 3 維的匹配代價體，最后使用 2D 卷積回歸視差圖。iResNet [2] 通過引入堆疊的精修子網絡進一步提升了性能。?
2. 基于 3D 卷積的匹配代價計算，以 GC-Net [3] 為代表，通過將左右圖的特征體進行連接來構造 4 維的匹配代價體，最后使用 3D 卷積和可導的”winner takes all (WTA)”策略來得到視差圖。基于此改進的 PSMNet [4] 和 GANet [5] 等模型是目前性能較好的網絡。?
本文屬于第二類方法，基于 PSMNet 對匹配代價體增加自適應的單峰濾波約束，從而使得預測的代價匹配體在真值附近能夠得到和真值一致的分布，如圖 1 所示。第 1、3 行分別是 PSMNet 和 AcfNet 預測的代價分布，第 2、4 行分別是真值的代價分布。PSMNet 在真值附近生成了兩個最小值的峰值，這與真值的分布不符合。而本文的 AcfNet 在真值附近生成了正確的分布。
▲?圖1.?沿匹配代價體的視差維度展示的代價分布情況
論文方法
方法概述（Overview）
▲?圖2.?AcfNet的整體框架圖
圖 2 是 AcfNet 的整體框架圖。論文在 PSMNet 的基礎上，提出自適應單峰匹配代價體濾波，它作用于匹配代價體上。匹配代價體一方面通過 CENet 得到置信圖，結合真值視差形成對匹配代價體進行監督的單峰分布，另一方面通過 soft argmin 來預測視差。?
在匹配代價計算中，可能的視差分布是 {0, 1, ..., D-1}，那么構建得到的匹配代價體的大小即為 H×W×D（高度×寬度×最大視差值）。形式上，對每個像素包含 D 個代價的匹配代價體定義為?，那么每個子像素估計的視差可以通過 soft argmin 得到：
將每個子像素預測的視差和真值視差做 smooth L1 loss 使得整個網絡模型是可導的，可以進行端到端的訓練。?
然而，這種監督信息還是不夠完善的，可能有無數種模型權重來實現正確的插值結果。中間產物代價匹配體由于其靈活性很容易過擬合，因為許多學習不正確的匹配代價體可能會插值接近真實的視差值。為了解決這個問題，根據匹配代價體的單峰特性，直接對其進行監督。
單峰分布（Unimodal distribution）?
匹配代價體是用來反映候選匹配像素對之間的相似性的，因此真實的匹配像素對應該具有最小的代價，這反映出在真值視差的附近應該是單峰分布的，這種單峰分布可以定義為：
這里的 σ 是方差，用來控制分布在峰值附近的尖銳度。但是這樣構造的真實匹配代價體并不能反映不同像素之間的相似性分布差異，比如桌角上的像素應具有非常尖銳的峰，而均勻區域中的像素應具有相對平坦的峰。為了為代價匹配體構建更合理的監督信息，作者設計了一個置信度估計網絡以自適應地預測每個像素的?。
置信度估計網絡（Confidence estimation network, CENet）?
CENet 實際上是由兩個卷積層構成，第一層是帶有 BN 和 ReLu 的 3×3 卷積，第二層是帶有 sigmoid 激活的 1×1 卷積用來生成置信圖 。再經過尺度縮放得到最終的真值匹配代價體監督信息：
這里非負的 s 反映的對置信度??的敏感性的比例因子，正數 ε 定義? 的下界，避免了除以 0 的數值問題。由于置信度越高，其對應的匹配代價體就應該越低，所以 ?和 ?是成反比的， 的范圍在 [ε,s+ε]。消融實驗表明 s=1, ε=1 能取得最好的性能。論文中最終的結果也表明，置信度低的區域就是紋理較弱和難以匹配的遮擋區域。
立體焦點損失（Stereo focal loss）?
預測的匹配代價體和真實的匹配代價體之間存在嚴重的樣本不均衡，因為對每一個像素點來說只有一個視差值是正確的，這是一個正樣本，其余的均為負樣本。因此，作者參照用于目標檢測的 focal loss，設計了 stereo focal loss。
其中 α=0 時與交叉熵損失一樣；α>0 時給視差正樣本賦予更多的權重。消融實驗表明比標準的交叉熵損失性能要好。?
最終的損失函數由三部分構成，一是 stereo focal loss；二是預測視差和真實視差的回歸損失；三是 CENet 得到的置信度的損失，其表示如下：
實驗結果
作者在立體匹配的主流數據集 Sceneflow，KITTI 2015，KITTI 2012 上進行實驗，從表 1 可以看到 AcfNet 的性能成為新的 state-of-the-art。圖 3 中最右邊兩列可以看到誤差圖和置信圖很好的對應起來，說明 AcfNet 可以給予具有豐富信息的像素較高的置信度，同時防止信息較少的像素過擬合。圖 4 在 KITTI 15 上的可視化結果表明 AcfNet 在細節信息上優于以往 SOTA 模型。
▲?表1.?AcfNet在Sceneflow，KITTI 2015和KITTI 2012上的性能
▲?圖3.?Sceneflow數據集上的可視化結果
▲?圖4.?KITTI 2015數據集上的可視化結果
評價與思考
本文的創新點比較新穎，關注的是以往被忽略的匹配代價體的監督問題，從理論上得出匹配代價體的分布是單峰分布。作者所提出的 CENet 和 stereo focal loss 也直觀而有效。行文寫作簡潔明了，值得學習。?
立體匹配方法最大的難點是缺少泛化性能，本文對匹配代價體的概率分布施加約束，能夠作為輔助的監督信息，適用于多種基于匹配代價體的立體匹配方法。
參考文獻
[1] Mayer, N., Ilg, E., Hausser, P., Fischer, P., Cremers, D., Dosovitskiy, A., Brox, T.: A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 4040–4048 (2016)?
[2] Liang, Z., Feng, Y., Guo, Y., Liu, H., Chen, W., Qiao, L., Zhou, L., Zhang, J.: Learning for disparity estimation through feature constancy. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 2811–2820 (2018)?
[3] Kendall, A., Martirosyan, H., Dasgupta, S., Henry, P.: End-to-end learning of geometry and context for deep stereo regression. In: Proceedings of the IEEE International Conference on Computer Vision (ICCV). pp. 66–75 (2017)?
[4] Chang, J.R., Chen, Y.S.: Pyramid stereo matching network. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 5410–5418 (2018) [5] Zhang, F., Prisacariu, V., Yang, R., Torr, P.H.: Ga-net: Guided aggregation net for end-to-end stereo matching. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). pp. 185–194 (2019)
點擊以下標題查看更多往期內容：?
深度學習模型不確定性方法對比
神經網絡中的常用激活函數總結
基于無標簽單目視頻序列的單幀三維人體姿態估計
通過多標簽相關性研究提升神經網絡視頻分類能力
ICCV 2019?| 適用于視頻分割的全新Attention機制
視頻預測領域有哪些最新研究進展？
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
???? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 下載論文 & 源碼
總結
以上是生活随笔為你收集整理的AAAI 2020 开源论文 | 用于深度立体匹配的自适应单峰匹配代价体滤波的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 弢字怎么读？
- 下一篇： AAAI 2020 开源论文 | 一种针