摘要

采用大型復(fù)雜的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)深度估計(jì)的高級(jí)性能。雖然性能仍在不斷提高，但作者認(rèn)為深度估計(jì)必須是準(zhǔn)確和高效的。這是現(xiàn)實(shí)應(yīng)用的初步要求。但是，快速深度估計(jì)會(huì)在模型容量和精度之間產(chǎn)生折衷，從而降低模型的性能。在這篇論文中，作者嘗試用一個(gè)輕量級(jí)的網(wǎng)絡(luò)來實(shí)現(xiàn)高度精確的深度估計(jì)。為此，作者首先介紹了一種可以實(shí)時(shí)估計(jì)深度圖的緊湊網(wǎng)絡(luò)。然后，作者在技術(shù)上展示了兩種補(bǔ)充和必要的策略，以提高輕量級(jí)網(wǎng)絡(luò)的性能。由于真實(shí)場(chǎng)景的數(shù)量是無限的，首先是輔助數(shù)據(jù)的使用，增加了訓(xùn)練數(shù)據(jù)的多樣性。二是運(yùn)用知識(shí)精餾進(jìn)一步提升績(jī)效。通過廣泛和嚴(yán)格的實(shí)驗(yàn)，作者表明，作者的方法在推理精度，計(jì)算效率和泛化方面優(yōu)于以往的輕量級(jí)方法。與只有1%參數(shù)的最先進(jìn)的方法相比，作者可以實(shí)現(xiàn)相當(dāng)?shù)男阅?#xff0c;另一方面，作者的方法比其他輕量級(jí)方法的性能要好得多。

論文創(chuàng)新點(diǎn)

作者通過實(shí)驗(yàn)證明：

本文介紹的光網(wǎng)絡(luò)可以實(shí)時(shí)估計(jì)深度圖。它在推理精度、計(jì)算效率和泛化性能方面優(yōu)于基準(zhǔn)方法。

對(duì)于深度估計(jì)，有效的知識(shí)提煉的關(guān)鍵是采用良好的誤差度量。作者證明了應(yīng)用幾何約束有助于更好的知識(shí)轉(zhuǎn)移。

這兩種策略，即使用輔助數(shù)據(jù)和知識(shí)精餾以一種互補(bǔ)的方式工作。它們的結(jié)合給作者帶來了一個(gè)高精度和計(jì)算效率高的深度估計(jì)網(wǎng)絡(luò)。

框架結(jié)構(gòu)

提出的網(wǎng)絡(luò)圖。其核心組件是四個(gè)特征融合與壓縮層(FFC)。FFC層由一個(gè)信道的關(guān)注層和一個(gè)卷積層組成，這樣它可以自動(dòng)將更多的權(quán)值歸到更重要的特征上，然后將它們?nèi)诤系缴倭康男诺乐小?br />

實(shí)驗(yàn)結(jié)果

(a)有無額外訓(xùn)練數(shù)據(jù)的教師和學(xué)生網(wǎng)的表現(xiàn)。注意，學(xué)員網(wǎng)是經(jīng)過培訓(xùn)而沒有知識(shí)的提煉的。(b)學(xué)生網(wǎng)與知識(shí)精餾的表現(xiàn)。由此可見，即使給定相同的教師網(wǎng)，作者也可以通過額外的訓(xùn)練數(shù)據(jù)獲得顯著的準(zhǔn)確性提高。

對(duì)不同輕型深度估算方法進(jìn)行定性比較。

基于TUM數(shù)據(jù)集的5個(gè)序列預(yù)測(cè)點(diǎn)云的定性比較。

結(jié)論

本文從以下三個(gè)方面對(duì)單目深度估計(jì)進(jìn)行了全面回顧:1)推斷精度，2)計(jì)算效率，3)概化性。作者指出主要有兩大挑戰(zhàn)。首先是模型準(zhǔn)確性和模型容量之間的權(quán)衡，其次是對(duì)未知場(chǎng)景的泛化性能較差。作者的方法首先引入了一個(gè)緊湊的網(wǎng)絡(luò)，可以實(shí)時(shí)估計(jì)深度地圖。然后，作者的實(shí)證和定量表明，使用輔助訓(xùn)練數(shù)據(jù)是必要的改進(jìn)輕量級(jí)網(wǎng)絡(luò)。場(chǎng)景多樣性的增加不僅可以提高網(wǎng)絡(luò)的準(zhǔn)確性和泛化程度，而且是后續(xù)知識(shí)提煉過程中所需要的。作者運(yùn)用知識(shí)蒸餾技術(shù)，利用輔助數(shù)據(jù)從訓(xùn)練有素的教師網(wǎng)中提升出輕量級(jí)網(wǎng)。作者利用額外的幾何約束(梯度和法線)來精確測(cè)量老師和學(xué)生之間的估計(jì)的差異。因此，作者的方法與在只有1%參數(shù)的大型網(wǎng)絡(luò)上建立的方法相比具有相當(dāng)?shù)男阅?#xff0c;并在很大程度上優(yōu)于其他輕量級(jí)方法。在未來，作者將進(jìn)一步改進(jìn)作者的方法與更多的現(xiàn)實(shí)場(chǎng)景，以發(fā)展一個(gè)更通用的網(wǎng)絡(luò)深度估計(jì)。

論文鏈接：https://arxiv.org/pdf/2105.06143.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周圍的同學(xué)。

- END -

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【论文解读】通过知识蒸馏促进轻量级深度估计的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。