【導(dǎo)讀】邊緣檢測是計算機(jī)視覺中的一個基本問題。近年來，卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的出現(xiàn)極大地推動了這一領(lǐng)域的發(fā)展。現(xiàn)有的方法采用特定的深層CNN，但由于尺度和縱橫比的變化，可能無法捕捉到復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。今天分享的paper提出了一種利用更豐富的卷積特征(RCF)來精確的邊緣檢測方法。

引言

如下圖所示，構(gòu)建了一個簡單的網(wǎng)絡(luò)，使用帶有HED架構(gòu)（S. Xie and Z. Tu, “Holistically-nested edge detection,” Int. J. Comput. Vis., vol. 125, no. 1-3, pp. 3–18, 2017.）的VGG-16生成中間層的輸出，可以看出不同卷積層所獲得的信息逐漸變粗。

從上圖可以得到更重要的是，中間Conv層包含重要的細(xì)節(jié)。然而以往的CNN體系結(jié)構(gòu)只使用最終的Conv層或在神經(jīng)網(wǎng)絡(luò)的池化層之前的層，而忽略了中間層。另一方面，由于更豐富的卷積特征對于許多視覺任務(wù)是非常有效的，許多研究人員致力于開發(fā)更深層次的網(wǎng)絡(luò)。然而，由于漸變/爆炸梯度的消失和訓(xùn)練數(shù)據(jù)的不足，很難使網(wǎng)絡(luò)在更深的范圍內(nèi)收斂。

那么，我們?yōu)槭裁床怀浞掷矛F(xiàn)在的CNN特征呢？？？在此基礎(chǔ)上，提出了一種充分利用CNN特征的新深層結(jié)構(gòu)-更豐富的卷積特征(RCF)，以圖像對圖像的方式對邊緣檢測進(jìn)行像素級預(yù)測。RCF可以自動學(xué)習(xí)將來自CNN的所有層的互補(bǔ)信息組合起來，從而能夠獲得不同尺度上的目標(biāo)價或目標(biāo)部件的精確表示。

亮點

RCF將所有卷積特征封裝成更有區(qū)分性的表示，從而很好地利用了豐富的特征層次結(jié)構(gòu)，并且可以通過反向傳播進(jìn)行訓(xùn)練。RCF充分利用對象的多尺度和多層次信息，全面地進(jìn)行圖像到圖像的預(yù)測。利用VGG-16網(wǎng)絡(luò)，在幾個可用的數(shù)據(jù)集上實現(xiàn)了最先進(jìn)的性能。

在對著名的BSDS 500基準(zhǔn)進(jìn)行評估時，在保持快速速度(8 FPS)的同時，實現(xiàn)了ODS F-measure為0.811。此外，提出的方法還有一個快速版本，其達(dá)到了ODS F-measure為為0.806與30 fps。通過將RCF邊緣應(yīng)用于經(jīng)典圖像分割，驗證了該方法的通用性。

RCF

借鑒了現(xiàn)有工作HED、FCN并開始VGG-16網(wǎng)絡(luò)。VGG-16網(wǎng)絡(luò)由13個Conv層和3個全連接層組成。將其Conv層劃分為五個階段，在這五個階段中，在每個階段之后連接池化層。由每個Conv層捕獲的有用信息隨著其感受野大小的增加變得更粗。在HED文獻(xiàn)中中可以找到不同層的詳細(xì)感受野大小。假設(shè)使用這種豐富的分層信息來幫助邊緣檢測，網(wǎng)絡(luò)設(shè)計的出發(fā)點就是在這里。

上圖顯示了提出的新網(wǎng)絡(luò)。與VGG-16相比，主要的修改可以概括為：

• 切割了所有全連接的層和池化層。一方面，去除了全連接的圖層，形成一個全卷積的網(wǎng)絡(luò)來進(jìn)行圖像到圖像的預(yù)測；另一方面，增加池化層會使步長增加兩倍，往往導(dǎo)致邊緣定位的退化；
• VGG-16中的每個Conv層連接到內(nèi)核大小為1×1、深度為21的Conv層。并在每一階段的結(jié)果特征映射被累積使用一個eltwise層來獲得混合特征；
• 一個1×1?1 Conv層在每個電子層后面。然后，用反卷積層對該特征映射進(jìn)行采樣；
• 在每個階段，交叉熵?fù)p失/sigmoid層連接到上采樣層；
• 所有上采樣層都連接在一起，然后用1×1 Conv層對每個階段的特征映射進(jìn)行融合。最后，采用交叉熵?fù)p失/sigmoid層來獲得融合損失/輸出。

Annotator-robust損失函數(shù)

這個邊緣數(shù)據(jù)集通常由幾個注釋者使用他們關(guān)于對象或?qū)ο蟛糠值拇嬖诘闹R來標(biāo)記。雖然人類的認(rèn)知能力不同，但對于同一幅圖像，這些人標(biāo)記的邊緣具有很高的一致性。對于每幅圖像，平均所有的Ground Truth，生成一幅從0到1的邊緣概率圖。

多尺度分層邊緣檢測

在單尺度邊緣檢測中，將原始圖像傳送到微調(diào)的RCF網(wǎng)絡(luò)中，然后輸出是邊緣概率圖。

為了進(jìn)一步提高邊緣質(zhì)量，在測試階段使用圖像棱錐。具體地，我們調(diào)整圖像的大小以構(gòu)造圖像金字塔，并且這些圖像中的每一個分別傳送到單個比例檢測器。然后，使用雙線性插值將所有得到的邊緣概率映射調(diào)整為原始圖像大小。最后對這些圖進(jìn)行融合得到最終的預(yù)測圖。

在本研究中采用簡單的平均融合，盡管其他先進(jìn)的策略也適用。通過這種方式，初步版本首先證明了多尺度測試仍然有利于邊緣檢測，盡管RCf本身能夠。

實驗分析

表1 在BSDS500數(shù)據(jù)集上的比較

圖 在BSDS500和NYUD數(shù)據(jù)集上的評估結(jié)果

圖 RCf的一些可視化案例

表 不同融合的結(jié)果

圖 在不同數(shù)據(jù)集上邊緣檢測的評估PR曲線

如果想加入我們“計算機(jī)視覺戰(zhàn)隊”，請掃二維碼加入學(xué)習(xí)群。計算機(jī)視覺戰(zhàn)隊主要涉及機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域，由來自于各校的碩博研究生組成的團(tuán)隊，主要致力于人臉檢測、人臉識別，多目標(biāo)檢測、目標(biāo)跟蹤、圖像分割等研究方向。

我們開創(chuàng)一段時間的“計算機(jī)視覺協(xié)會”知識星球，也得到很多同學(xué)的認(rèn)可，我們定時會推送實踐型內(nèi)容與大家分享，在星球里的同學(xué)可以隨時提問，隨時提需求，我們都會及時給予回復(fù)及給出對應(yīng)的答復(fù)。

微信學(xué)習(xí)討論群也可以加入，我們會第一時間在該些群里預(yù)告！

論文地址：http://mftp.mmcheng.net/Papers/19PamiEdge.pdf

源碼：https://github.com/yun-liu/rcf

總結(jié)

以上是生活随笔為你收集整理的特征级融合_更丰富的卷积特征用于目标边缘检测（文末附有论文及源码下载）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。