背景介紹

近來年，深度卷積網(wǎng)絡(luò)在目標(biāo)檢測(cè)方面取得了一定的成績(jī)。但對(duì)于密集預(yù)測(cè)，仍存在一定不足，原因是頻繁的卷積和池化導(dǎo)致最終的特征分辨率降低。

針對(duì)這個(gè)問題，目前主要采用兩種方法：第一種：空洞卷積，如Deeplab，但計(jì)算資源消耗太大；下圖分別是殘差結(jié)構(gòu)和空洞卷積在提取稠密分割結(jié)果時(shí)的操作流程：

很明顯，殘差結(jié)構(gòu)直接損失了空間分辨率。雖然空洞卷積在一定程度上減小了殘差結(jié)構(gòu)空間分辨率的損失，但是其訓(xùn)練的代價(jià)是非常高昂的（即使在GPU上）。

第二種、充分利用中間層的語(yǔ)義信息來生成較高分辨率的預(yù)測(cè)結(jié)果，即本文采用的方法。

正文

一、創(chuàng)新點(diǎn)：

1、提出一種新的模塊：RefineNet，利用不同層的特征來完成語(yǔ)義分割。主要利用了遞歸的方式。

2、提出了鏈?zhǔn)綒埐畛鼗乃枷耄梢栽谳^大的圖像區(qū)域上捕獲背景信息。

二、詳細(xì)功能介紹：

1、多路徑Refine恢復(fù)分辨率

實(shí)現(xiàn)將粗糙的較高層次語(yǔ)義特征與精細(xì)的較低層次語(yǔ)義特征結(jié)合，來生成高分辨率的語(yǔ)義分割圖片；

基于ResNet網(wǎng)絡(luò)，在4種不同的降采樣階段，將特征圖輸入到RefineNet模塊中，產(chǎn)生整合后的特征圖。除了RefineNet4，每個(gè)RefineNet模塊都有兩個(gè)輸入，一個(gè)是本階段的特征圖，另一個(gè)是低層產(chǎn)生的經(jīng)過處理的特征圖。隨著降采樣的進(jìn)行，語(yǔ)義信息逐漸豐富。最終得到的得分圖，經(jīng)過上采樣恢復(fù)到原有的圖片大小。

2、RefineNet模塊（全局特征提取與融合）

每個(gè)RefineNet模塊結(jié)構(gòu)如下：

主要由4部分組成：

1）殘差卷積單元RCU，用來調(diào)整預(yù)訓(xùn)練權(quán)重；

　　　　

每個(gè)RCU模塊包括一個(gè)ReLU層和一個(gè)卷積層，網(wǎng)絡(luò)結(jié)構(gòu)中，每個(gè)分辨率下應(yīng)用兩個(gè)串聯(lián)的RCU模塊，用于提取該分辨率下的分割結(jié)果的殘差，最后以相加的形式校正該分辨率下的原始分割結(jié)果。

2）多分辨率融合單元，實(shí)現(xiàn)不同分辨率特征圖的融合；

首先通過一個(gè)卷積層處理輸入進(jìn)來的不同分辨率下的分割結(jié)果，從而學(xué)習(xí)得到各通道下的適應(yīng)性權(quán)重。隨后，應(yīng)用上采樣，統(tǒng)一所有通道下的分割結(jié)果，并將各通道結(jié)果求和。求和結(jié)果送入下一個(gè)模塊。

3）鏈?zhǔn)綒埐畛鼗脕聿东@背景上下文信息；

　

通過殘差校正的方式，優(yōu)化前兩步融合得到的分割結(jié)果。

該模塊主要由一個(gè)殘差結(jié)構(gòu)、一個(gè)池化層和一個(gè)卷積層組成。其中，池化層加卷積層用來習(xí)得用于校正的殘差。值得注意的是，RefineNet在這里用了一個(gè)比較巧妙的做法：用前一級(jí)的殘差結(jié)果作為下一級(jí)的殘差學(xué)習(xí)模塊的輸入，而非直接從校正后的分割結(jié)果上再重新習(xí)得一個(gè)獨(dú)立的殘差。好處是：可以使得后面的模塊在前面殘差的基礎(chǔ)上，繼續(xù)深入學(xué)習(xí)，得到一個(gè)更好的殘差校正結(jié)果。

4）輸出卷積單元，用于處理結(jié)果的最終預(yù)測(cè)。

3、恒等映射

方便進(jìn)行端到端的處理。

三、詳細(xì)架構(gòu)圖：

四、RefineNet不同變種結(jié)構(gòu)：

1、單個(gè)RefineNet

2、二次級(jí)聯(lián)的RefineNet

3、四次級(jí)聯(lián)RefineNet

五、實(shí)驗(yàn)結(jié)果：

RefineNet在NYUv2數(shù)據(jù)庫(kù)、PASCAL VOC 2012數(shù)據(jù)庫(kù)和Cityscapes數(shù)據(jù)庫(kù)下都有實(shí)驗(yàn)驗(yàn)證。下表是其在NYUv2下的結(jié)果（40類）：

NYU數(shù)據(jù)集下載鏈接：https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html

預(yù)處理鏈接：http://www.manongjc.com/article/26507.html

下表是其在Cityscapes下的結(jié)果：

CityScapes數(shù)據(jù)集下載鏈接：https://www.cityscapes-dataset.com/

下圖是語(yǔ)義分割問題上的直觀結(jié)果：

除了語(yǔ)義分割，RefineNet還可以用于目標(biāo)理解（object parsing）。下表是其在目標(biāo)理解上的表現(xiàn)：

下圖是RefineNet在目標(biāo)理解上的直觀結(jié)果：

注：該方法可進(jìn)行端到端的訓(xùn)練，且在不同的訓(xùn)練集上表現(xiàn)都不錯(cuò)。

總結(jié)

以上是生活随笔為你收集整理的语义分割之RefineNet的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。