多篇开源CVPR 2020 语义分割论文
多篇開源CVPR 2020 語義分割論文
前言
- DynamicRouting：針對語義分割的動態(tài)路徑選擇網(wǎng)絡(luò)
Learning Dynamic Routing for Semantic Segmentation
作者團(tuán)隊(duì)：中科院&國科大&西安交大&曠視
論文鏈接：https://arxiv.org/abs/2003.10401
代碼鏈接：https://github.com/yanwei-li/DynamicRouting
近年來，大量的人工搜索網(wǎng)絡(luò)被應(yīng)用于語義分割。然而，以前的工作意圖在預(yù)定義的靜態(tài)架構(gòu)（如FCN、U-Net和DeepLab系列）中處理各種規(guī)模的輸入。本文研究了一種新的概念化的語義表示方法，稱為動態(tài)路由。該框架根據(jù)每個(gè)圖像的尺度分布，生成與數(shù)據(jù)相關(guān)的路由。為此，提出了一種可微選通函數(shù)軟條件門，用于動態(tài)選擇尺度變換路徑。此外，通過對選通函數(shù)給予預(yù)算約束，以端到端的方式進(jìn)一步降低計(jì)算成本。進(jìn)一步放寬了網(wǎng)絡(luò)層的路由空間，以支持多徑傳播，并在每次轉(zhuǎn)發(fā)時(shí)跳過連接，帶來了可觀的網(wǎng)絡(luò)容量。為了證明動態(tài)特性的優(yōu)越性，比較了幾種靜態(tài)結(jié)構(gòu)，它們可以在路由空間中建模為特殊情況。為了說明動態(tài)框架的有效性，在Cityscapes and PASCAL VOC 2012上進(jìn)行了廣泛的實(shí)驗(yàn)。
注：性能優(yōu)于Auto-DeepLab、PSPNet等網(wǎng)絡(luò)，已收錄于CVPR 2020（Oral）！
論文解讀：CVPR 2020(Oral) | 曠視提出DynamicRouting：針對語義分割的動態(tài)路徑選擇網(wǎng)絡(luò)
- HANet：通過高度驅(qū)動注意力網(wǎng)絡(luò)改善城市場景分割
Cars Can’t Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
作者團(tuán)隊(duì)：LG&LLNL&高麗大學(xué)&韓國科學(xué)技術(shù)院
論文鏈接：https://arxiv.org/abs/2003.05128
代碼鏈接：https://github.com/shachoi/HANet
本文利用城市場景圖像的內(nèi)在特征，提出了一個(gè)通用的附加模塊高度驅(qū)動注意網(wǎng)絡(luò)（HANet），用于改進(jìn)城市場景圖像的語義分割。它根據(jù)像素的垂直位置有選擇地強(qiáng)調(diào)信息特征或類。在城市場景圖像的水平分割區(qū)域中，像素級分布存在顯著差異。同樣，城市場景圖像也有其獨(dú)特的特征，但大多數(shù)語義分割網(wǎng)絡(luò)并沒有反映出這種獨(dú)特的屬性。該網(wǎng)絡(luò)體系結(jié)構(gòu)結(jié)合了利用屬性對城市場景數(shù)據(jù)集進(jìn)行有效處理的能力。驗(yàn)證了當(dāng)采用HANet時(shí)，不同語義分割模型在兩個(gè)數(shù)據(jù)集上的一致性性能（mIoU）的提高。這種廣泛的定量分析表明，將模塊添加到現(xiàn)有的模型中是容易和成本效益高的。在基于ResNet-101的分割模型中，方法在Cityscapes基準(zhǔn)上獲得了最新的性能，并且有很大的差距。通過對注意圖的可視化和解釋，證明了該模型與城市場景中觀察到的事實(shí)是一致的。
注：在Cityscapes測試集高達(dá)83.2mIoU！論文解讀：CVPR2020| HANet：通過高度驅(qū)動的注意力網(wǎng)絡(luò)改善城市場景語義分割
- SPNet(條狀池化)：重新思考空間池化以進(jìn)行場景解析
Strip Pooling: Rethinking Spatial Pooling for Scene Parsing
作者團(tuán)隊(duì)：新加坡國立大學(xué)&牛津大學(xué)&南開大學(xué)
論文鏈接：https://arxiv.org/abs/2003.13328
代碼鏈接：https://github.com/Andrew-Qibin/SPNet
空間池在捕獲像素級預(yù)測任務(wù)（如場景解析）的遠(yuǎn)程上下文信息方面已被證明是非常有效的。在本文中，除了通常具有規(guī)則NxN形狀的傳統(tǒng)空間池之外，通過引入一種新的池策略（稱為條池策略）來重新考慮空間池的形式，該策略考慮了一個(gè)狹長的內(nèi)核，即1xN或Nx1。在條帶池的基礎(chǔ)上，進(jìn)一步研究了空間池的體系結(jié)構(gòu)設(shè)計(jì)：1）引入了一個(gè)新的條帶池模塊，使骨干網(wǎng)能夠有效地建模遠(yuǎn)程依賴關(guān)系；2）提出了一個(gè)以多種空間池為核心的新的構(gòu)建塊，（3）系統(tǒng)地比較了所提出的條帶池和傳統(tǒng)空間池技術(shù)的性能。這兩種新的基于池的設(shè)計(jì)都是輕量級的，可以作為現(xiàn)有場景解析網(wǎng)絡(luò)中的一個(gè)有效的即插即用模塊。在流行基準(zhǔn)（如ADE20K和Cityscapes）上進(jìn)行的大量實(shí)驗(yàn)表明，我們的簡單方法建立了新的最先進(jìn)的結(jié)果。
注：本文提出SPNet語義分割新網(wǎng)絡(luò)，含Strip池化方法，表現(xiàn)SOTA！性能優(yōu)于CCNet、APNB和APCNet等網(wǎng)絡(luò)論文解讀：CVPR2020| Strip Pooling：語義分割新trick，條紋池化取代空間池化。
- CPNet：場景分割的上下文先驗(yàn)（Prior）
Context Prior for Scene Segmentation
作者團(tuán)隊(duì)：華中科技大學(xué)&阿德萊德大學(xué)(沈春華)&港中文&騰訊(俞剛)
論文鏈接：https://arxiv.org/abs/2004.01547
代碼鏈接：https://git.io/ContextPrior
近年來，為了獲得更準(zhǔn)確的分割結(jié)果，人們對上下文依賴進(jìn)行了廣泛的研究。然而，大多數(shù)方法很少區(qū)分不同類型的上下文依賴關(guān)系，這可能會影響場景理解。在這項(xiàng)工作中，直接監(jiān)督特征聚合，以清楚地區(qū)分類內(nèi)和類間上下文。具體來說，在監(jiān)督親和力損失之前開發(fā)一個(gè)上下文。在給定輸入圖像和相應(yīng)的背景真實(shí)度的情況下，關(guān)聯(lián)損失構(gòu)造一個(gè)理想的關(guān)聯(lián)映射來監(jiān)督上下文的先驗(yàn)學(xué)習(xí)。學(xué)習(xí)的上下文先驗(yàn)提取屬于同一類別的像素，而反向先驗(yàn)則聚焦于不同類別的像素。嵌入到傳統(tǒng)的深層CNN中，提出的上下文優(yōu)先層可以選擇性地捕獲類內(nèi)和類間的上下文依賴關(guān)系，從而獲得魯棒的特征表示。為了驗(yàn)證其有效性，設(shè)計(jì)了一個(gè)有效的上下文優(yōu)先網(wǎng)絡(luò)（CPNet）。大量的定量和定性評估表明，所提出的模型優(yōu)于目前最先進(jìn)的語義分割方法。更具體地說，算法在ADE20K上達(dá)到46.3%的mIoU，在PASCAL上下文上達(dá)到53.9%的mIoU，在Cityscapes上達(dá)到81.3%的mIoU。
注：表現(xiàn)SOTA！性能優(yōu)于ANL、EncNet和DenseASPP等網(wǎng)絡(luò)論文解讀：81.3％mIoU！華中科大等提出Context
Prior：在語義分割中引入上下文先驗(yàn) | CVPR2020
- TDNet：用于快速視頻語義分割的時(shí)間分布式網(wǎng)絡(luò)
Temporally Distributed Networks for Fast Video Semantic Segmentation
作者團(tuán)隊(duì)：波士頓大學(xué)&Adobe研究院
論文鏈接：https://arxiv.org/abs/2004.01800
代碼鏈接：https://github.com/feinanshan/TDNet
本文提出了一種時(shí)間分布的視頻語義分割網(wǎng)絡(luò)TDNet。從深層CNN的某一高層提取的特征可以通過組合從幾個(gè)較淺的子網(wǎng)絡(luò)提取的特征來近似。利用視頻中固有的時(shí)間連續(xù)性，將這些子網(wǎng)絡(luò)分布在連續(xù)幀上。因此，在每個(gè)時(shí)間步驟中，只需執(zhí)行輕量級計(jì)算即可從單個(gè)子網(wǎng)絡(luò)中提取子特征組。然后應(yīng)用一種新的注意傳播模塊來補(bǔ)償幀間的幾何變形，從而重新構(gòu)造用于分割的全部特征。為了進(jìn)一步提高全特征層和子特征層的表示能力，還引入了分組知識蒸餾損失。在CityScape、CamVid和NYUD-v2上的實(shí)驗(yàn)表明，方法以更快的速度和更低的延遲達(dá)到了最先進(jìn)的精度。
注：表現(xiàn)SOTA！性能優(yōu)于PSPNet、BiseNet等網(wǎng)絡(luò)。
- SEAM：弱監(jiān)督語義分割的自監(jiān)督等變注意力機(jī)制
Self-supervised Equivariant Attention Mechanism for Weakly
Supervised Semantic Segmentation
作者團(tuán)隊(duì)：中科院&國科大等
論文鏈接：https://arxiv.org/abs/2004.04581
代碼鏈接：https://github.com/YudeWang/SEAM
圖像級弱監(jiān)督語義分割是近年來深入研究的一個(gè)具有挑戰(zhàn)性的問題。大多數(shù)高級解決方案利用類激活圖（CAM）。然而，由于監(jiān)控的充分性和薄弱性，CAMs很難作為目標(biāo)遮罩。本文提出了一種自監(jiān)督的等變注意機(jī)制（SEAM），以發(fā)現(xiàn)額外的監(jiān)督并縮小差距。方法是基于在全監(jiān)督語義分割中，等價(jià)性是一個(gè)隱含的約束條件，其像素級標(biāo)簽在數(shù)據(jù)增強(qiáng)過程中與輸入圖像采用相同的空間變換。然而，這種約束在由圖像級監(jiān)控訓(xùn)練的CAMs上丟失了。因此，提出了基于不同變換圖像的預(yù)測CAMs一致性正則化，為網(wǎng)絡(luò)學(xué)習(xí)提供自我監(jiān)控。此外，還提出了一個(gè)像素相關(guān)模塊（PCM），該模塊利用上下文外觀信息，并通過其相似鄰域?qū)Ξ?dāng)前像素進(jìn)行細(xì)化預(yù)測，從而進(jìn)一步提高了CAMs的一致性。在PASCAL VOC 2012數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，方法優(yōu)于使用相同監(jiān)控級別的最新方法。
注：表現(xiàn)SOTA！性能優(yōu)于AffinityNet、IRNet和DCSP等網(wǎng)絡(luò)
- SEAM：弱監(jiān)督語義分割的自監(jiān)督等變注意力機(jī)制
Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision
作者團(tuán)隊(duì)：韓國科學(xué)技術(shù)院（KAIST）
論文鏈接：https://arxiv.org/abs/2004.07703
代碼鏈接：https://github.com/feipan664/IntraDA
基于卷積神經(jīng)網(wǎng)絡(luò)的語義分割方法取得了顯著的進(jìn)展。然而，這些方法在很大程度上依賴于勞動密集型的注釋數(shù)據(jù)。為了克服這一局限性，利用圖形引擎生成的自動標(biāo)注數(shù)據(jù)訓(xùn)練分割模型。然而，從合成數(shù)據(jù)中訓(xùn)練出來的模型很難轉(zhuǎn)化為真實(shí)的圖像。為了解決這個(gè)問題，以前的工作考慮直接將模型從源數(shù)據(jù)調(diào)整到未標(biāo)記的目標(biāo)數(shù)據(jù)（以減少域間的差距）。盡管如此，這些技術(shù)并沒有考慮到目標(biāo)數(shù)據(jù)本身之間的巨大分布差距（域內(nèi)差距）。在這項(xiàng)工作中，提出了一個(gè)兩步自監(jiān)督域適應(yīng)方法，以最小化域間和域內(nèi)的差距。首先，對模型進(jìn)行域間自適應(yīng)；從這種自適應(yīng)中，使用基于熵的排序函數(shù)將目標(biāo)域分成容易和難分割的兩部分。最后，為了減小域內(nèi)的差距，建議采用一種自監(jiān)督的自適應(yīng)技術(shù)，從易分割到難分割。在大量基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果突出了方法相對于現(xiàn)有的最新方法的有效性。
注：表現(xiàn)SOTA！性能優(yōu)于AdaptSegNet、AdvEnt和CyCADA等網(wǎng)絡(luò)。
總結(jié)
以上是生活随笔為你收集整理的多篇开源CVPR 2020 语义分割论文的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
