盡管深度結構在許多任務中都有效，但它們仍然受到一些重要限制。尤其是，它們容易遭受災難性的遺忘，即，由于需要新的類而未保留原始訓練集時，當要求他們更新模型時，他們的表現很差。本文在語義分割的背景下解決了這個問題。當前的策略無法完成此任務，因為他們沒有考慮語義分割的特殊方面：由于每個訓練步驟僅為所有可能類別的子集提供注釋，因此背景類別的像素（即不屬于任何其他像素的像素）類）表現出語義分布偏移。在這項工作中，我們回顧了經典的增量學習方法，提出了一個新的基于蒸餾的框架，該框架明確地說明了這一轉變。此外，我們引入了一種新穎的策略來初始化分類器的參數，從而防止偏向于背景類的預測。我們通過對Pascal-VOC 2012和ADE20K數據集進行了廣泛評估，證明了我們的方法的有效性，大大優于最新的增量學習方法。

1. Introduction

語義分割是計算機視覺中的一個基本問題。在過去的幾年中，由于深度神經網絡的出現和大規模的人類注釋數據集的出現[11，39]，現有技術水平已得到顯著改善[20，8，38，19，37] 。當前的方法是通過利用完全卷積網絡（FCN）[20]將深層結構從圖像級擴展到像素級分類而得出的。多年來，基于FCN的語義分割模型已經以多種方式進行了改進，例如通過利用多尺度表示[19，37]，對空間依賴性和上下文提示進行建模[6，5，8]或考慮注意力模型[7]。
盡管如此，當發現新類別時，現有的語義分割方法仍未設計為逐步更新其內部分類模型。雖然深網無疑是強大的，但眾所周知，它們在增量學習環境中的能力是有限的[16]。實際上，深層體系結構在更新其參數以學習新類別的同時，還要保留舊版本的良好性能（災難性的遺忘[23]）。

圖1：用于語義分段的增量學習中背景類的語義轉換的插圖。 黃色框表示學習步驟中提供的基本事實，而灰色框表示未標記的類。 由于不同的學習步驟具有不同的標簽空間，因此在步驟t，舊類（例如人）和看不見的類（例如汽車）可能會被標記為當前地面真理的背景。 在這里，我們顯示了單類學習步驟的具體情況，但我們解決了添加任意數量的類的一般情況。
雖然增量學習的問題已在對象識別[18、17、4、28、15]和檢測[32]中得到了傳統解決，但對語義分割的關注卻很少。在這里，我們填補了這一空白，提出了一種用于語義分割的增量類學習（ICL）方法。受先前關于圖像分類的方法的啟發[18、28、3]，我們通過知識蒸餾來應對災難性的遺忘[14]。但是，我們認為（并通過實驗證明）在這種情況下，僅靠天真的應用先前的知識蒸餾策略是不夠的。實際上，語義分割的一個特殊方面是特殊類（背景類）的存在，它表示未分配給任何給定對象類別的像素。雖然此類的存在在一定程度上影響了傳統的脫機語義分割方法的設計，但在增量學習環境中卻并非如此。如圖1所示，可以合理地假設與背景類相關聯的語義會隨時間變化。換句話說，在學習步驟期間與背景相關聯的像素像素可以在后續步驟中被分配給特定的對象類別，反之亦然，從而加劇了災難性的遺忘。為了克服這個問題，我們通過引入兩個新的損失項來適當考慮背景類中的語義分布變化，從而重新審視基于經典蒸餾的增量學習框架[18]，從而引入了第一個針對語義分割的ICL方法。我們在兩個數據集Pascal-VOC [11]和ADE20K [39]上廣泛評估了我們的方法，表明我們的方法以及新穎的分類器初始化策略在很大程度上優于傳統的ICL方法。
總而言之，本文的貢獻如下：

?我們研究了用于語義分割的增量式課堂學習的任務，尤其是分析了由于背景課堂的存在而引起的分布轉移的問題。
?我們提出了一個新的目標函數，并引入了一種特定的分類器初始化策略，以明確應對背景類不斷發展的語義。 我們證明了我們的方法極大地減輕了災難性的遺忘，從而達到了最先進的水平。
?考慮到不同的實驗設置，我們在兩個流行的語義細分數據集上對幾種先前的ICL方法進行了基準測試。 我們希望我們的結果可以為將來的工作提供參考。

2. Related Works

語義分割是計算機視覺中的一個基本問題。在過去的幾年中，由于深度神經網絡的出現和大規模的人類注釋數據集的出現[11，39]，現有技術水平已得到顯著改善[20，8，38，19，37] 。當前的方法是通過利用完全卷積網絡（FCN）[20]將深層結構從圖像級擴展到像素級分類而得出的。多年來，基于FCN的語義分割模型已經以多種方式進行了改進，例如通過利用多尺度表示[19，37]，對空間依存關系和上下文提示進行建模[6、5、8]或考慮注意力模型[7]。方法[18]進行細分并設計一種策略來選擇舊數據集的相關樣本排練。 Taras等。提出了一種類似的分割遙感數據的方法。不同的是，Michieli等。 [24]考慮在特定環境下進行語義分割的ICL，在這種情況下，為舊班級提供la-bels，同時學習新班級。而且，他們假設新穎的類永遠不會在以前的學習步驟的像素中作為背景出現。這些假設極大地限制了其方法的適用性。

在這里，我們提出了語義分割中ICL問題的更原則性的表述。與以前的工作相比，我們不將分析局限于醫學[26]或遙感數據[33]，也沒有對標簽空間在不同學習步驟之間的變化方式施加任何限制[24]。此外，我們是第一個在常用語義分類基準上提供對最新ICL方法的綜合實驗評估，并明確引入和解決背景類的語義轉換的方法，該問題已被認可，但很大程度上受到監督以前的作品[24]。
增量學習。災難性的遺忘問題[23]已被廣泛研究用于圖像分類任務[9]。以前的作品可以分為三類[9]：基于重播的[28、3、31、15、34、25]，基于正則化的[17、4、36、18、10]和基于參數隔離的[ 22、21、30]。在基于重放的方法中，先前任務的示例被存儲[28、3、15、35]或生成[31、34、25]，然后在學習新任務的同時進行重放。基于參數隔離的方法[22、21、30]為每個任務分配參數的子集，以防止遺忘。基于正則化的方法可以分為優先關注和數據關注。前者[36，4，17，1]將知識定義為參數值，通過懲罰舊參數的重要參數的變化來限制新任務的學習。后者[18，10]利用分散[14]并將舊網絡和新網絡產生的激活之間的距離用作正則化術語，以防止災難性遺忘。
盡管取得了這些進展，但除圖像級分類外，幾乎沒有其他作品。這個方向的第一項工作是[32]，它考慮了對象檢測中的ICL，提出了一種基于蒸餾的方法，該方法從[18]改編而來，用于解決新穎的類識別和邊界框建議的生成。在這項工作中，我們也采用與[32]類似的方法，并且我們采用蒸餾法。但是，在此我們提議解決建模背景分割的問題，這是語義分割設置所特有的。

模型部分：

圖2：我們的方法概述。 在學習步驟t，舊（頂部）模型和當前（底部）模型處理圖像，將圖像映射到它們各自的輸出空間。 與標準ICL方法一樣，我們應用交叉熵損失來學習新的類（藍色塊），并使用蒸餾損失來保留舊知識（黃色塊）。 在此框架中，我們通過（i）使用舊背景的權重（左）初始化新分類器來建模跨不同學習步驟的背景的語義變化，（ii）比較十字架中像素級背景的地面真相 -熵，具有背景（黑色）或舊類（粉紅色和灰色條）的概率，并且（iii）將蒸餾損失中舊模型給出的背景概率與具有背景或背景的概率相關新類（綠色欄）。

代碼：https://github.com/gzb126/MiB

from paper:Modeling the Background for Incremental Learning in Semantic Segmentation

總結

以上是生活随笔為你收集整理的语义分割中的增量学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。