一、前言

FCN是語義分割模型的先驅，而U-Net作為FCN的衍生物，在很多方面都與FCN有著異曲同工之處（有關FCN的內容請查閱我的上一篇文章https://blog.csdn.net/dongjinkun/article/details/109586004），比如，都舍棄了參數眾多的全連接層，選擇全卷積的方式。現在語義分割大多數的網絡模型都是在U-Net這個“優雅的”網絡結構上進行修改，所以U-Net有多么的重要，大家自己心里應該有一桿秤了。下面請跟隨我的思路一步一步的深挖U-Net這個優雅的網絡模型吧！！！

二、U-Net網絡結構

• 1.U-Net由一個contracting path 和一個expanding path組成，contracting path主要是為了利用卷積層對特征進行提取，expanding path對feature map進行上采樣，以便對圖像進行像素級別的預測。
• 2.U-Net也運用了與FCN相同的技巧（skip結構，文中copy and crop就是指的skip結構），將淺層的卷積核得到的局部、細節特征與深層卷積核得到的全局、抽象特征相結合，以便更加精準的對圖像進行分割。
• 3.U-Net并不像FCN那樣簡單的將特征相加，而是先concatenate生成雙倍通道的特征圖，然后再卷積。

三、Overlap-tile strategy

細心的小伙伴可能會發現，U-Net并不是一個嚴格意義上的對稱結構，在同一層上特征圖的size會有所減小，（以0開始計數，從上往下依次為0，1，2，3，4），例如第1層：contracting path路徑上該層特征圖size：284*284；而expanding path路徑上該層特征圖size：200*200。為什么會出現這種情況呢？因為U-Net使用的是valid卷積（換句話說，就是沒有padding，若使用了padding，則被稱為same卷積），使用valid卷積，若卷積層非常多，那么特征圖會越來越小。顯然，如果我們輸入的是原圖，經過U-Net之后，輸出圖像會比原圖像小，但是我們想進行像素級別的預測啊，必須要保持輸入圖像size = 輸出圖像size，那么如何保持輸入圖像size = 輸出圖像size呢？

• 最簡單的方式當然是用same卷積了，但是論文中沒用到它，顯然same卷積存在弊端。而且模型越深層得到的feature map抽象程度越高，受到padding的影響會呈累積效應。
• 另一種方式是直接對最后輸出的feature map作一次上采樣，可以使用插值或者轉置卷積的方法，若使用插值，由于其是不可學習的，會帶來一定的誤差；而使用轉置卷積的話，又會增加參數量，并且模型也不一定能學習得好。
  論文中是怎么解決這個問題的呢？
  論文中提到了一種叫做overlap-tile的策略，就是輸入網絡前對圖像進行padding，使得最終的輸出尺寸與原圖一致。特別的是，這個padding是鏡像padding，這樣，在預測邊界區域的時候就提供了上下文信息。下圖右是原始圖像，下圖左是經過鏡像padding處理后的圖像。
  Overlap-tile策略可搭配patch（圖像分塊）一起使用。當內存資源有限從而無法對整張大圖進行預測時，可以對圖像先進行鏡像padding，然后按序將padding后的圖像分割成固定大小的patch。這樣，能夠實現對任意大的圖像進行無縫分割，同時每個圖像塊也獲得了相應的上下文信息。另外，在數據量較少的情況下，每張圖像都被分割成多個patch，相當于起到了擴充數據量的作用。更重要的是，這種策略不需要對原圖進行縮放，每個位置的像素值與原圖保持一致，不會因為縮放而帶來誤差。
  
  小知識：鏡像padding
  
  一種顏色代表一步，以紅色為例，將[1，3]這一列作為參照物，參照物右邊為[2，4]，經過鏡像后，顯然左邊也應該為[2，4]，依次類推，就能得到一個鏡像padding。

四、相關概念解釋

細心的小伙伴可能會發現，實驗結果表格里出現了好幾個非常陌生的概念，分別是pixel error、rand error以及warping error。

4.1 pixel error

評估圖像分割問題最簡單的方法。比較預測的label和實際的label，錯誤的點除以總數，就是像素誤差。
優點是簡單，但是對于位置的偏移過分敏感，肉眼不可見的偏移都會產生大量的像素誤差。

4.2 rand error

4.3 warping error

五、參考文獻

• https://blog.csdn.net/asun0204/article/details/79002875
• https://zhuanlan.zhihu.com/p/281404684
• U-Net: Convolutional Networks for Biomedical Image Segmentation

總結

以上是生活随笔為你收集整理的白话详细解读(五)-----U-Net的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。