RFCN论文笔记
R-FCN論文閱讀（R-FCN: Object Detection via?Region-based Fully Convolutional Networks?）
?
目錄
- 作者及相關(guān)鏈接
- 方法概括
- 方法細節(jié)
- 實驗結(jié)果
- 總結(jié)
- 參考文獻
?
?
作者及相關(guān)鏈接
- 作者：
- 作者鏈接：代季峰，何愷明，孫劍
- 論文鏈接：論文傳送門
- 代碼鏈接：matlab版，python版
方法概括
R-FCN解決問題——目標檢測
整個R-FCN的結(jié)構(gòu)
- 一個base的conv網(wǎng)絡如ResNet101, 一個RPN（Faster RCNN來的）,一個position sensitive的prediction層，最后的ROI pooling+投票的決策層
R-FCN的idea出發(fā)點（關(guān)鍵思想）
- 分類需要特征具有平移不變性，檢測則要求對目標的平移做出準確響應。現(xiàn)在的大部分CNN在分類上可以做的很好，但用在檢測上效果不佳。SPP，Faster R-CNN類的方法在ROI pooling前都是卷積，是具備平移不變性的，但一旦插入ROI pooling之后，后面的網(wǎng)絡結(jié)構(gòu)就不再具備平移不變性了。因此，本文想提出來的position sensitive score map這個概念是能把目標的位置信息融合進ROI pooling。
- 對于region-based的檢測方法，以Faster R-CNN為例，實際上是分成了幾個subnetwork，第一個用來在整張圖上做比較耗時的conv，這些操作與region無關(guān)，是計算共享的。第二個subnetwork是用來產(chǎn)生候選的boundingbox（如RPN），第三個subnetwork用來分類或進一步對box進行regression（如Fast RCNN），這個subnetwork和region是有關(guān)系的，必須每個region單獨跑網(wǎng)絡，銜接在這個subnetwork和前兩個subnetwork中間的就是ROI pooling。我們希望的是，耗時的卷積都盡量移到前面共享的subnetwork上。因此，和Faster RCNN中用的ResNet（前91層共享，插入ROI pooling，后10層不共享）策略不同，本文把所有的101層都放在了前面共享的subnetwork。最后用來prediction的卷積只有1層，大大減少了計算量。
方法細節(jié)
- Backbone architecture:?ResNet 101——去掉原始ResNet101的最后一層全連接層，保留前100層，再接一個1*1*1024的全卷積層（100層輸出是2048，為了降維，再引入了一個1*1的卷積層）。
- k^2(C+1)的conv:?ResNet101的輸出是W*H*1024，用K^2(C+1)個1024*1*1的卷積核去卷積即可得到K^2(C+1)個大小為W*H的position sensitive的score map。這步的卷積操作就是在做prediction。k = 3，表示把一個ROI劃分成3*3，對應的9個位置分別是：上左（左上角），上中，上右，中左，中中，中右，下左，下中，下右（右下角），如圖Figuire 3。
- k^2(C+1)個feature map的物理意義:?共有k*k = 9個顏色，每個顏色的立體塊（W*H*(C+1)）表示的是不同位置存在目標的概率值（第一塊黃色表示的是左上角位置，最后一塊淡藍色表示的是右下角位置）。共有k^2*(C+1)個feature map。每個feature map，z(i,j,c)是第i+k(j-1)個立體塊上的第c個map（1<= i,j <=3）。(i,j)決定了9種位置的某一種位置，假設為左上角位置（i=j=1），c決定了哪一類，假設為person類。在z(i,j,c)這個feature map上的某一個像素的位置是（x,y），像素值是value，則value表示的是原圖對應的(x,y)這個位置上可能是人（c=‘person’）且是人的左上部位（i=j=1）的概率值。
?
- ROI pooling:?就是faster RCNN中的ROI pooling，也就是一層的SPP結(jié)構(gòu)。主要用來將不同大小的ROI對應的feature map映射成同樣維度的特征，思路是不論對多大的ROI，規(guī)定在上面畫一個n*n 個bin的網(wǎng)格，每個網(wǎng)格里的所有像素值做一個pooling（平均），這樣不論圖像多大，pooling后的ROI特征維度都是n*n。注意一點ROI pooling是每個feature map單獨做，不是多個channel一起的。
?
- ROI pooling的輸入和輸出：ROI pooling操作的輸入（對于C+1個類）是k^2*(C+1)*W' *H'（W'和H'是ROI的寬度和高度）的score map上某ROI對應的那個立體塊，且該立體塊組成一個新的k^2*(C+1)*W' *H'的立體塊：每個顏色的立體塊（C+1）都只摳出對應位置的一個bin，把這k*k個bin組成新的立體塊，大小為（C+1）*W'*H'。例如，下圖中的第一塊黃色只取左上角的bin，最后一塊淡藍色只取右下角的bin。所有的bin重新組合后就變成了類似右圖的那個薄的立體塊（圖中的這個是池化后的輸出，即每個面上的每個bin上已經(jīng)是一個像素。池化前這個bin對應的是一個區(qū)域，是多個像素）。ROI pooling的輸出為為一個（C+1）*k*k的立體塊，如下圖中的右圖。更詳細的有關(guān)ROI pooling的操作如公式（1）所示：
????
??
? ? ? ? ? ? ? ? ? ? ? ? ??
?
?
- vote投票：k*k個bin直接進行求和（每個類單獨做）得到每一類的score，并進行softmax得到每類的最終得分，并用于計算損失
- 損失函數(shù)：和faster RCNN類似，由分類loss和回歸loss組成，分類用交叉熵損失（log loss），回歸用L1-smooth損失
- 訓練的樣本選擇策略：online hard example mining (OHEM，參考文獻1) 。主要思想就是對樣本按loss進行排序，選擇前面loss較小的，這個策略主要用來對負樣本進行篩選，使得正負樣本更加平衡。
- 訓練細節(jié)：
- decay = 0.0005
- momentum = 0.9
- single-scale training:?images are resized such that the scale (shorter side of image) is 600 pixels [6, 18].
- 8 GPUs (so the effective?mini-batch size is?8×),?each GPU holds 1?image and selects?B?= 128?RoIs for backprop.
- fine-tune learning rate = 0.001 for 20k mini-batches, ?0.0001 for 10k mini-batches on VOC.
- the 4-step alternating training?between training RPN and training R-FCN.（類似于Faster RCNN）
- 使用atrous（hole算法）
實驗結(jié)果
VOC2007和VOC2010上與Faster R-CNN的對比：R-FCN比Faster RCNN好！
深度影響對比：101深度最好！
候選區(qū)域選擇算法對比：RPN比SS，EB好！
?
?
COCO庫上與Faster R-CNN的對比：R-FCN比Faster RCNN好！
效果示例：
總結(jié)
- R-FCN是在Faster R-CNN的框架上進行改造，第一，把base的VGG16換車了ResNet，第二，把Fast R-CNN換成了先用卷積做prediction，再進行ROI pooling。由于ROI pooling會丟失位置信息，故在pooling前加入位置信息，即指定不同score map是負責檢測目標的不同位置。pooling后把不同位置得到的score map進行組合就能復現(xiàn)原來的位置信息。
總結(jié)
- 上一篇： 基于ZF网络的Faster RCNN网络
- 下一篇： caffe.pb.h丢失问题：