目標(biāo)檢測之two stage方法

• 對基于two stage目標(biāo)檢測的認(rèn)識
• • R-CNN詳細(xì)介紹
  • • step1:生成大量候選區(qū)域
    • step2:提取特征
    • step3:特征送入分類器，判定類別
    • step4: 使用回歸器精細(xì)修正候選框位置
    • R-CNN存在的缺點
  • Fast R-CNN詳細(xì)介紹
  • • 訓(xùn)練步驟
    • 測試步驟
    • 存在的缺點

對基于two stage目標(biāo)檢測的認(rèn)識

圖像分類的基礎(chǔ)上，要解決的核心問題是：

目標(biāo)可能出現(xiàn)在圖像中的任何位置

目標(biāo)的不同大小

目標(biāo)的不同形狀
而Two stage目標(biāo)檢測的大致思路為：

對整張圖像進行區(qū)域生成(region proposal)

通過卷積神經(jīng)網(wǎng)絡(luò)對生成的區(qū)域進行目標(biāo)分類

對目標(biāo)進行定位/回歸
常見的two stage目標(biāo)檢測算法有：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和R-FCN等

R-CNN詳細(xì)介紹

創(chuàng)新點：

使用CNN對候選框計算feature vectors。從傳統(tǒng)的經(jīng)驗驅(qū)動特征(SIFT、HOG)到數(shù)據(jù)驅(qū)動特征(CNN feature map)，提高特征的樣本的表示能力

采用預(yù)訓(xùn)練權(quán)重和小樣本微調(diào)解決小樣本難以訓(xùn)練和過擬合的問題

大致過程：

對一整張圖像生成1K~2K個候選區(qū)域(使用SS算法，下面會詳細(xì)介紹)

對每個候選區(qū)域，送入神經(jīng)網(wǎng)絡(luò)提取特征

將生成的特征送入SVM分類器，判別是否屬于該類

使用回歸器精細(xì)修正候選框位置

step1:生成大量候選區(qū)域

參考博文https://blog.csdn.net/yuanlulu/article/details/82157071
SS算法參考博文

SS算法主要思想：

采用過分割手段，將圖像分割成小區(qū)域

通過顏色直方圖，梯度直方圖相近等規(guī)則合并

生成1K~2K個建議框

step2:提取特征

對每個建議框輸出的圖像統(tǒng)一縮放一個尺寸

對每個建議框送入CNN神經(jīng)網(wǎng)絡(luò)中提取特征

這里的神經(jīng)網(wǎng)絡(luò)可以使用加載的預(yù)訓(xùn)練模型(以Alex Net為例)

獲取到4096維的特征，得到2000x4096維矩陣

step3:特征送入分類器，判定類別

將得到的2000x4096維特征矩陣與20個svm組成的權(quán)值矩陣4096x20，相乘。獲得2000x20維矩陣。

2000x20維矩陣表示每個建議框是某個類別的得分

分別對2000x20維矩陣的每一列即每一類進行非極大值抑制(NMS)剔除重疊建議框，得到該類中得分最高的一些建議框。

• 非極大值抑制提出重疊框做法
• 尋找得分最高的目標(biāo)框
• 計算其他目標(biāo)與該目標(biāo)的iou值
• 刪除所有iou值大于給定閾值的目標(biāo)，重復(fù)操作2、3步

step4: 使用回歸器精細(xì)修正候選框位置

對NMS處理后剩余的建議框進一步篩選。即再用20個svm分類器進行回歸操作，最終得到得分最高的bounding box

R-CNN存在的缺點

測試速度慢

訓(xùn)練速度滿

所需空間大

Fast R-CNN詳細(xì)介紹

算法流程大致分為3個步驟

一張圖像生成1K~2K個候選框(使用SS算法)

將原始圖像輸入神經(jīng)網(wǎng)絡(luò)得到相應(yīng)的特征圖，將SS算法生成的候選框位置投影到特征圖上獲得每個候選框?qū)?yīng)的特征圖。

每個特征矩陣通過ROI Pooling層縮放到7x7大小的特征圖，最后將特征圖通過一系列全連接層得到預(yù)測結(jié)果

訓(xùn)練步驟

輸入224*224大小的圖片，經(jīng)過卷積層1->降采樣層->卷積層2->降采樣層->卷積層3->卷積層4->卷積層5->ROI Pooling

將Conv5的輸出(feature map)和region proposal(共有2K，采用SS算法生成。為加快訓(xùn)練對1張圖使用64個)送入ROI Pooling

ROI Pooling ->FC(4096) -> FC(4096) - >{并列：FC(Dropout=21)，FC(Dropout=84)}

并列的兩個FC層：

• 用于softmax代表分類輸出(輸出N+1個類別{N是類別概率，1是背景概率})，
  eg：20+1
• 用于輸出邊界框回歸參數(shù)(輸出N+1個類別對應(yīng)的4個位置回歸參數(shù){共 (N+1)x4個節(jié)點})，
  eg：(20+1)x4=84

對應(yīng)的損失函數(shù)由兩部分組成：

• 分類損失：L_cls(p,u) = -logP_u
• 邊界框回歸損失：$\lambda$[$\mu$ $?$ 1 ]L_loc($t^{\mu }$,$\upsilon$)

測試步驟

與訓(xùn)練過程類似，最后的兩個loss層改為一個softmax層，對每個類別使用NMS。

存在的缺點

生成RP(region proposal)仍舊使用SS算法比較耗時，占用內(nèi)存較大

無法實現(xiàn)端到端的訓(xùn)練測試

總結(jié)

以上是生活随笔為你收集整理的目标检测之Two Stage的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。