3.4.1 模型結(jié)構(gòu)

SiamRPN++網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，虛線的兩邊都是網(wǎng)絡(luò)結(jié)構(gòu)圖，虛線左側(cè)是特征提取網(wǎng)絡(luò)結(jié)構(gòu)，右側(cè)是RPN結(jié)構(gòu)圖。其實SiamRPN++的網(wǎng)絡(luò)結(jié)構(gòu)與SiamRPN網(wǎng)絡(luò)結(jié)構(gòu)十分相似，而SiamRPN++就是在SiamRPN的基礎(chǔ)上加入許多的創(chuàng)新點。

SiamRPN++網(wǎng)絡(luò)以resNet50為backbone,進行特征提取。原始的ResNet主要應(yīng)用于圖像分類和識別任務(wù)，對于空間信息不敏感，而在跟蹤任務(wù)中，空間信息對于目標的準確定位至關(guān)重要，所以要在跟蹤任務(wù)中使用，需要對ResNet進行改進。原始ResNet具有32像素的尺度變化，不適合于稠密孿生網(wǎng)絡(luò)的預(yù)測。如下圖所示，通過修改conv4和conv5塊以獲得單位空間尺度變化，將最后兩個塊的尺度變化從16和32減少到8倍的尺度變化，并通過空洞卷積增加其感受域。在每個塊輸出端附加一個額外的1×1卷積層，以將輸出通道減少到256。因為每一層padding操作被保留，模板圖片處理得到的特征尺寸增加15X15，所以通過裁剪選取中間部分7X7大小的特征來作為模板圖片特征。使用互相關(guān)層和全卷積層的組合來組合一個head模塊來計算分類(用S表示)和bbox回歸器(用B表示)。

3.4.2 模型創(chuàng)新

• 針對平移不變性的改進

嚴格的平移不變性只存在于無填充網(wǎng)絡(luò)中，如AlexNet。以前基于孿生的網(wǎng)絡(luò)設(shè)計為淺層網(wǎng)絡(luò)，以滿足這一限制。然而，如果所使用的網(wǎng)絡(luò)被ResNet或MobileNet等現(xiàn)代網(wǎng)絡(luò)所取代，填充將不可避免地使網(wǎng)絡(luò)變得更深，從而破壞了嚴格的平移不變性限制，不能保證物體最后的heatmap集中于中心。

當(dāng)把正樣本都放在圖像中心時，網(wǎng)絡(luò)只會對圖像中心產(chǎn)生響應(yīng)；如果把正樣本均勻分布到某個范圍內(nèi)，而不是一直在中心時（所謂的范圍即是指距離中心點一定距離，該距離為shift；正樣本在這個范圍內(nèi)是均勻分布的），隨著shift的不斷增大，這種現(xiàn)象能夠逐漸得到緩解。

?

• 分層聚合

在以前僅使用像AlexNet這樣的淺層網(wǎng)絡(luò)，多層特性不能提供非常不同的作用。然而，考慮到感受野的變化，ResNet中的不同層更有意義。淺層的特征主要集中在低層次的信息上，如顏色、形狀等，對于定位是必不可少的，而缺乏語義信息；深層的特征具有豐富的語義信息，在某些挑戰(zhàn)場景（如運動模糊、形變等）中是有益的。使用這種豐富的層次信息有助于跟蹤，從最后三個殘差塊中提取的多層特征，以進行分層聚合。將這些輸出中分類featuremap稱為S_3S?3??,S_4S?4??和S_5S?5??，回歸featuremap稱為B_3B?3??,B_4B?4??和B_5B?5???。conv3、conv4、conv5的輸出分別輸入三個SiamRPN模塊。由于對resnet網(wǎng)絡(luò)的改動，三個RPN模塊的輸出尺寸具有相同的空間分辨率，因此直接對RPN輸出采用加權(quán)和。

?

• 深層互相關(guān)改進

互相關(guān)計算模塊是一個用來整合兩個分支信息的核心操作。使用Depthwise Cross Correlation來實現(xiàn)更有效的信息關(guān)聯(lián)，它具有更少的參數(shù)

Cross-Correlation用于SiamFC中，模版特征在搜索區(qū)域上按照滑窗的方式獲取不同位置的響應(yīng)值，最終獲得一個一維的響應(yīng)映射圖。

Up-Channel Cross Correlation用于SiamRPN中，和Cross Correlation操作不同的是在做correlation操作之前多了兩個卷積層，通道個數(shù)分別為256和256x2k，其中k表示每一個grid上面的anchor個數(shù)。其中一個用來提升通道數(shù)，而另一個則保持不變。之后通過卷積的方式，得到最終的輸出。通過控制升維的卷積來實現(xiàn)最終輸出特征圖的通道數(shù)。

Depthwise Cross Correlation和UpChannel一樣，深度互相關(guān)層預(yù)測模板和搜索圖像之間的多通道相關(guān)性特征，模板圖像經(jīng)過卷積層后并不像SiamRPN那樣將通道數(shù)增加2k倍，而是保持不變，同時搜索圖像也與模板圖像保持一致，兩者逐通道相互卷積，之后接一個1×1的卷積層，再改變通道數(shù)，這樣在保持精度的同時減少了參數(shù)量。

SiamRPN++很大程度上緩解了padding帶來的平移不變性的破壞，從而在孿生網(wǎng)絡(luò)中引入了深層的網(wǎng)絡(luò)，從而帶來了巨幅的準確率提升。

3.4.3 損失函數(shù)

損失函數(shù)與SiamRPN相同，不在贅述。

3.4.4 模型訓(xùn)練

SiamRPN++是端到端的訓(xùn)練模型，用SGD方法對網(wǎng)絡(luò)進行訓(xùn)練。

?

總結(jié)

以上是生活随笔為你收集整理的智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamRPN++(2019)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。