與普通的視頻跟蹤網(wǎng)絡不同的是，SiamMask可以同時完成視頻跟蹤和實例級分割的任務。如下圖所示，與傳統(tǒng)的對象跟蹤器一樣，依賴于一個簡單的邊界框初始化（藍色）并在線操作。與ECO（紅色）等最先進的跟蹤器不同，SiamMask（綠色）能夠生成二進制分割，從而更準確地描述目標對象。

?

3.5.1 網(wǎng)絡結(jié)構(gòu)

SiamMask的網(wǎng)絡結(jié)構(gòu)，提出了三分支的SiamMask網(wǎng)絡。與之前的孿生網(wǎng)絡十分相似的是，將模板圖像與搜索圖像輸入網(wǎng)絡，兩者經(jīng)過特征提取網(wǎng)絡，特征提取網(wǎng)絡如下表所示，生成15×15×256和31×31×256的featuremap，與SiamFC相似的是，將兩個featuremap逐通道相互卷積，生成17×17×256的featuremap，將這個過程生成的像素值叫做RoW，如下圖所示，藍色的1×1×256的featuremap為heatmap的最大值，代表目標最有可能出現(xiàn)的位置。之后將featuremap輸入三個分支中，圖中h_{\psi}h?ψ??,b_{\psi}b?ψ??,s_{\psi}s?ψ???是1×1的卷積層，作用是改變通道的數(shù)量。?

?

網(wǎng)絡結(jié)構(gòu)如下表所示：

在box分支中，17×17×256的featuremap經(jīng)過1×1×(4k)的卷積層后生成17×17×4k的featuremap，這里k是每一個RoW生成k個anchors，這里實際上和SiamRPN相同，每四個一組，分別對應dx、dy、dw、dh四個值，代表著與groundtruth的距離。

在score分支中，17×17×256的featuremap經(jīng)過1×1×(2k)的卷積層后生成17×17×2k的featuremap，這里k是每一個RoW生成k個anchors，這里實際上和SiamRPN相同，每兩個一組，分別對應分類為目標和背景的標簽結(jié)果。

在Mask分支中。17×17×256的featuremap經(jīng)過1×1×(63×63)的卷積層后生成17×17×(63×63)的featuremap，從featuremap中取出與RoW位置相同的像素值，為1×1×(63×63)，對其做上采樣，生成127×127×1的圖像，在這個圖像中所有的像素值都取0或1，生成的相當于是一個二進制掩碼，目標像素值為1，背景像素值為0，這樣就完成了實例級分割的任務。 ??

三分支中的網(wǎng)絡結(jié)構(gòu)如下表所示：?

除了三分支的SiamMask之外，作者還提出了二分支的SiamMask網(wǎng)絡,如上圖所示，刪掉了box分支，只保留score和Mask分支:

通過Mask分支生成的二進制掩碼來生成相對應的bounding box，二分支中的網(wǎng)絡結(jié)構(gòu)如下表所示：

3.5.2 模型創(chuàng)新

• 改進的bounding box生成策略

設計了三種生成bounding box的策略如下圖所示的紅色、綠色和藍色框

?

在之前的視頻跟蹤網(wǎng)絡中，生成的都是平行于圖片的x軸，y軸的bounding box。當然，SiamMask也能完成這樣的任務，如圖中紅色框所示,在三分支的SiamMask網(wǎng)絡中，box分支負責生成這樣的bounding box。而在二分支的SiamMask網(wǎng)絡中，利用Mask分支生成的二進制掩碼取出目標所在的最小和最大的像素值，來生成Min-max的bounding box。

為了能夠?qū)ounding box盡可能的貼合物體，設計了MBR的生成策略,如圖綠色框所示。同樣，利用Mask分支生成的二進制掩碼，求目標的最小包閉矩形，這樣會導致生成的bounding box會有一定的傾斜。

還設計了一種策略Opt，如圖中藍色框所示。通過Mask分支生成的二進制掩碼，求一個矩形區(qū)域使得矩形與目標像素的IoU最大，通過這種策略在一些計算目標與bounding box之間IoU的比賽中會提高SiamMask的成績。

• 掩膜細化模型

下圖為特征提取網(wǎng)絡和Mask分支的結(jié)構(gòu)圖，網(wǎng)絡忽略了box分支和score分支，經(jīng)過特征提取網(wǎng)絡生成的1×1×256的featuremap，首先經(jīng)過反卷積生成15×15×32的featuremap，之后每一次反卷積都通過Ui 結(jié)合多層的特征，最后經(jīng)過一個3×3的卷積層和Sigmoid層生成127×127×1的二進制掩碼。

?

下圖為細化模型的結(jié)構(gòu)圖，經(jīng)過細化模型可以實現(xiàn)上采樣的過程中結(jié)合特征提取的featuremap信息。

?

3.5.3 損失函數(shù)

Mask分支的損失函數(shù)：

???在Mask分支最后生成一個127×127×1的二進制掩碼也需要對其進行標記，目標像素標記為+1，背景像素標記為-1，所以假設一個RoW中會有w×h個像素，cij為Mask中第n個RoW中第i，j個像素的真實標記，mij為對應的網(wǎng)絡的輸出。所以這里的Mask分支只會計算一個目標RoW在二進制掩碼中的所有像素。

• 二分支：

二分支的SiamMask的損失函數(shù)如下式所示，其中λ1與λ2為超參數(shù)，λ1=32，λ2=1，L_{mask}L?mask???是上面講的Mask分支的損失函數(shù)，L_{sim}L?sim??是SiamFC的損失函數(shù)?

• 三分支：

三分支的SiamMask的損失函數(shù)如下式所示，其中λ1與λ2為超參數(shù)，λ1=32，λ2=λ3=1，?L_{mask}L?mask??是Mask分支的損失函數(shù)，L_{score}L?score??和L_{box}L?box??是SiamRPN的損失函數(shù)?L_{cls}L?cls??和L_{reg}L?reg??.

?

3.5.4 模型訓練

siamMask是端到端訓練模型，訓練參數(shù)如下表所示：

?

總結(jié)

以上是生活随笔為你收集整理的智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamMask(2019)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。