联合检测和跟踪的MOT算法解析（含MOT17 No.1等多个榜前算法）
?PaperWeekly 原創(chuàng) ·?作者｜黃飄
學(xué)校｜華中科技大學(xué)碩士生
研究方向｜多目標(biāo)跟蹤
最近一年里，隨著 Tracktor++ 這類集成檢測和多目標(biāo)跟蹤算法框架的出現(xiàn)，涌現(xiàn)了很多相關(guān)的多目標(biāo)跟蹤算法變種，基本都位列 MOT Challenge 榜單前列，包括剛剛開源的榜首 CenterTrack。這里我就對集成檢測和跟蹤的框架進(jìn)行分析，相關(guān) MOT 和數(shù)據(jù)關(guān)聯(lián)的基礎(chǔ)知識可以去我的專欄查看，后期我也會(huì)針對基于深度學(xué)習(xí)的數(shù)據(jù)關(guān)聯(lián)、ReID2MOT 和 SOT2MOT 等進(jìn)行專題介紹。
D&T
論文標(biāo)題：Detect to Track and Track to Detect
論文作者：Christoph Feichtenhofer, Axel Pinz, Andrew Zisserman
備注信息：ICCV 2017
論文鏈接：https://arxiv.org/abs/1710.03958
代碼鏈接：https://github.com/feichtenhofer/Detect-Track
當(dāng)前的多目標(biāo)跟蹤算法主流是基于檢測的框架，即 Detection based Tracking (DBT)，所以檢測的質(zhì)量對于跟蹤的性能影響是很大的。
那么在 MOT Challenge 上也分別設(shè)置了兩種賽道，一種是采用官方提供的幾種公共檢測器的結(jié)果，即 public 賽道，一種是允許參賽者使用自己的檢測器，即 private 賽道。
這篇 D&T 就屬于 private 類跟蹤框架，并初步將檢測與跟蹤框架進(jìn)行了結(jié)合：
從圖中可以清晰看到，作者通過改進(jìn)版的 R-FCN 檢測網(wǎng)絡(luò)實(shí)現(xiàn)了主線的檢測任務(wù)，然后基于兩階段目標(biāo)檢測的特點(diǎn)，將第一階段所獲得的多尺度特征圖進(jìn)行交互。
這種方式借鑒了單目標(biāo)跟蹤中經(jīng)典的 Siamese 網(wǎng)絡(luò)框架，不同之處在于原本的 Siamese 網(wǎng)絡(luò)做的是 1:1 的相關(guān)濾波，而 D&T 框架做的是 n:n 的相關(guān)濾波。
其中兩個(gè)分支中所包含的目標(biāo)數(shù)量也是不定的，那么為什么作者要用 R-FCN 網(wǎng)絡(luò)呢，可以發(fā)現(xiàn)，R-FCN 的網(wǎng)絡(luò)結(jié)構(gòu)起到了很好的作用，正是因?yàn)槠洫?dú)特的 position-sensitive ROI Pooling 模塊：
不同于傳統(tǒng)兩階段目標(biāo)檢測框架利用全連接網(wǎng)絡(luò)分支預(yù)測分類和回歸的情況，R-FCN 通過全卷積的方式將分類得分轉(zhuǎn)化到特征圖通道上，使得特征圖保持了一定的平移不變性（這個(gè)可以看我之前的博客），有利于跟蹤任務(wù)的相關(guān)濾波。
那么這里 D&T 在傳統(tǒng)目標(biāo)檢測的分類和回歸任務(wù)上，增加了一個(gè)跟蹤分支，作者巧妙地將跟蹤任務(wù)轉(zhuǎn)化成了預(yù)測相鄰兩幀各目標(biāo)位置相對偏移量的回歸任務(wù)。
當(dāng)然，跟蹤分支只考慮與 gt 的 IOU>0.5 的預(yù)測框，并且目標(biāo)要同時(shí)出現(xiàn)在這兩幀。多任務(wù)損失函數(shù)如下：
最后我們談一下最重要的一點(diǎn)，如何做 ROI Tracking，即在不丟失相對位置關(guān)系的前提下，執(zhí)行多個(gè)區(qū)域的相關(guān)濾波：
提到相關(guān)濾波，我們可能容易想到單目標(biāo)跟蹤中的 CF 類傳統(tǒng)方法，比如 KCF（詳細(xì)原理可以看我的解析）。KCF 算法中就是通過循環(huán)移位的方式，利用相關(guān)濾波估計(jì)目標(biāo)在圖像中的位置變化。
但是這種方式并不適合多目標(biāo)的相關(guān)濾波，我們基于相鄰兩幀變化幅度不大的假設(shè)，更希望的是每塊局部區(qū)域單獨(dú)做類似于循環(huán)移位之類的操作。
對此，作者借鑒了 FlowNet 的 Corr 操作，因?yàn)楣饬魅蝿?wù)也是估計(jì)相鄰幀像素的偏移量，所以用在這里很合適。
Corr 的公式是：
可以看到，這里的濾波不是對卷積核的，而是將兩幅特征圖的多個(gè) kxk 的區(qū)域分別做相關(guān)濾波，從而保持了相對位置。
最后對于多目標(biāo)跟蹤的部分，作者對于兩個(gè)目標(biāo)的連接代價(jià)設(shè)置如下：
其中 p 表示的相鄰兩幀的檢測置信度，最后一項(xiàng)指的是相鄰兩幀的目標(biāo)框與預(yù)測到的位置的 IOU>0.5 時(shí)為 1，否則為 0。至此我們就可以得到跟蹤預(yù)測位置和代價(jià)矩陣了，后面就是常規(guī)的多目標(biāo)跟蹤算法操作了。
MOTDT
論文標(biāo)題：Real-Time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification
論文作者：Long Chen, Haizhou Ai, Zijie Zhuang, Chong Shang
備注信息：ICME 2018
論文鏈接：https://arxiv.org/abs/1809.04427
代碼鏈接：https://github.com/longcw/MOTDT
這篇論文表面看上基于 R-FCN 檢測框架的 private 多目標(biāo)跟蹤算法，不過與上一篇不同的是，作者只利用 R-FCN 對觀測框進(jìn)行進(jìn)一步的前景/背景分類，即用于目標(biāo)框的分類過濾，而且 MOTDT 將檢測和跟蹤框架分離了。
作者的框架也是由現(xiàn)在多目標(biāo)跟蹤算法的通用模塊組成的，即檢測、外觀模型和運(yùn)動(dòng)模型。這里我們就只關(guān)注他的算法流程：
從算法流程可以清晰地看到，MOTDT 的流程是：
利用 Kalman Filter 完成目標(biāo)的運(yùn)動(dòng)估計(jì)；
將觀測框和跟蹤框合并，并做 NMS 操作，其中每個(gè)目標(biāo)框的置信度得到了修正：
這里面 L 表示的長度，通過上面兩個(gè)公式，作者將檢測置信度和跟蹤軌跡置信度結(jié)合在一起了。
提取 ReID 特征，先基于 ReID 相似度進(jìn)行匹配，再對剩余的利用 IOU 進(jìn)行關(guān)聯(lián)。
MOTDT 這個(gè)算法框架很經(jīng)典，對于后續(xù)的一些多目標(biāo)跟蹤算法也起到了啟發(fā)作用。
Tracktor++
論文標(biāo)題：Tracking Without Bells and Whistles
論文作者：Philipp Bergmann，Tim Meinhardt，Laura Leal-Taixe
備注信息：ICCV2019，MOT15~17: 46.6, 56.2. 56.3 MOTA (public）
論文鏈接：https://arxiv.org/abs/1903.05625
代碼鏈接：https://github.com/phil-bergmann/tracking_wo_bnw
Tracktor++ 算法是去年出現(xiàn)的一類全新的聯(lián)合檢測和跟蹤的框架，這類框架與 MOTDT 框架最大的不同在于，檢測部分不僅僅用于前景和背景的進(jìn)一步分類，還利用回歸對目標(biāo)進(jìn)行了進(jìn)一步修正。
因此關(guān)于這類框架屬于 public 還是 private 得爭論也存在，這里我們就不做過多的討論了。
只要熟悉兩階段目標(biāo)檢測算法的應(yīng)該都能理解這個(gè)算法，其核心在于利用跟蹤框和觀測框代替原有的 RPN 模塊，從而得到真正的觀測框，最后利用數(shù)據(jù)關(guān)聯(lián)實(shí)現(xiàn)跟蹤框和觀測框的匹配。流程圖如下：
有了檢測模塊的加持，自然對于檢測質(zhì)量進(jìn)行了增強(qiáng)，所以效果也得到了大幅提升：
可以看到，DPM、FRCNN 和 SDP 三種檢測器輸入下的性能差距不大，然而 DPM 檢測器的性能是很差的，所以 Tracktor++ 這類算法對于平衡檢測輸入的效果提升很大。
FFT
論文標(biāo)題：Multiple Object Tracking by Flowing and Fusing
論文作者：Jimuyang Zhang, Sanping Zhou, Xin Chang, Fangbin Wan, Jinjun Wang, Yang Wu, Dong Huang
備注信息：MOT15~17: 46.3, 56.5. 56.5 MOTA (public）
論文鏈接：https://arxiv.org/abs/2001.11180
這篇文章也是基于 Tracktor++ 的模式，做了很直接的一步操作，即直接增加一個(gè)光流預(yù)測分支，將 Tracktor++ 中的跟蹤框+觀測框變成了光流預(yù)測框+觀測框
不過好處在于光流網(wǎng)絡(luò)和 Faster RCNN 可以聯(lián)合訓(xùn)練，在訓(xùn)練的時(shí)候 RPN 保留，不過從論文來看光流部分好像是固定權(quán)重的，其效果相對來說的確更好了：
JDE
論文標(biāo)題：Towards Real-Time Multi-Object Tracking
論文作者：Zhongdao Wang, Liang Zheng, Yixuan Liu, Shengjin Wang
備注信息：MOT16 74.8 MOTA (private), 22FPS!!
論文鏈接：https://arxiv.org/abs/1909.12605
代碼鏈接：https://github.com/Zhongdao/Towards-Realtime-MOT
JDE 這篇跟這次的主題不是很相符，但是考慮到這也是近期比較熱門的實(shí)時(shí)多目標(biāo)跟蹤算法，我們也一起講。它的框架出發(fā)點(diǎn)是為了增加特征的復(fù)用性，基于檢測算法（作者采用的是 YOLOv3），在原本的分類和回歸分支上增加了一個(gè)表觀特征提取的分支。
文中作者重點(diǎn)介紹了多任務(wù)網(wǎng)絡(luò)框架的訓(xùn)練方式，首先分析了三種 Loss：
對于 triplet loss，這個(gè)在表觀模型的 metric learning 任務(wù)中很常見，作者采用了 batch hard 模式，并提出了 triplet loss 的上界，推導(dǎo)很簡單，關(guān)鍵在于多的那個(gè) 1 。為了更好地跟交叉熵?fù)p失函數(shù)進(jìn)行比較，作者將上界進(jìn)行了平滑。
那么區(qū)別就在于 g ，g 表示的正負(fù)樣本的權(quán)重。在交叉熵?fù)p失函數(shù)中，所有的負(fù)樣本都會(huì)參與計(jì)算，然而在 triplet loss 中，負(fù)樣本是采樣出來的，所以：
作者通過實(shí)驗(yàn)也論證了上面的結(jié)論，所以在 metric learning 中作者采用了交叉熵?fù)p失函數(shù)。最后關(guān)于各個(gè)任務(wù)的損失函數(shù)的權(quán)重，作者提出了一種自適應(yīng)平衡的加權(quán)方式：
其中的 s 是一種度量不同任務(wù)下個(gè)體損失的不確定性因子，詳細(xì)的原理可參見 CVPR 2018 的?Multi-task learning using uncertainty to weigh losses for scene geometry and semantics 關(guān)于方差不確定性對于多任務(wù)權(quán)重的影響分析。
效果和速度都很誘人~
MIFT
論文標(biāo)題：Refinements in Motion and Appearance for Online Multi-Object Tracking
論文作者：Piao Huang, Shoudong Han, Jun Zhao, Donghaisheng Liu, HongweiWang, En Yu, and Alex ChiChung Kot
備注信息：MOT15~17: 60.1, 60.4, 48.1 MOTA (public）
論文鏈接：https://arxiv.org/abs/2003.07177
代碼鏈接：https://github.com/nightmaredimple/libmot
這篇也是我們團(tuán)隊(duì)基于 Tracktor++ 框架做的一個(gè)框架，主要關(guān)注的是運(yùn)動(dòng)模型、表觀模型和數(shù)據(jù)關(guān)聯(lián)部分的改進(jìn)，由于某些原因，我這里不能細(xì)講。代碼會(huì)慢慢開源，暫時(shí)沒有完全開源。
其中對于運(yùn)動(dòng)模型部分，我們將 Kalman 和 ECC 模型集成在一起，而不是將 Kalman 和 ECC 模型獨(dú)立執(zhí)行，實(shí)驗(yàn)證明融合的版本比分開的提升了 1.4 MOTA。
對于表觀模型，我們考慮到特征對齊的因素，做了一點(diǎn)小改進(jìn)，結(jié)合可視度預(yù)測設(shè)計(jì)了多任務(wù)的表觀模型：
并在觀測框和跟蹤軌跡特征比對的時(shí)候，考慮了跟蹤軌跡歷史信息，來進(jìn)行自適應(yīng)加權(quán)：
通過上面的分析，我們可以知道的是，數(shù)據(jù)關(guān)聯(lián)部分的特征相似度計(jì)算，不僅要進(jìn)行 n:m 的 Kalman 更新過程（為了求馬氏距離），還要進(jìn)行 m:(nxk) 的表觀特征比對，這個(gè)過程很耗時(shí)。所以我們利用 3-D integral image 快速將空間區(qū)域分配，使得特征相似度計(jì)算過程的復(fù)雜度降至 O(m+n)。
方法很巧妙，就是將每個(gè)觀測框利用 one-hot 編碼映射到特征圖，這種方式比基于 iou 的要快很多：
我后期又做了一些實(shí)驗(yàn)，效果比論文中的更好一些，MOT15~17: 48.1、60.4、60.1 MOTA (public)。
CenterTrack
論文標(biāo)題：Tracking Objects as Points
論文作者：Xingyi Zhou (CenterNet 的作者), Vladlen Koltun, and Philipp Kr?henbühl
備注信息：同時(shí)實(shí)現(xiàn)了 2D/3D 多目標(biāo)跟蹤，包含人和車輛，MOT17：61.4(public）、67.3(private) MOTA, 22FPS!!!
KITTI：89.4MOTA
論文鏈接：http://arxiv.org/abs/2004.01177
代碼鏈接：https://github.com/xingyizhou/CenterTrack
CenterTrack 是 CenterNet 作者基于 Tracktor++ 這類跟蹤機(jī)制，通過將 Faster RCNN 換成 CenterNet 實(shí)現(xiàn)的一種多目標(biāo)跟蹤框架，因此跟蹤框也就變成了跟蹤中心點(diǎn)。
通過上圖我們可以大致分析出算法框架，除了對相鄰兩幀利用 CenterNet 進(jìn)行檢測之外，還利用了上文中提到的 D&T 框架的策略，預(yù)測同時(shí)存在于兩幀中目標(biāo)的相對位移，由此進(jìn)行跟蹤預(yù)測。
對于提供的觀測框，作者通過將這些觀測框的中心點(diǎn)映射到一張單通道的 heatmap 上，然后利用高斯模糊的方式將點(diǎn)的附近區(qū)域也考慮進(jìn)去。
因此 CenterTrack 相對于 CenterNet 的不同之處在于，輸入維度增加了（兩幅3維圖像和一張觀測位置 heatmap），輸出變成了兩張圖像的目標(biāo)中心位置、大小和相對偏移。
對于測試環(huán)節(jié)的數(shù)據(jù)關(guān)聯(lián)部分，作者直接通過中心點(diǎn)的距離來判斷是否匹配，是一種貪婪的方式，并非匈牙利算法那種全局的數(shù)據(jù)關(guān)聯(lián)優(yōu)化。在訓(xùn)練過程中，作者并非只用相鄰幀進(jìn)行訓(xùn)練，允許跨 3 幀。
CenterTrack 在 MOT、KITTI 和 nuScenes 等數(shù)據(jù)集上的 2D/3D 多行人/車輛跟蹤任務(wù)上均取得了 SOTA 的成績。
參考文獻(xiàn)
[1] ?Feichtenhofer C, Pinz A, Zisserman A. Detect to track and track to detect[C]. in: Proceedings of the IEEE International Conference on Computer Vision. 2017. 3038-3046.?
[2] ?Chen L, Ai H, Zhuang Z, et al. Real-time multiple people tracking with deeply learned candidate selection and person re-identification[C]. in: 2018 IEEE International Conference on Multimedia and Expo (ICME). IEEE, 2018. 1-6.?
[3] ?Bergmann P, Meinhardt T, Leal-Taixe L. Tracking without bells and whistles[C]. in: Proceedings of the IEEE International Conference on Computer Vision. 2019. 941-951.?
[4] ?Multiple Object Tracking by Flowing and Fusing?
[5] ?Towards Real-Time Multi-Object Tracking?
[6] ?Refinements in Motion and Appearance for Online Multi-Object Tracking?
[7] Tracking Objects as Points
點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?
CVPR 2020 | 曠視研究院提出雙邊分支網(wǎng)絡(luò)BBN
淺談多目標(biāo)跟蹤中的相機(jī)運(yùn)動(dòng)
CVPR 2020 三篇有趣的論文解讀
NAS+目標(biāo)檢測：AI設(shè)計(jì)的目標(biāo)檢測模型
雙目深度估計(jì)中的自監(jiān)督學(xué)習(xí)概覽
ICLR 2020 | GAN是否真的判斷出了數(shù)據(jù)的真假？
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。
總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識真正流動(dòng)起來。
?????來稿標(biāo)準(zhǔn)：
? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?
? 如果文章并非首發(fā)，請?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨(dú)在附件中發(fā)送?
? 請留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時(shí)和作者溝通
????
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
與50位技術(shù)專家面對面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的联合检测和跟踪的MOT算法解析（含MOT17 No.1等多个榜前算法）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 苹果罕见首个 Macintosh 原型拍
- 下一篇： ICLR 2020 | 可提速3000倍