！轉載請注明原文地址！——東方旅行者

本文目錄

• 基于視頻的行人重識別的常用方法
• • 一、傳統方法
  • 二、深度學習方法
  • 三、基于視頻的行人重識別常見數據集
  • 四、參考文獻

基于視頻的行人重識別的常用方法

一、傳統方法

攝像機拍攝的數據大多都是視頻信息，可以提供更多的信息幫助我們更好地進行行人匹配與再識別。不少方法嘗試去提取視頻中的三維數據來進行外貌表征，如HOG3D以及3DSIFT等特征都是從廣泛使用的2D擴展而來的。不少工作拿步態來研究基于視頻的行人再識別問題,然而步態的獲取需要行人輪廓信息域者身體部位信息等，而沒有考慮行人的外貌信息。在遮擋較多、背景較復雜的監控環境下，如何提取到精確的行人輪廓或身體部位信息，仍是一個比較棘手的問題。Simonnet等提出了用動態時間彎曲距離，對視頻序列進行度量學習。Wang等提出一種基于時空描述子對行人進行重識別的方法，融合了HOG3D、步態能量圖(GEI)，提取視頻中光流強度值(FEP)進行步態周期檢測，進而提取出運動特征。提出通過運動能量強度，將視頻在時間上分割為不同的片段，并在匹配的過程中通過學習的方法訓練一個排序模型，自動地選擇最具判定性的片段。You等提出TDL，在特征提取上融合了顏色特征、LBP特征和HOG3D特征,并通過改進了LMNN算法提出TDL算法。LMNN的目標是縮小附近正樣本間的差異，懲罰附近所有的負樣本；而TDL的目標是縮小正樣本間的差異，懲罰離得最近的負樣本；所以TDL比LMNN有更強的約束。

二、深度學習方法

近些年來，隨著深度學習發展，在基于視頻的行人重識別也有所應用。以往的數據集規模不大，因此Zheng等建立了一個更大規模的基于視頻序列的行人重識別數據集MARS，并用深度學習的方法在此數據集上進行實驗，獲得了不錯的結果。未來的研究中，包括MARS在內的越來越多的大規模數據集將會作為基準數據集使用，將深度學習的方法引入到研究中，可以獲得較好的重識別結果。在基于視頻的行人重識別任務中，數據集是由行人序列構成，僅采用和基于圖像相同的研究方法不能很好地利用數據的時間信息。然而，由于行人重識別的數據集本身較為模糊，具有很大的挑戰性，傳統的光流、HOG3D以及步態等提取圖像運動信息的方法已經很難取得突破性進展。隨著CNN在基于圖像的任務中應用的成熟，部分研究者把其運用到了基于視頻的領域中，此外，為了彌補CNN只能處理空間維度信息的缺陷，獲取更多的時間信息，研究者們開始將RNN以及其改進模型LSTM等用于序列建模。不同于CNN的深度體現在網絡層數及參數規模上，RNN/LSTM的深度主要體現在時間節點上的深度。Yan等提出提出了一種RFA-Net，先提取圖像的顏色特征和LBP特征，獲得基于圖像的特征，然后與LSTM結合，獲得基于序列的特征，充分利用序列數據集的信息。Mclaughlin等提出將輸入的信息分為外觀特征和光流信息，將CNN和RNN網絡相結合，在CNN的基礎上加入RNN使得該網絡可以處理視頻序列，而在RNN層上加入時域池化層使得該網絡可以處理任意長度的視頻，進行聯合調參。Zhou等提出利用深度神經網絡將特征學習和度量學習統一在一個框架下，進行端到端的訓練和推理。在特征學習階段，我們利用基于時序的注意模型來自動識別具有判別力的幀，使其在特征學習階段具有較大的權重；度量學習階段，我們首先逐個位置計算一對視頻片段的相似度量，然后利用基于空間的循環神經網絡模型來考慮空間位置的信息，使得相似度度量融合進了上下文信息而變得魯棒，目前都取得了不錯的效果。Liu等提出基于是累積運動上下文的視頻人重識別，采用了時間和空間分離的兩路卷積網絡結構,之后將獲得的表觀特征和運動特征融合，作為RNN的輸入，和目前現有的方法相比，該方法的rank-1非常高。

三、基于視頻的行人重識別常見數據集

首先解釋single-shot和multi-shot的區別。single-shot是指每個行人在每個場景中只有一幅圖像；multi-shot是指每個行人在每個場景中對應一個視頻或者若干圖像序列。

ETH
公布于2007年。拍攝場景-街景。由1個攝像頭移動拍攝，包含個3個視頻。快照版數據集包含853528行人的8580張圖片，圖片未統一分辨率。/圖片分辨率統一為128X48。multi-shot。

3DPES
公布于2011年。拍攝場景-大學校園。由8個攝像頭拍攝。快照版數據集包含192行人的1011張圖片，圖片未統一分辨率。multi-shot。

PRID2011
公布于2011年。拍攝場景-街景。由2個攝像頭拍攝。快照版數據集包含934行人的24541張圖片，圖片分辨率統一為128X64。multi-shot。

iLIDS-VID
公布于2014年。拍攝場景-機場大廳。由2個攝像頭拍攝。快照版數據集包含300行人的42495張圖片，圖片未統一分辨率。multi-shot。

MARS
公布于2016年。拍攝場景-大學校園。由6個攝像頭拍攝。快照版數據集包含1261行人的1191003張圖片，圖片分辨率統一為256X128。multi-shot。

四、參考文獻

[1] 宋婉茹, 趙晴晴, 陳昌紅, 等. 行人重識別研究綜述[J]. 智能系統學報, 2017, 12(06): 770-780.
[2] 張化祥, 劉麗. 行人重識別研究綜述[J]. 山東師范大學學報, 2018, 33(04): 379-387.
[3] S. Liao,Y. Hu, Xiangyu Zhu and S. Z. Li, Person re-identification by Local Maximal Occurrence representation and metric learning[C]. CVPR, 2015: 2197-2206.
[4] MA B, SU Y, JURIE F. Local descriptors encoded by fisher vectors for person re-identification[C]. ICCV, 2012: 413–422.
[5] CHEN D, YUAN Z, HUA G, 等. Similarity learning on an explicit polynomial kernel feature map for person re-identification[C]. CVPR, 2015: 1565–1573.
[6] GOU M, ZHANG X, RATES-BORRAS A, 等. Person re-identification in appearance impaired scenarios[C]. British Machine Vision Conference, 2016: 1–48.
[7] KARANAM S, LI Y, RADKE R J. Person re-identification with discriminatively trained viewpoint invariant dictionaries[C]. ICCV, 2015: 4516–4524.
[8] SUGIYAMA. Local fisher discriminant analysis for supervised dimensionality reduction[J]. Machine learning, 2010, 78(1/2): 35-61.
[9] MATSUKAWA T, OKABE T, SUZUKI E, 等. Hierarchical gaussian descriptor for person re-identification[C]. CVPR, 2016: 1363–1372.
[10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems, 2012: 1097–1105.
[11] MCLAUGHLIN N, RINCON J M, MILLER P. Recurrent Convolutional Network for Video-based Person Re-Identification[C]. CVPR, 2012: 51–58.
[12] XIAO T, LI H, OUYANG W, 等. Learning deep feature representations with domain guided dropout for person re-identification[C]. CVPR, 2016: 1249–1258.
[13] WEINBERGER K Q, SAUL K L. Distance metric learning for large margin nearest neighbor classification[J]. Journal of machine learning research, 2009, 10(1): 207–244.
[14] DIKMEN M, AKBAS E, HUANG T S, 等. Pedestrian recognition with a learned metric[J]. Lecture notes in computer science, 2010,6495: 501-512.
[15] GUILLAUMIN M, VERBEEK J, SCHMID C. Is that you? Metric learning approaches for face identification[C]. ICCV, 2009: 498–505.
[16] ZHENG W, GONG S, XIANG T. Person re-identification by probabilistic relative distance comparison[C]. CVPR, 2011: 649–656.
[17] ZHENG W S, GONG S, XIANG T. Re-identification by relative distance comparison[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(3): 653.
[18] YI D, LEI Z, LI S Z. Deep metric learning for practical person re-identification[C]. CVPR, 2014: 34–39.
[19] LIU H, MA B, QIN L, 等. Set-label modeling and deep metric learning on person re-identification[J]. Neurocomputing, 2015(151): 1283–1292.
[20] LI W, ZHAO R, XIAO T, 等. Deepreid: Deep filter pairing neural network for person re-identification[C]. CVPR, 2014: 152–159.
[21] DING S, LIN L, WANG G, 等. Deep feature learning with relative distance comparison for person re-identification[J]. Pattern recognition, 2015, 48(10): 2993-3003.
[22] PEDAGADI S, ORWELL J, VELASTIN S, 等. Local fisher discriminant analysis for pedestrian re-identification[C]. CVPR, 2013: 3318–3325.
[23] KOESTINGER M, HIRZER M, WOHLHART P, 等. Large scale metric learning from equivalence constraint[C].CVPR , 2012: 2288–2295.
[24] ENGEL C, BAUMGARTNE P, HOLZMANN M, 等. Person re-identification by support vector ranking[C]. British Machine Vision Conference, 2010: 1–11.
[25] SCOVANNER P, ALI S, SHAH M. A 3-dimensional sift descriptor and its application to action recognition[C]. 15th ACM International Conference on Multimedia, 2007: 357–360.
[28] BEDAGKAR-GALA A, SHAH S K. Gait-assisted person re-identification in wide area surveillance[C]. Asian Conference on Computer Vision, 2014: 633–649.
[29] SIMONNET D, LEWANDOWSKI M, VELASTIN S.A, 等. Re-identification of pedestrians in crowds using dynamic time warping[C]. ICCV, 2012: 423–432.
[30] MAN J,BHANU B. Individual recognition using gait energy image[J]. IEEE transactions on pattern analysis and machine intelligence, 2006, 28(2): 316–322.
[31] WANG T, GONG S G, ZHU X, 等. Person re-identification by video ranking[C]. European Conference on Computer Vision, 2014: 688–703.
[32] KLASER A, MARSZALEK M, SCHMID C. A spatiotemporal descriptor based on 3D-gradients[C]. British Machine Vision Conference, British, 2008: 152–159.
[34] YOU J, WU A, LI X, 等. Top-push video-based person re-identification[C]. CVPR, 2016: 1345–1353.
[35] YAN Y, NI B, SONG Z, 等. Person Re-identification via recurrent feature aggregation[C]. European Conference on Computer Vision. Springer International Publishing, 2016: 701–716.
[36] ZHOU Z,HUANG Y, WANG W, 等. See the forest for the trees: joint spatial and temporal recurrent neural networks in video-based person re-identification[C]. CVPR, 2017: 143–147.
[37] LIU H, JIE Z, JAYASHREE K, 等. Video-based person re-identification with accumulative motion context[J]. IEEE transactions on circuits and systems for video technology, 2017(99): 23–29.
[38] Zhang X , Luo H , Fan X , 等. AlignedReID: Surpassing Human-Level Performance in Person
Re-Identification[J]. 2017.
[39] WEI L, ZHANG S, GAO W, 等. Person transfer GAN to bridge domain gap for person re-identification[C]. CVPR, 2018: 79-88.
[40] 羅浩, 姜偉, 范星, 張思朋. 基于深度學習的行人重識別研究進展. 自動化學報, 2019, 45(11): 2032-2049

總結

以上是生活随笔為你收集整理的行人重识别(4)——行人重识别（基于视频）综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。