全球計算機視覺三大頂級會議之一 CVPR 2019 將于當地時間 6 月 16-20 日在美國洛杉磯舉辦。屆時，曠視研究院將帶領團隊遠赴盛會，助力計算機視覺技術的交流與落地。在此之前，曠視每周會介紹一篇被 CVPR 2019 接收的論文，本文是第 11 篇，曠視研究院（R4D組）出一個過渡感知的上下文網絡——TACNet，可以顯著提升時空動作檢測的性能。

論文名稱：TACNet: Transition-Aware Context Network for Spatio-Temporal Action Detection

論文鏈接：https://arxiv.org/abs/1905.13417

• 導語

• 簡介

• 模型

  • 框架

  • 時序上下文檢測器

  • 過渡感知分類器

• 實驗

  • 與當前最佳的對比

• 結論

• 參考文獻

• 往期解讀

?

導語

?

在時空動作檢測（spatio-temporal action detection）領域，當前最佳方法效果優秀，但是在一些方面，比如時序事件檢測，依然無法令人滿意。原因在于，一些模糊不清的、和真實動作很相似的動作被當作目標動作來處理，即使訓練良好的網絡也概莫能外。

?

曠視研究員把這些模糊不清的樣本稱之為“過渡性狀態”，并提出一個過渡感知的上下文網絡——TACNet，來辨識這些過渡狀態。TACNet 包含兩個關鍵組件：時序上下文檢測器和過渡感知分類器。前者通過構建一個循環檢測器，可以從連續的時間復雜度中提取長期的上下文信息；后者則通過同時分類動作和過渡性狀態以進一步區分過渡性狀態。

?

因此，TACNet 可以顯著提升時空動作檢測的性能。大量實驗也在 UCF101-24 和 J-HMDB 數據集上證明 TACNet 有效，它不僅在剪輯的 J-HMDB 數據集上取得有競爭力的結果，還在未剪輯的 UCF101-24 數據集上 frame-mAP 和 video-mAP 兩個指標方面大幅超越當前最佳方法。

簡介

動作檢測任務旨在同時分類視頻中當前的動作并對其進行時空定位，近期由于其廣泛的應用場景，受到了越來越多研究者的重視，并成長為異常檢測、人機交互、城市管理等領域的關鍵技術。

?

當前，絕大多數動作檢測方法把時空檢測分為兩個階段，即空間檢測和時序檢測。這些方法首先借助深度檢測器從幀中做空間動作檢測；接著，通過連接幀層面的檢測以及運用一些目標函數，執行時序檢測以創造時空行為塊。

?

這些方法把視頻幀看作是一個個獨立圖像，從而無法利用視頻的時間連續性，因此其檢測結果實際上無法令人滿意。

?

為此，一種稱之為 ACT 的方法則通過堆棧策略撿起短期的時間連續性，顯著提升時空動作檢測的性能。但是，ACT 依然無法提取對于動作檢測而言異常關鍵的長期的時序上下文信息。進而，由于動作檢測的兩個階段相互分離，ACT 無法徹底糾正由含糊的樣本所造成的時間誤差，如圖 1 紅框所示。

▲?圖1：過渡性狀態圖示

本文把含糊的樣本定義為“過渡性狀態”，它與動作持續時間很接近，但并不屬于動作的范疇。根據 ACT 檢測器的誤差分析，35%-40% 的誤差是時間誤差，它主要由過渡性狀態造成。因此，如果要進一步提升時空動作檢測的性能，提取長期的語境信息并區分過渡性狀態就變得十分關鍵。

?

上述發現開啟了本文工作。具體而言，曠視研究員提出一個過渡感知上下文網絡——TACNet，它包含兩個核心組件，即時序語境檢測器和過渡感知分類器，前者的設計是基于標準的 SSD 框架，但是通過嵌入若干個多尺度的雙向 Conv-LSTM 單元可以編碼長期的語境信息（據知，把 Conv-LSTM 和 SSD 相結合，以打造一個用于動作檢測的訓練檢測器，這是第一次）；后者則通過同時分類動作和動作狀態，以區分過渡性狀態。

?

更為重要的是，曠視研究院進一步提出一個共模和差模網絡加速 TACNet 的收斂，從而使 TACNet 不僅可以提取長期的時序上下文信息，還能區分過渡性狀態。在UCF101-24 和 J-HMDB 兩個數據集上，TACNet在幀和視頻兩項指標上均取得了引人注目的提升。

TACNet 框架

▲?圖2：TACNet整體架構

?

如圖 2 所示，TACNet 包含兩個模塊，雙流的時序上下文檢測和過渡感知的分類和回歸。在時序語境檢測器方面，曠視研究員使用雙流 SSD 做動作檢測，正如 ACT 檢測器那樣。盡管如此，為提取長期的時序語境信息，曠視研究員還嵌入若干個雙向 Conv-LSTM 單元到不同的特征圖（不同尺寸）。

?

在過渡感知分類器方面，為區分過渡性狀態，曠視研究員設計兩個分類器以同時分類動作和動作狀態，并進一步提出一個共模和差模的網絡方案，加速 TACNet 整體的收斂。

?

通過與回歸相結合，過渡感知分類器可從空間上檢測動作，同時從時間上預測時序邊界。需要注意的是，本文基于的則是標準的 SSD，但實際可在不同的檢測器基礎上進行設計。

時序上下文檢測器

長期的時序上下文信息對時空動作檢測來說至關重要。然而，標準 SSD 是從不同大小的多個特征圖中執行動作檢測的，它并不考慮時序語境信息。為提取時序語境，曠視研究員在 SSD 中嵌入 Bi-ConvLSTM 單元，以設計一個檢測動作的循環檢測器。

?

作為 LSTM 的一種，ConvLSTM 可以編碼長期的信息，并更適宜處理視頻這樣的數據，因為 ConvLSTM 單元可以用卷積操作替代 LSTM 單元中全連接的相乘操作，從而能隨著時間保持幀的空間結構。因此，在本文框架中使用 ConvLSTM 單元提取長期時序信息是可行的。

?

具體而言，曠視研究員在 SSD 每兩個相鄰層之間嵌入一個 Bi-ConvLSTM 單元，形成一個時序語境檢測器，如圖 2 所示。本文考慮了前向與反向兩個輸入序列，并為此采用一對時序對稱 ConvLSTM；接著，曠視研究員借助這一 Bi-ConvLSTM 從每一個視頻幀獲取兩類特征，這些特征被 1 × 1 卷積層連接和轉換，以消除多余的通道。

?

通過這種方法，時序上下文檢測器可以利用 SSD 的優勢，并提取長期時序語境信息。

過渡感知分類器

過渡性狀態中的實例與目標動作具有相似性，因此檢測較容易發生混淆。大多數現有方法將其作為背景，并依賴后處理算法剪裁它們。然而，由于這些狀態與背景非常不同（比如場景和其他目標），將其看作背景會加大類內差異，降低檢測性能。在本文中，曠視研究院提出一個過渡感知的分類器，以同時進行動作分類和過渡狀態分類，具體細節如圖 3 所示：

▲?圖3：過渡感知分類器圖示

實驗

與當前最佳的對比?

在 frame-mAP 和 video-mAP 兩個指標上，本文把 TACNet 與當前最優方法在數據集 J-HMDB 和 UCF101-24 上做了對比，結果如表 3 所示。由表可知，在時序未經修剪的 UCF101-24 數據集上，TACNet 在兩個指標上均超越了先前同類方法。

▲?表3：在J-HMDB和UCF101上，TACNet與當前最佳方法的結果對比

?

結論

?

本文旨在推進動作檢測的性能。具體而言，曠視研究員發現，提取長期的時序上下文分析并區分過渡性狀態十分關鍵。由此，曠視研究院提出 TACNet，它包含一個時序上下文檢測器和一個過渡感知分類器。?

由大量的實驗結果可知，TACNet 異常奏效，并在有挑戰性的、未剪輯的數據集上刷新了當前最佳結果，這主要得益于 TACNet 使用的時序檢測和過渡感知方法。?

未來，曠視研究院將從行為者與其周遭的人物（或物體）的關系著手，持續探索，進一步提升時序檢測的能力。

?

傳送門

?

歡迎各位同學關注曠視研究院 Detection 組及知乎專欄：

http://zhuanlan.zhihu.com/c_1065911842173468672

簡歷可以投遞給 Detection 組負責人俞剛：

yugang@megvii.com

?

參考文獻?

[1]?V. Kalogeiton, P. Weinzaepfel, V. Ferrari, and C. Schmid. Action tubelet detector for spatio-temporal action localization. In ICCV, 2017.?

[2] Z. Li, K. Gavrilyuk, E. Gavves, M. Jain, and C. G. Snoek. Videolstm convolves, attends and flows for action recognition. Computer Vision and Image Understanding, 166:41– 50, 2018.

[3] X. Peng and C. Schmid. Multi-region two-stream r-cnn for action detection. In ECCV, pages 744–759, 2016.

[4] G. Singh, S. Saha, M. Sapienza, P. Torr, and F. Cuzzolin. Online real-time multiple spatiotemporal action localisation and prediction. In CVPR, pages 3637–3646, 2017.?

[5] G. Yu and J. Yuan. Fast action proposals for human action detection and search. In CVPR, pages 1302–1311, 2015.?

[6] K. Soomro, A. R. Zamir, and M. Shah. Ucf101: A dataset of 101 human actions classes from videos in the wild. arXiv preprint arXiv:1212.0402, 2012.?

[7] H. Jhuang, J. Gall, S. Zuffi, C. Schmid, and M. J. Black. Towards understanding action recognition. In ICCV, pages 3192–3199, 2013.

往期解讀：

• CVPR 2019 | 曠視提出GIF2Video：首個深度學習GIF質量提升方法

• CVPR 2019 | 曠視Oral論文提出GeoNet：基于測地距離的點云分析深度網絡
  

• CVPR 2019 | 曠視提出超分辨率新方法Meta-SR：單一模型實現任意縮放因子

• CVPR 2019 | 曠視實時語義分割技術DFANet：高清虛化無需雙攝

• CVPR 2019 | 曠視研究院提出ML-GCN：基于圖卷積網絡的多標簽圖像識別模型

• CVPR 2019 | 曠視研究院提出新型損失函數：改善邊界框模糊問題

• CVPR 2019 | 曠視研究院提出Geo-CNN：建模3D點云的局部幾何結構

• CVPR 2019 | 曠視研究院提出DeepLiDAR：通過曲面法線實現稠密深度預測

• CVPR 2019 | 曠視研究院提出極輕量級年齡估計模型C3AE

• CVPR 2019 | 曠視研究院提出用于全景分割的端到端閉環網絡OANet

  
  

點擊以下標題查看更多往期內容：?

• CVPR 2019 | 無監督領域特定單圖像去模糊

• 論文盤點：CVPR 2019 - 文本檢測專題

• 近期值得讀的10篇GAN進展論文

• 小樣本學習（Few-shot Learning）綜述
  

• 萬字綜述之生成對抗網絡（GAN）

• 可逆ResNet：極致的暴力美學
  

• CVPR 2019 | 基于池化技術的顯著性目標檢測
  

• CVPR 2019 | 天秤座R-CNN：全面平衡目標檢測器

  
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 獲取最新論文推薦

總結

以上是生活随笔為你收集整理的CVPR 2019 | 旷视研究院提出TACNet，刷新时空动作检测技术新高度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。