目錄

• 簡介
• 動機
• 貢獻
• 方法
• 實驗

簡介

本文也是一篇poster，作者出自浙大、阿里巴巴和電科大。
本文提出了一個新的task——STVG（Spatio-Temporal Video Grounding for Multi-Form Sentences），下面將進行詳細介紹。
下載鏈接

動機

首先，針對Video Grounding這個task，大多是針對特定的一幀或者幾幀進行grounding，再或者是在 trimmed videos上進行grounding。本文提出在untrimmed videos上進行grounding，并且使用兩種形式的sentences，分別是陳述句和疑問句。由于疑問句中不會“顯式地”指出目標，更考驗模型的推理能力。這個task稱為STVG。

其次，針對Video Grounding領域的方法，現有大多數方法，都是先提proposals，再根據sentence選擇最優proposal，但是這類方法不適用于STVG任務。可以從兩點進行解釋：①. 這類方法的性能很大程度依賴于提取的proposals的質量，但是STVG中使用的是untrimmed videos，ground truth在其中占的比例很小，不參考textual clues，很難提取出有質量的proposals；②. 這類方法通常只考慮對單個tube建模，忽略了objects之間的關系。

貢獻

提出STVG任務。

提出STGRN模型應對STVG任務。

提出針對STVG任務的數據集VidSTG。

STGRN模型在VidSTG數據集上取得了很好的效果。

方法

本文方法的整體框架如下圖所示，下面進行詳細介紹。

對于輸入的text和image，本文分別采用雙向GRU和Faster R-CNN作為encoder，得到特征圖。然后，基于Faster R-CNN的檢測結果，構造三個圖，分別是：隱式空間圖、顯式空間圖和時間動態圖。隱式空間圖是由每個object為節點，得到的完全圖（無向圖）。顯式空間圖是一個場景圖，根據CVPR2018構造（有向圖）。時間動態圖將每幀的objects和前后的M幀相連，建邊的原則是——根據特征的余弦相似度和IoU加權得到。

得到三個圖后，基于它們進行多步跨模態推理，具體做法其實就兩步，先進行跨模態融合，然后使用空間圖卷積（或時間圖卷積）。跨模態融合分為三步：首先，對于每個region，使用注意力機制聚集文本特征；然后，使用一個textual gate機制，弱化文本無關區域；最后，將得到 的region feature和textual feature進行concatenate，得到跨模態特征$v_0$（方便表示，先忽略時間步$t$，區域索引$i$等）。多步推理體現在空間圖卷積（或時間圖卷積）上，基于剛才得到的特征，進行T步的空間圖卷積（或時間圖卷積），會得到三個不同的特征$v_1$、$v_2$和$v_3$。最終特征通過$v_{end}=ReLU(v_0+v_1+v_2+v_3)$得到。

得到特征后，通過兩個Localizer對生成tube。首先介紹Temporal Localizer，這部分作者參考了SIGIR2019。先是對于每一幀，多尺度地生成proposals，然后使用參考論文中的方法，對每個proposal進行評估，同時預測出邊界的offset。接下來，介紹Spatial Localizer，直接使用一個線性層，預測region feature和query representation（這部分是在text encoder學到的）的match score。但是這樣選，在時間維度上，bbox的變化不夠平滑，故作者定義了一個link score，選擇bbox的時候，不光考慮match score，還要考慮它與后一幀bbox的IoU。

實驗

在VidSTG數據集上的實驗結果如下：

總結

以上是生活随笔為你收集整理的CVPR 2020 《Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。