摘要

我們對(duì)41個(gè)最先進(jìn)的模型（29個(gè)顯著目標(biāo)檢測(cè)，10個(gè)注視點(diǎn)預(yù)測(cè)，1個(gè)算法，1個(gè)基線)，從定性和定量的角度廣泛的比較了7個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集，以對(duì)顯著的目標(biāo)檢測(cè)和分割方法進(jìn)行基準(zhǔn)測(cè)試。從目前獲得的結(jié)果來(lái)看，我們的評(píng)估在過(guò)去幾年在準(zhǔn)確性和運(yùn)行時(shí)間方面都取得了一致的快速進(jìn)展。在這一基準(zhǔn)測(cè)試中，排名前幾位的模型表現(xiàn)明顯好于三年前進(jìn)行的前一基準(zhǔn)測(cè)試中被認(rèn)為最好的模型。我們發(fā)現(xiàn)，專為顯著目標(biāo)檢測(cè)設(shè)計(jì)的模型通常比密切相關(guān)領(lǐng)域的模型表現(xiàn)得更好，這反過(guò)來(lái)又提供了一個(gè)精確的定義，并提出了一個(gè)適當(dāng)?shù)奶幚矸椒?#xff0c;以區(qū)別于其他問(wèn)題。特別地，我們分析了中心偏差和場(chǎng)景復(fù)雜性對(duì)模型性能的影響，這與最先進(jìn)的模型的困難情況一起，為構(gòu)建更具挑戰(zhàn)性的大規(guī)模數(shù)據(jù)集和更好的顯著性模型提供了有用的提示。最后，我們提出可能的解決方案，以解決幾個(gè)開(kāi)放的問(wèn)題，如評(píng)價(jià)分?jǐn)?shù)和數(shù)據(jù)集偏差，這也提出了未來(lái)的研究方向，在快速增長(zhǎng)的領(lǐng)域的顯著目標(biāo)檢測(cè)。

引言

視覺(jué)注意力是人類視覺(jué)系統(tǒng)選擇性地處理視覺(jué)刺激細(xì)節(jié)的驚人能力，已經(jīng)被認(rèn)知心理學(xué)、神經(jīng)科學(xué)和計(jì)算機(jī)視覺(jué)等多個(gè)學(xué)科研究過(guò)。遵循認(rèn)知理論(如特征整合理論(FIT)、引導(dǎo)搜索模型)和早期注意模型如Koch、Ullman和Itti等人的，數(shù)以百計(jì)的計(jì)算顯著性模型提出了從圖像和視頻中檢測(cè)視覺(jué)顯著子集的方法。
盡管有心理學(xué)和神經(jīng)生物學(xué)的定義，視覺(jué)顯著性的概念在計(jì)算機(jī)視覺(jué)領(lǐng)域變得模糊。一些視覺(jué)顯著性模型旨在預(yù)測(cè)人類注視來(lái)測(cè)試他們的準(zhǔn)確性顯著檢測(cè)，而其他模型通常是由計(jì)算機(jī)視覺(jué)應(yīng)用,如content-aware圖像縮放和照片可視化，試圖確定顯著區(qū)域/對(duì)象和明確的特點(diǎn)判斷用于評(píng)估。盡管這兩種顯著性模型可以互換使用，但由于顯著性檢測(cè)的目的不同，它們生成的顯著性圖實(shí)際上表現(xiàn)出顯著不同的特征。例如，注視點(diǎn)預(yù)測(cè)模型通常會(huì)彈出稀疏的類塊顯著區(qū)域，而顯著目標(biāo)檢測(cè)模型通常會(huì)生成平滑的連通區(qū)域。一方面，對(duì)大的顯著區(qū)域進(jìn)行檢測(cè)，往往會(huì)導(dǎo)致嚴(yán)重的誤報(bào)，從而影響對(duì)注視點(diǎn)的預(yù)測(cè)。另一方面，僅彈出式稀疏顯著區(qū)域在檢測(cè)突出區(qū)域和目標(biāo)時(shí)，會(huì)造成大量的脫靶。
為了區(qū)分這兩種類型的顯著性模型，我們?cè)诒狙芯恐薪o出了一個(gè)精確的定義，并提出了一種合適的顯著性目標(biāo)檢測(cè)方法。一般來(lái)說(shuō)，一個(gè)顯著目標(biāo)檢測(cè)模型應(yīng)該首先檢測(cè)場(chǎng)景中突出的吸引注意力的對(duì)象，然后對(duì)整個(gè)對(duì)象進(jìn)行分割。通常，模型的輸出是一個(gè)顯著性映射，其中每個(gè)像素的強(qiáng)度表示其屬于顯著性對(duì)象的概率。從這個(gè)定義中我們可以看出，這個(gè)問(wèn)題的本質(zhì)是一個(gè)figure/ground segmentation的問(wèn)題，其目的是將顯著的前景對(duì)象從背景中分割出來(lái)。注意，它與傳統(tǒng)的圖像分割問(wèn)題稍有不同，后者的目標(biāo)是將圖像分割成感知上一致的區(qū)域。
在本研究中，我們比較和分析了三類模型:1)顯著目標(biāo)檢測(cè)，2)注視預(yù)測(cè)，3)目標(biāo)建議生成。之所以將后兩種模型包括進(jìn)來(lái)，是為了進(jìn)行跨類別的比較，研究針對(duì)突出目標(biāo)檢測(cè)設(shè)計(jì)的模型在固定預(yù)測(cè)和目標(biāo)建議生成方面是否比模型具有實(shí)際優(yōu)勢(shì)。這一點(diǎn)特別重要，因?yàn)檫@些模型具有不同的目標(biāo)，并生成視覺(jué)上獨(dú)特的地圖。我們還包括一個(gè)基線模型來(lái)研究模型比較中中心偏差的影響。綜上所述，我們希望這樣的基準(zhǔn)測(cè)試不僅能讓研究人員將其模型與其他算法進(jìn)行比較，還能幫助識(shí)別影響突出目標(biāo)檢測(cè)模型性能的主要因素。

顯著目標(biāo)檢測(cè)基準(zhǔn)

在此基準(zhǔn)測(cè)試中，我們主要評(píng)估輸入為單個(gè)圖像的模型。這是由于對(duì)單個(gè)輸入圖像的顯著性目標(biāo)檢測(cè)是主要的研究方向，而對(duì)多個(gè)輸入圖像的工作模型(如共顯著性目標(biāo)檢測(cè)和時(shí)空顯著性)的綜合評(píng)價(jià)缺乏公共基準(zhǔn)。

A 模型比較

本研究共運(yùn)行41個(gè)模型(29個(gè)顯著目標(biāo)檢測(cè)模型、10個(gè)注視預(yù)測(cè)模型、1個(gè)客觀建議模型和1個(gè)基線模型)，這些模型的代碼或可執(zhí)行文件是可訪問(wèn)的(完整列表見(jiàn)圖1)。基線模型表示為“平均注釋圖(Average Annotation Map, AAM)”，它只是每個(gè)數(shù)據(jù)集上所有圖像的地面真相注釋的平均值。值得注意的是，AAM通常在圖像中心有較大的激活(見(jiàn)圖2)，因此我們可以研究中心偏置對(duì)模型比較的影響。

B 數(shù)據(jù)集

由于存在許多數(shù)據(jù)集，這些數(shù)據(jù)集在圖像數(shù)量、每幅圖像的對(duì)象數(shù)量、圖像分辨率和注釋形式(邊界框或精確區(qū)域掩碼)方面存在差異，因此模型在不同數(shù)據(jù)集之間的排名可能不同。因此，為了進(jìn)行公平的比較，有必要對(duì)多個(gè)數(shù)據(jù)集運(yùn)行模型，從而得出客觀的結(jié)論。一個(gè)好的模型應(yīng)該能夠很好地處理幾乎所有的數(shù)據(jù)集。為此，選擇7個(gè)數(shù)據(jù)集進(jìn)行模型比較，包括

MASRA10K

THUR15K

ECSSD

.JuddDB

DUT-OMRON

SED2

PASCAL-S
選擇這些數(shù)據(jù)集的準(zhǔn)則：
1)使用廣泛，2)包含大量圖像，3)有不同的偏差(如:突出物體的數(shù)量、圖像雜亂、中心偏差)，4)有可能作為未來(lái)研究的基準(zhǔn)。

C 評(píng)價(jià)方法

有幾種方法可以衡量模型預(yù)測(cè)和人工注釋之間的一致性。一些度量方法評(píng)估標(biāo)記區(qū)域和模型預(yù)測(cè)之間的重疊，而另一些度量方法嘗試評(píng)估帶有對(duì)象邊界的繪制形狀的準(zhǔn)確性。此外，一些度量標(biāo)準(zhǔn)試圖同時(shí)考慮邊界和形狀。

• PR：M mask G ground-truth
  
  mask 方法：
  1閾值，顯著性平均值的2倍。
  
  2 固定閾值 （0-255）
  3 saliency cut algorithm
• F-度量 （${\beta }^2=0.3$）
  
• ROC
  
• AUC
• 平均絕對(duì)誤差
  
• $F_{\beta }^W$度量

總結(jié)

以上是生活随笔為你收集整理的Salient Object Detection: A Benchmark （显著性目标检测的一个基准）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。