原文鏈接：http://www.sigvc.org/bbs/thread-165-1-1.html

?? 這次我們榮幸地邀請到中國科學(xué)院自動化研究所的樊彬老師為我們撰寫圖像特征描述符方面的最新綜述。樊彬老師在圖像特征描述方面已連續(xù)發(fā)表了包括TPAMI、PR、ICCV、CVPR在內(nèi)的多篇高質(zhì)量論文。他的個人主頁為：http://www.sigvc.org/bfan/

? ? 以后我們將持續(xù)邀請國內(nèi)外眾多老師做最新的視覺計算專業(yè)綜述報告，如特征提取和描述、稀疏表達(dá)、人體跟蹤、三維衣服布料動畫、輕量級Web3D等，并陸續(xù)在學(xué)術(shù)論壇上發(fā)布。各位老師會盡量使綜述通俗易懂、深入淺出，這樣無論是初學(xué)者還是同行專家，都會有所收獲。因為發(fā)布在本論壇中的學(xué)術(shù)文章不屬于正式的學(xué)術(shù)出版，因此各位老師以后還可根據(jù)論壇的反饋建議將綜述整理成正式的學(xué)術(shù)論文在期刊會議上發(fā)表。

? ? 此外，如果您覺得國內(nèi)外某位學(xué)者在您所關(guān)注的領(lǐng)域（與視覺計算相關(guān)的：“計算機(jī)視覺”、“計算機(jī)圖形學(xué)”、“模式識別與機(jī)器學(xué)習(xí)”、“機(jī)器人視覺導(dǎo)航與定位”）做的不錯，希望獲得他的最新綜述性見解，可把他/她的聯(lián)系方式發(fā)給我們，我們將考慮邀請他/她撰寫最新的綜述報告，以便大家在第一時間分享。
------------------------------------------------------------------------------------------------------------------------------------------------ 局部圖像特征描述概述 樊彬
中國科學(xué)院自動化研究所 模式識別國家重點(diǎn)實驗室 (CASIA NLPR)

? ???? 局部圖像特征描述是計算機(jī)視覺的一個基本研究問題，在尋找圖像中的對應(yīng)點(diǎn)以及物體特征描述中有著重要的作用。它是許多方法的基礎(chǔ)，因此也是目前視覺研究中的一個熱點(diǎn)，每年在視覺領(lǐng)域的頂級會議ICCV/CVPR/ECCV上都有高質(zhì)量的特征描述論文發(fā)表。同時它也有著廣泛的應(yīng)用，舉例來說，在利用多幅二維圖像進(jìn)行三維重建、恢復(fù)場景三維結(jié)構(gòu)的應(yīng)用中，其基本出發(fā)點(diǎn)是要有一個可靠的圖像對應(yīng)點(diǎn)集合，而自動地建立圖像之間點(diǎn)與點(diǎn)之間的可靠對應(yīng)關(guān)系通常都依賴于一個優(yōu)秀的局部圖像特征描述子。又比如，在物體識別中，目前非常流行以及切實可行的方法之一是基于局部特征的，由于特征的局部性，使得物體識別可以處理遮擋、復(fù)雜背景等比較復(fù)雜的情況。

? ? ?? 局部圖像特征描述的核心問題是不變性（魯棒性）和可區(qū)分性。由于使用局部圖像特征描述子的時候，通常是為了魯棒地處理各種圖像變換的情況。因此，在構(gòu)建/設(shè)計特征描述子的時候，不變性問題就是首先需要考慮的問題。在寬基線匹配中，需要考慮特征描述子對于視角變化的不變性、對尺度變化的不變性、對旋轉(zhuǎn)變化的不變性等；在形狀識別和物體檢索中，需要考慮特征描述子對形狀的不變性。

? ?? ? 然而，特征描述子的可區(qū)分性的強(qiáng)弱往往和其不變性是矛盾的，也就是說，一個具有眾多不變性的特征描述子，它區(qū)分局部圖像內(nèi)容的能力就稍弱；而如果一個非常容易區(qū)分不同局部圖像內(nèi)容的特征描述子，它的魯棒性往往比較低。舉個例子，假定我們需要對一個點(diǎn)周圍固定大小的局部圖像內(nèi)容進(jìn)行描述。如果我們直接將圖像內(nèi)容展開成一個列向量對其進(jìn)行描述，那么只要局部圖像內(nèi)容發(fā)生了一點(diǎn)變化，就會使得它的特征描述子發(fā)生較大的變化，因此這樣的特征描述方式很容易區(qū)分不同的局部圖像內(nèi)容，但是對于相同的局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況，它同樣會產(chǎn)生很大的差異，即不變性弱。

? ? ?? 而另一方面，如果我們通過統(tǒng)計局部圖像灰度直方圖來進(jìn)行特征描述，這種描述方式具有較強(qiáng)的不變性，對于局部圖像內(nèi)容發(fā)生旋轉(zhuǎn)變化等情況比較魯棒，但是區(qū)分能力較弱，例如無法區(qū)分兩個灰度直方圖相同但內(nèi)容不同的局部圖像塊。

? ?? ?綜上所述，一個優(yōu)秀的特征描述子不僅應(yīng)該具有很強(qiáng)不變性，還應(yīng)該具有很強(qiáng)的可區(qū)分性。

? ?? ?在諸多的局部圖像特征描述子中，SIFT（Scale Invariant Feature Transform）是其中應(yīng)用最廣的，它在1999年首次提出，至2004年得到完善。SIFT的提出也是局部圖像特征描述子研究領(lǐng)域一項里程碑式的工作。由于SIFT對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，并且SIFT具有很強(qiáng)的可區(qū)分性，自它提出以來，很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應(yīng)用，局部圖像特征描述子在計算機(jī)視覺領(lǐng)域內(nèi)也得到了更加廣泛的關(guān)注，涌現(xiàn)了一大批各具特色的局部圖像特征描述子。

? ?? ? SURF（Speeded Up Robust Features）是對SIFT的改進(jìn)版本，它利用Haar小波來近似SIFT方法中的梯度操作，同時利用積分圖技術(shù)進(jìn)行快速計算，SURF的速度是SIFT的3-7倍，大部分情況下它和SIFT的性能相當(dāng)，因此它在很多應(yīng)用中得到了應(yīng)用，尤其是對運(yùn)行時間要求高的場合。

? ?? ? DAISY是面向稠密特征提取的可快速計算的局部圖像特征描述子，它本質(zhì)思想和SIFT是一樣的：分塊統(tǒng)計梯度方向直方圖，不同的是，DAISY在分塊策略上進(jìn)行了改進(jìn)，利用高斯卷積來進(jìn)行梯度方向直方圖的分塊匯聚，這樣利用高斯卷積的可快速計算性就可以快速稠密地進(jìn)行特征描述子的提取。比較巧合的是，DAISY這種特征匯聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通過機(jī)器學(xué)習(xí)的方法證明相對于其他幾種特征匯聚策略（卡迪爾坐標(biāo)下分塊、極坐標(biāo)下分塊）是最優(yōu)的。

? ?? ? ASIFT（Affine SIFT）通過模擬所有成像視角下得到的圖像進(jìn)行特征匹配，可以很好地處理視角變化的情況，尤其是大視角變化下的圖像匹配。

? ?? ? MROGH（Multi-support Region Order-based Gradient Histogram）則是特征匯聚策略上尋求創(chuàng)新，之前的局部圖像特征描述子，其特征匯聚策略都是基于鄰域內(nèi)點(diǎn)的幾何位置的，而MROGH基于點(diǎn)的灰度序進(jìn)行特征匯聚。

? ?? ? BRIEF（Binary Robust Independent Element Feature）利用局部圖像鄰域內(nèi)隨機(jī)點(diǎn)對的灰度大小關(guān)系來建立局部圖像特征描述子，得到的二值特征描述子不僅匹配速度快，而且存儲要求內(nèi)存低，因此手機(jī)應(yīng)用中具有很好的應(yīng)用前景。其實，利用鄰域內(nèi)點(diǎn)對的灰度大小關(guān)系進(jìn)行特征描述這一思想在SMD（ECCV’08）中就已經(jīng)有了。

? ?? ?除了BRIEF，近兩年還提出了許多二值特征描述子，例如ORB、BRISK、FREAK。上述這些特征描述子都是基于手動設(shè)計得到的，也有一些研究試圖利用機(jī)器學(xué)習(xí)的方法，通過數(shù)據(jù)驅(qū)動得到想要的特征描述子。這類特征描述子包括PCA-SIFT，Linear Discriminative Embedding，LDA-Hash等。當(dāng)然，除了提到的這些特征描述子之外，還有許多其他的特征描述子，在這就不再一一敘述了。

? ?? ?國際上研究局部圖像特征描述子比較著名的學(xué)者有：

? ?? ?英國Surrey大學(xué)的Mikolajzyk，他在INRIA做博后的時候，在寬基線應(yīng)用背景下，對SIFT、Shape Context、PCA-SIFT、不變矩等多種局部圖像描述子的性能進(jìn)行了評測，相關(guān)論文發(fā)表在2005年PAMI上，他提出來的評測方法至今仍是局部圖像描述子研究領(lǐng)域中廣泛采用的性能評測方法。

? ?? ? INRIA的C. Schmid，她九十年代就開始研究局部圖像描述方法了，是這個領(lǐng)域內(nèi)的元老之一，不過這幾年她的團(tuán)隊正在將重心轉(zhuǎn)向大規(guī)模圖像檢索和行為識別等應(yīng)用中。

? ?? ? 比利時Leuven大學(xué)的Tinne Tuytelaars，她是著名的SURF描述子的提出者，SURF相關(guān)的論文于2011年獲得CVIU引用最多論文獎，她寫了三篇局部圖像特征描述相關(guān)的綜述文章，分別是“Local Invariant Feature Detectors: A Survey”，“Local Image Features”和“Wide baseline matching”。

? ?? ? 英國Oxford大學(xué)的Andrea Valida，他是Vlfeat的發(fā)起者和主要作者。Vlfeat是一個開源程序，其中包括了SIFT、MSER，被許多研究者廣泛采用。Vlfeat目前正在逐漸實現(xiàn)其他常用的特征描述子。

? ?? ? 瑞士EPFL的Vincent Lepetit和Pascal Fua，他們的團(tuán)隊主要致力于發(fā)展快速、高效的局部圖像特征描述子，用于模板匹配、三維重建、虛擬現(xiàn)實等應(yīng)用。他們的工作包括用于稠密立體匹配的DAISY特征描述子，基于Random Trees的模板匹配方法，基于Random Ferns的模板匹配方法。此外，LDA-Hash、BRIEF、D-BRIEF（ECCV 2012）也是他們的杰作。

? ?? ? 中國科學(xué)院自動化研究所的吳福朝研究員，他在這方面也做了比較深入的研究，并提出了許多不錯的局部圖像特征提取和描述方法。這些名字都是我們在讀論文的時候會經(jīng)常看到的。

? ?? ? 最近幾年局部圖像特征描述子的發(fā)展趨勢是：快速、低存儲。這兩個趨勢使得局部圖像特征描述子可以在快速實時、大規(guī)模應(yīng)用中發(fā)揮作用，而且有利于將許多應(yīng)用做到手機(jī)上去進(jìn)行開發(fā)，實實在在的將計算機(jī)視覺技術(shù)應(yīng)用于我們周圍的世界中。為了滿足快速和低存儲這兩個需求，二值特征描述子得到了研究者的廣泛關(guān)注，這兩年CVPR和ICCV中關(guān)于局部圖像特征描述子的文章，大部分都是這類的。相信它們在未來幾年還會繼續(xù)受到關(guān)注，期待出現(xiàn)一些深入大眾生活中的成功應(yīng)用。

總結(jié)

以上是生活随笔為你收集整理的“局部图像特征描述概述”--樊彬老师的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。