羅納德·費雪（Sir Ronald Aylmer Fisher, FRS，1890.2.17－1962.7.29)，現代統計學與現代演化論的奠基者之一，安德斯·哈爾德稱他是“一位幾乎獨自建立現代統計科學的天才”，理查·道金斯則認為他是“達爾文最偉大的繼承者”。

局部特征作為一種強魯棒性的特征，其與全局特征構成了CV領域圖像內容描述的基礎。相比于全局特征，局部特征往往在對低層共有模式的表達上可以做到更細的粒度（關于局部和全局在視覺認知上的作用機制，強烈推薦閱讀尺度空間理論），但同時也引發了新的問題，即特征處理效率低、存儲大等方面的問題。因而需要將局部特征經過某種編碼方式，最終表示成一種緊湊的全局特征表示。

Fisher Vector作為連接單向連接局部特征到全局表示的三大特征編碼方法之一（另外兩種編碼方式見圖像檢索：BoF、VLAD、FV三劍客），無論是在學術研究領域還是在工業實際應用上，都具有很重要的地位。下面內容是小白菜對Fisher Vector中的Fisher信息矩和Fisher核的數學推導及對應物理意義的總結整理。

Fisher信息矩和Fisher核

在空間χχ中，某樣本XX存在TT個觀測量，記為X={xt,t=1…T}X={xt,t=1…T}。對應到圖像上，樣本XX為圖像II提取到的TT個DD維的局部描述子，比如SIFT。設μλμλ為概率密度函數，該函數包含有MM個參數，即λ=[λ1,…,λM]λ=[λ1,…,λM]。根據生成式原理，空間χχ中的元素XX可以由概率密度函數進行建模。在統計學上，分數函數（score funciton）可以由對數似然函數的梯度給出，即：

?

GXλ=?logμλ(X)GλX=?logμλ(X)

上式對數函數的梯度，在數學形式上為對數似然函數的一階偏導，它描述了每一個參數λiλi對該生成式過程的貢獻度，換言之，該分數函數GXλGλX描述了生成式模型μλμλ為了更好的擬合數據XX，該模型中的參數需要做怎樣的調整。又因為GXλ∈RMGλX∈RM是一個維度為MM維的向量，所以該分數函數的維度僅依賴于λλ中參數的數目MM, 而于觀測樣本的數目TT無關。此外，一般情況下，該分數函數的期望E[GXλ]=0E[GλX]=0，這一點對于下面講到的Fisher信息矩物理意義的得到非常重要。

根據信息幾何理論，含參分布Γ={μλ,λ∈Λ}Γ={μλ,λ∈Λ}可以視為一個黎曼流形MΛMΛ，其局部度量方式可以由Fisher信息矩(Fisher Information Matrix, FIM）Fλ∈RM×MFλ∈RM×M:

?

Fλ=Ex～μλ[GXλ(GXλ)T]Fλ=Ex～μλ[GλX(GλX)T]

從上式可以看到，Fisher信息矩是分數函數的二階矩。在一般條件下很容易證明（注意E[GXλ]=0E[GλX]=0）：

Fλ=Ex～μλ[GXλ(GXλ)T]=E[(GXλ)2]=E[(GXλ)2]?E[GXλ]2=Var[GXλ]Fλ=Ex～μλ[GλX(GλX)T]=E[(GλX)2]=E[(GλX)2]?E[GλX]2=Var[GλX]

從上式可以看到，Fisher信息矩是用來估計最大似然估計（Maximum Likelihood Estimate, MLE）的方程的方差。它直觀的表述就是，在獨立性假設的條件下，隨著收集的觀測數據越來越多，這個方差由于是一個相加的形式，因而Fisher信息矩也就變的越來越大，也就表明得到的信息越來越多。

注：此處引用了fisher information 的直觀意義是什么?

對于兩組不同的觀察樣本XX和YY，Jaakkola和Haussler提出了使用Fisher核來度量它們之間的相似性，其數學表達形式為：

?

KFK(X,Y)=(GXλ)TF?1λGXλKFK(X,Y)=(GλX)TFλ?1GλX

又因為FλFλ是半正定的，所以其逆矩陣是存在的。使用cholesky分解可以得到F?1λ=(Lλ)TLλFλ?1=(Lλ)TLλ，上式可以寫成內積的表示形式：

?

KFK(X,Y)=(?Xλ)T?YλKFK(X,Y)=(?λX)T?λY

其中,

?Xλ=LλGXλ=Lλ?logμλ(X)?λX=LλGλX=Lλ?logμλ(X)

上式是LλLλ對GXλGλX的歸一化，我們將?Xλ?λX稱為Fisher向量，該Fisher向量?Xλ?λX等于梯度向量GXλGλX的維度，又由于GXλGλX的維度僅與概率密度函數的參數數目MM有關，所以空間χχ中任意樣本XX的TT個觀測量最終都可以表示成一固定維度的向量。通過使用?Xλ?λX算子，使得非線性核相似性度量問題轉化為線性問題。這種變換帶來的一個明顯的優勢是，在分類的時候可以采用更高效的線性分類器。

from:?http://yongyuan.name/blog/fim-fisher-kernel.html?

總結

以上是生活随笔為你收集整理的图像检索：Fisher Information Matrix and Fisher Kernel的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。