參考引用：A Story of Basis and Kernel 來源：http://songcy.net/

向量與內(nèi)積

在一個

空間中，我們可以通過 個獨立向量的線性組合來表示這個空間里的任意向量。這些獨立的向量可以看作是空間里的一組基，基向量互相正交。比如 就是一組正交基向量（ 的第 個元素為 ，其余元素為 ）。

內(nèi)積運(yùn)算可以衡量兩個向量的相似度

如果

以及 ，那么這兩個向量的內(nèi)積為

向量向函數(shù)的拓展

一個函數(shù)可以看作是無限維向量。

一個定義在區(qū)間

的函數(shù) ，我們可以以 為間隔對函數(shù)進(jìn)行采樣，從而將函數(shù)（由函數(shù)在不同點的取值組成）轉(zhuǎn)化為一個向量 ，當(dāng)采樣間隔趨于零時，這一向量就會無限趨近于函數(shù) （或者說可以用向量來表征函數(shù)）且此時向量的維度是無窮維的。

既然函數(shù)可以理解是一種特殊的向量，那么同樣可以近似定義函數(shù)的內(nèi)積

因為向量的維度都是離散整數(shù)，而函數(shù)的維度是連續(xù)的，用了normalization這里采用

表示相鄰維度的差。

在向量空間中，我們可以用一組基向量來表示任意向量，函數(shù)空間也可以用一組基函數(shù)來表征其他函數(shù)。但是向量空間的基向量是有限的，函數(shù)空間的基函數(shù)可能是無限的。函數(shù)空間的基函數(shù)也是要求互相正交的，兩個函數(shù)的內(nèi)積如果是零則表示兩個函數(shù)是正交的。

例子：Fourier Series

假設(shè)基函數(shù)為

， 為整數(shù)，且

定義在區(qū)間 。這些函數(shù)構(gòu)造了一個函數(shù)空間，且任意定義在 上的函數(shù)可以表示為這些基函數(shù)的線性組合。可以證明任意兩個基函數(shù)是正交的

其中

，基函數(shù)的長度為 。

如果一個函數(shù)定義在此空間的區(qū)間

上，則可以表示為 ，對應(yīng)某一個點 的函數(shù)值為

因為

所以這些系數(shù)可以計算得到

也就是傅里葉級數(shù)。

核方法

核方法的目的在于將一個

上的向量映射到另外一個特征空間上，比如一個更高維的空間。此時一些非線性問題可以轉(zhuǎn)化為線性問題。

特征分解

考慮一個實對稱矩陣

，存在實數(shù) 以及向量 使得

則稱

是矩陣 的一個特征值， 是對應(yīng)的特征向量。如果 有兩個不同的特征值 以及對應(yīng)的特征向量 ，那么可以證明 ，即兩個特征向量是正交的。

更一般的，對于矩陣

，我們可以找到 個特征值以及 個正交的特征向量。使得矩陣可以分解為

其中

為正交矩陣（ ）， 。如果我們將 按列向量展開描述 ，則

其中

為 空間的一組正交基。

核函數(shù)

因為函數(shù)

可以看作是一個無限維的向量，那么對于一個二元函數(shù) ，我們可以將其看做是一個無限維矩陣。如果這個函數(shù)滿足 且

對于任意函數(shù) 均成立。

則

是對稱正定的，在這種情況下它是一個核函數(shù)。

類比于矩陣的特征分解，存在特征值

以及特征函數(shù) 使得

對于不同的特征值

以及對應(yīng)的特征函數(shù) 有

因此有基函數(shù)的內(nèi)積為零

，即基函數(shù)是正交的。

對于一個核函數(shù)（無窮維矩陣），有無限多的特征值

以及對應(yīng)的基函數(shù) ，類似于矩陣我們可以得到

對應(yīng)核函數(shù)（無窮維矩陣）的某個元素有

這也就是Mercer定理。這里

。

再生核希爾伯特空間

將

看作是構(gòu)成希爾伯特空間 的一組正交基，那么任意在這個空間的一個點（函數(shù)）可以表示為這組基的線性組合。需要注意 表示一個函數(shù)， 表示函數(shù)在 的取值。

，即

對于任意函數(shù)，我們可以將其看作是一個無限維向量（函數(shù)在每一個輸入

的取值），這個函數(shù)的向量表示為 。這么一個無窮維向量對應(yīng)到空間的基表示為 （系數(shù)乘以基向量的形式），即對應(yīng)的“點”（系數(shù)）為 。

此時核函數(shù)的一行

（固定 ）可以表示為系數(shù)乘以基的形式

上式可以對照矩陣分解來理解，矩陣中的某一行對應(yīng) 的其中一行，所以第一個向量應(yīng)該只取一個元素；回到這里也就是核函數(shù)的某一行對應(yīng)的是 而不是 。

對應(yīng)的是一個無窮維向量

那么根據(jù)內(nèi)積的定義有

可以理解為內(nèi)積轉(zhuǎn)化為無窮維向量對應(yīng)元素相乘，再轉(zhuǎn)化為系數(shù)乘以基構(gòu)成一個函數(shù)后再取某一個元素 ，也就是函數(shù)在 的取值。

同樣可以推導(dǎo)（無窮維向量的對應(yīng)元素相乘）

這就是再生性質(zhì)，因此

稱為再生核希爾伯特空間。

如果我們定義

為從 映射到希爾伯特空間后的無窮維向量，則

也就是人們常說的通過核函數(shù)，我們可以將一個向量映射到再生核希爾伯特空間中的一個無窮維向量（函數(shù)）。

進(jìn)一步有

即兩個無窮維向量的內(nèi)積等于核函數(shù)在點

的取值。因此我們并不需要知道這個映射是什么，這個特征空間在哪里，這個特征空間的基函數(shù)是什么。就可以求得無窮維空間上的內(nèi)積。

這也被稱作核技巧。

總結(jié)

以上是生活随笔為你收集整理的再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。