1. 簡介

1.1 信息檢索和機器學習

從高維數據中提取信息的問題與降維問題密不可分，也就是說，從典型的高維觀察中提取一些合理的特征的問題。例如，考慮一下人類在圖像上識別人臉的能力。該圖像被視為一個高維向量，例如 $800\times 600$ 的像素值，肯定不能作為原始像素數據存儲在人類的大腦中。相反，我們必須提取一些特征，例如眼睛之間的相對距離，鼻子的長度，以及更抽象的不同臉部區域的相互作用，作為一個整體。儲存和回憶這幾個抽象特征的能力使我們有可能識別出一張臉，而不受不同的背景、太陽鏡或部分遮擋的影響，并能區分不同的臉。在廣泛的數據分析領域有更多的例子，通過提取特征可以從高維數據中擠出信息，從基因數據分類到音頻信號處理，從數據可視化到腦電圖（EEG）數據分析。

從形式上看，降維的問題是這樣的。給定一個$p$維的實值隨機變量$X={\left[X_1\dots X_p\right]}^{?}$，找到一個圖或算法

$$f:{\mathbb{R}}^p\to {\mathbb{R}}^k\text{?with?}k?p,$$

使得$S=f(X)$包含 “盡可能多的來自$X$的信息”。根據上述例子的精神，${\mathbb{R}}^p$將被稱為原始數據空間，${\mathbb{R}}^k$被稱為還原數據空間或特征空間。

例如，信息的保存可以用方差來衡量，因此$S$的方差應該反映$X$的方差。這也可以解釋為消除數據中的冗余。考慮下面的例子：溫度被測量，一次是攝氏度（這將是隨機變量的第一個條目$X_1$），一次是華氏度$\left(X_2\right)$。顯然，這些信息可以簡化為一個變量，例如$S_1=X_1$，甚至不損失任何信息。

矩陣$\mathbf{X}?{\mathbb{R}}^{p\times n}$中的$(i,j)$條目$x_{ij}$表示隨機變量$X_i$在觀測$j$的實現，稱為觀測矩陣。其列是$p$維隨機變量$X$的實現。

期望值用$\mathbb{E}(X)=\mu \in {\mathbb{R}}^p$來表示。由于我們處理的是一個多變量隨機變量，方差現在由協方差矩陣（也稱為方差-協方差矩陣）表示，其定義為

$$\Sigma =\mathrm{Var}(X)=\mathbb{E}\left((X?\mu )(X?\mu {)}^{?}\right)\in {\mathbb{R}}^{p\times p}.\text{\hspace{1em}(1.1)}$$

其$(i,j)$項是$i^{\text{th?}}$和$j^{\text{th?}}$隨機變量之間的協方差。協方差矩陣是對稱的，即$\Sigma ={\Sigma }^{?}$，并且是正半無限的${}^1$，即$\Sigma \ge 0?$ $x^{?}\Sigma x\ge 0?x$。

${}^1$ in contrast to positive definite, i.e. $x^{?}\Sigma x>0?x=0$ and $x^{?}\Sigma x=0?x=0$

例1.1. 考慮兩個常數隨機變量$X_1\equiv \text{const}$ ，$X_2\equiv \text{const}$。這意味著我們有一個協方差矩陣$\Sigma =0$的二維隨機變量。這個例子表明，$\Sigma$不一定是正定的。

由于隨機變量的實際分布通常是未知的，期望值通常是在$n$觀測值的基礎上估計的。

$$\frac{1}{n}\sum _{j=1}^n?\begin{array}{c}{x}_{1j}\\ ?\\ x_{pj}\end{array}?=\frac{1}{n}\mathbf{X}{1}_n:=\hat{\mu }\text{\hspace{1em}(1.2)}$$
利用這個估計的期望值和克羅內克積（Kronecker product）${}^2$$?$，
可以計算出居中的觀測矩陣$\mathbf{X}$，如下所示。

$$\overline{\mathbf{X}}=\mathbf{X}?\hat{\mu }?\left[\begin{array}{ccc}1& ?& 1\end{array}\right]\text{\hspace{1em}(1.3)}$$

${}^2$ The Kronecker product of two matrices $\mathbf{A}?\mathbf{B}$ with A={aij}∈Rk×l,B={bij}∈Rm×n\mathbf{A}=\left\{a_{i j}\right\} \in \mathbb{R}^{k \times l}, \mathbf{B}=\left\{b_{i j}\right\} \in \mathbb{R}^{m \times n}A={aij?}∈Rk×l,B={bij?}∈Rm×n is a $(km\times ln)$-matrix $\mathbf{C}$, such that $\mathbf{C}=?\begin{array}{ccc}{a}_{11}\mathbf{B}& ?& a_{1l}\mathbf{B}\\ ?& ?& ?\\ a_{k1}\mathbf{B}& ?& a_{kl}\mathbf{B}\end{array}?$

有了居中的觀察矩陣$\overline{\mathrm{X}}$，協方差矩陣$\Sigma =\mathrm{Cov}(X)$可以通過以下方式估計

$$\hat{\Sigma }=\frac{1}{n?1}\overline{\mathbf{X}}{\overline{\mathbf{X}}}^{?}.$$

由于在實際應用中$n$趨向于大，也可以使用近似值 $\frac{1}{n}\overline{\mathbf{X}}{\overline{\mathbf{X}}}^{?}$.

1.2 關于隨機變量的初步說明

我們想回顧一下概率論中的一些基本定義和符號，在本講義中我們偶爾會用到。為了我們的目的，考慮連續或離散的實數多維隨機變量就足夠了。更正式地說，讓$X\Omega \to {\mathbb{R}}^p$是一個隨機變量，并將其相對于通常勒貝格測度的密度表示為$p_X(x)$。我們將使用非常草率但非常方便的符號$X\in {\mathbb{R}}^p$來表示隨機變量$X$在${\mathbb{R}}^p$中取值。

對于（絕對）連續隨機變量，密度是一個從${\mathbb{R}}^p$到$\mathbb{R}$的連續函數。如果是離散隨機變量，其取值為$x_i$，概率為$p_i$，我們采用狄拉克δ函數${}^3$來描述其密度，即

$$p_X(x)=\sum _i{p}_i\delta \left(x?x_i\right).$$

${}^3$ The Dirac-Delta-Function fulfills the condition that $\delta (t)=0$ for $t=0$ and ${\int }_{{\mathbb{R}}^p}\delta (t)\mathrm{d}t=1_p$. i.e. $\delta$ has an infinitely high peak at $0.$

所以，如果$\mathcal{A}?{\mathbb{R}}^p$，則$X$在$\mathcal{A}$中取值的概率為

$$\mathrm{Pr}(X\in \mathcal{A})={\int }_{\mathcal{A}}{p}_X(x)\mathrm{d}x.$$

注意，在離散隨機變量的情況下，這個表達式只是

Pr?(X∈A)=∫A∑ipiδ(x?xi)dx=∑{i∣xi∈A}pi.\operatorname{Pr}(X \in \mathcal{A})=\int_{\mathcal{A}} \sum_{i} p_{i} \delta\left(x-x_{i}\right) \mathrmozvdkddzhkzd x=\sum_{\left\{i \mid x_{i} \in \mathcal{A}\right\}} p_{i} . Pr(X∈A)=∫A?i∑?pi?δ(x?xi?)dx={i∣xi?∈A}∑?pi?.
通過知道兩個隨機變量$X\in {\mathbb{R}}^p$和$Y\in {\mathbb{R}}^k$的聯合密度$p_{X,Y}(x,y)$，就可以分別推導出$X$和$Y$的個體密度。這些被稱為邊緣密度（marginal densities），它們由以下公式給出

$$\begin{array}{rl}& p_X(x)={\int }_{{\mathbb{R}}^k}{p}_{X,Y}(x,y)\mathrm{d}y,\\ & p_Y(y)={\int }_{{\mathbb{R}}^p}{p}_{X,Y}(x,y)\mathrm{d}x.\end{array}$$
如果聯合密度函數是給定的，對兩個變量之一的某個實現的了解，例如$X$，可以推斷出關于$Y$的分布信息。由此產生的密度函數被稱為條件密度函數，如果$X$的實現是$x\in {\mathbb{R}}^p$，它由以下公式給出

$$p_{Y\mid X=x}(y)=\frac{p_{X,Y}(x,y)}{p_X(x)}.$$

${}^4$ 從形式上看，這個集合必須是可測的，相對于博雷爾$\sigma$-代數而言，但如果你不知道什么是可測的，你能想象的所有子集都滿足這個條件。有兩個量在描述隨機變量$X\in {\mathbb{R}}^p$的統計屬性時起著突出的作用。它們是第一和第二時刻，也被稱為期望值

$$\mathbb{E}[X]={\int }_{{\mathbb{R}}^p}x{p}_X(x)\mathrm{d}x=:\mu$$

和方差/協方差

$$\mathrm{Var}[X]={\int }_{{\mathbb{R}}^p}(x?\mu )(x?\mu {)}^{?}{p}_X(x)\mathrm{d}x.$$

注意，$\mu \in {\mathbb{R}}^p$和$\mathrm{Var}[X]$是${\mathbb{R}}^{p\times p}$的半正定矩陣。

Exercise：證明方差/協方差矩陣是正半定的

	$x_1$	$x_2$	$x_3$	$x_4$	$p_y(Y)\downarrow$
$y_1$	$\frac{1}{8}$	$\frac{1}{16}$	$\frac{1}{32}$	$\frac{1}{32}$	$\frac{1}{4}$
$y_2$	$\frac{1}{16}$	$\frac{1}{8}$	$\frac{1}{32}$	$\frac{1}{32}$	$\frac{1}{4}$
$y_3$	$\frac{1}{16}$	$\frac{1}{16}$	$\frac{1}{16}$	$\frac{1}{16}$	$\frac{1}{4}$
$y_4$	$\frac{1}{4}$	0	0	0	$\frac{1}{4}$
$p_x(X)$	$\frac{1}{2}$	$\frac{1}{4}$	$\frac{1}{8}$	$\frac{1}{8}$	1

表1.1: 該表顯示了一個示例性的聯合概率分布。

例1.2. 表1.1中給出了一個二維離散隨機變量的聯合概率分布的例子。邊際密度分別用$p_Y（y）$和$p_X（x）$表示。作為一個練習，請計算在$Y=y_2$的情況下$X$的條件密度。

Answer: $p_{X\mid Y=y_2}(x)={\sum }_i{p}_i\delta \left(x?x_i\right)$, with $p_1=1/4,p_2=1/2,p_3=1/8,p_4=1/8.$

總結

以上是生活随笔為你收集整理的机器学习与高维信息检索 - Note 1 - 信息检索、机器学习与随机变量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。