《機器學習：公式推導與代碼實踐》魯偉著讀書筆記。
線性判別分析（Linear Discriminant Analysis，LDA）是一種經典的線性分類方法，其基本思想是將數據投影到低維空間，使得同類數據盡可能接近，異類數據盡可能疏遠，所以線性判別分析也是一種監督降維算法。

LDA公式推導

線性判別分析的基本思想是將數據集投影到一條直線上，使得同類樣本的投影點盡可能接近，不同類樣本的投影點盡可能疏遠。按此原理訓練完成之后，將新樣本投影到該直線上，根據投影點的位置來確定新樣本點的類別。以二維變量為例，“+”表示正例，“-”表示反例。LDA的優化目標就是使投影后的類內距離小，類間距離大。

LDA二維圖片來源
下面對二分類LDA的基本原理和數學推導，給定數據集$D=\left\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\right\}$其中，$x_i$為樣本的n維特征向量，$y\in (0,1)$為樣本的類別。令$N_j$（j為類別,0或1）為第j類樣本的數量，$X_j$為第j類樣本的集合，${\mu }_j$為第j類樣本的均值向量，${\Sigma }_j$為第j類樣本的協方差矩陣。其計算公式為：
${\mu }_j$的表達式為：$${\mu }_j=\frac{1}{N_j}{\Sigma }_{x\in X_j}x$$${\Sigma }_j$的表達式為：$${\Sigma }_j={\Sigma }_{x\in X_j}(x?{\mu }_j)(x?{\mu }_j{)}^T$$由于是二分類模型，因此我們只需要將數據投影到一條直線上，假設投影直線為向量$\omega$，對于任意一個樣本$x$，他在直線上的投影為${\omega }^{T}x$。則投影之后，每類樣本的均值向量和協方差的計算如下：
投影之后每類樣本的均值向量：$$\frac{1}{N_j}{\Sigma }_{x\in X_j}{\omega }^{T}x={\omega }^T\frac{1}{N_j}{\Sigma }_{x\in X_j}x={\omega }^T{\mu }_j$$投影之后每類樣本的協方差矩陣：$${\Sigma }_{x\in X_j}({\omega }^{T}x?{\omega }^T{\mu }_j)({\omega }^{T}x?{\omega }^T{\mu }_j{)}^T={\omega }^T{\Sigma }_{x\in X_j}(x?{\mu }_j)(x?{\mu }_j{)}^T\omega ={\omega }^T{\Sigma }_j\omega$$LDA模型的優化目標是使同類樣本的投影點盡可能接近，我們可以使同類樣本的投影點的協方差盡可能小，即${\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega$；異類樣本的投影點盡可能疏遠，可以使類中心點之間的距離盡可能遠，即$||{\omega }^T{\mu }_0?{\omega }^T{\mu }_1|{|}_2^2$盡可能大。綜合考慮兩個優化目標的情況下，目標函數可以定義為：$$\text{arg?max?}J(\omega )=\frac{||{\omega }^T{\mu }_0?{\omega }^T{\mu }_1|{|}_2^2}{{\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega }=\frac{{\omega }^T({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T\omega }{{\omega }^T({\Sigma }_0+{\Sigma }_1)\omega }$$定義類內散度矩陣為$S_{\omega }={\Sigma }_0+{\Sigma }_1$，類間散度矩陣為$S_b=({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T$。則目標函數可以改寫為：$$\text{arg?max?}J(\omega )=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }$$為了對目標函數進行簡化，我們令${\omega }^T{S}_{\omega }\omega =1$，則可以將其視作目標函數的約束條件。具體如下：$$\text{arg?max?}F(\omega )={\omega }^T{S}_b\omega$$$$\text{s.t.?}{\omega }^T{S}_{\omega }\omega =1$$

拉格朗日函數問題

定義（拉格朗日函數）：對于優化問題：
$$\text{min?}f(u)$$$$\begin{gathered} \text{s.t.?}{g}_i(u)\le 0,i=1,2,3,...,m \\ {h}_i(u)=0,j=1,2,3,...,n \end{gathered}$$定義其拉格朗日函數便為：$$\mathcal{L}(\mathbf{u},\mathbf{\alpha },\mathbf{\beta }):=f(\mathbf{u})+\sum _{i=1}^m{\alpha }_i{g}_i(\mathbf{u})+\sum _{j=1}^n{\beta }_j{h}_j(\mathbf{u})$$其中，${\alpha }_i>0$。

利用拉格朗日函數優化目標函數

利用拉格朗日函數可得：$$\mathcal{L}(\omega )={\omega }^T{S}_b\omega ?\lambda ({\omega }^T{S}_{\omega }\omega ?1)$$取上式對$\omega$求導可得：$$\frac{d\mathcal{L}(\omega )}{d\omega }=2S_b\omega ?2\lambda S_{\omega }\omega =0$$即：$$2S_b\omega =2\lambda S_{\omega }\omega$$$$S_b\omega =\lambda S_{\omega }\omega$$如果$S_{\omega }$可逆，則：$$\lambda \omega =S_{\omega }^{?1}{S}_b\omega$$$\lambda$僅僅是一個參數，所以上式等于：$$\omega =\lambda S_{\omega }^{?1}{S}_b\omega$$考慮到$S_{\omega }$矩陣數值解的穩定性，如果矩陣不可逆，則我們可以對矩陣$S_{\omega }$進行奇異值分解，然后再對分解后的矩陣進行求逆操作，即可得到$S_{\omega }^{?1}$。$$S_{\omega }=U\Sigma V^{?1}$$由于對于二分類模型，$S_b\omega =({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T\omega$，可以看出$S_b\omega$和$({\mu }_0?{\mu }_1)$是平行的，所以：$$S_b\omega =k({\mu }_0?{\mu }_1)$$所以，$\omega$可以表示為：$$\omega =\lambda S_{\omega }^{?1}k({\mu }_0?{\mu }_1)$$去除參數可得：$$\omega =S_{\omega }^{?1}({\mu }_0?{\mu }_1)$$我們只需要求出原始數據集二分類樣本的均值和方差就可以確定最佳的投影方向。

LDA算法的具體流程

對訓練數據集根據組別進行分組；

分別計算每組樣本的均值和協方差；

計算類內散度矩陣$S_{\omega }={\Sigma }_0+{\Sigma }_1$；

計算兩類樣本的均值差$({\mu }_0?{\mu }_1)$;

求$S_{\omega }$的逆矩陣$S_{\omega }^{?1}$，若矩陣不可逆，則可用奇異值分解的方式求解；

根據$S_{\omega }^{?1}({\mu }_0?{\mu }_1)$得到$\omega$;

最后計算投影后的數據點$Y=\omega X$。

對數幾率回歸的NumPy手撕代碼

Numpy LDA實現

import numpy as npclass LDA():def __init__(self):# 初始化權重矩陣self.w = None# 計算協方差矩陣def calc_cov(self, X, Y=None):m = X.shape[0]# 數據標準化X = (X - np.mean(X, axis=0))/np.std(X, axis=0)Y = X if Y == None else (Y - np.mean(Y, axis=0))/np.std(Y, axis=0)return 1 / m * np.matmul(X.T, Y)# 對數據進行投影def project(self, X, y):self.fit(X, y)X_projection = X.dot(self.w)return X_projection# LDA擬合過程def fit(self, X, y):# 按類分組X0 = X[y == 0]X1 = X[y == 1]# 分別計算兩類數據自變量的協方差矩陣sigma0 = self.calc_cov(X0)sigma1 = self.calc_cov(X1)# 計算類內散度矩陣Sw = sigma0 + sigma1# 分別計算兩類數據自變量的均值和差u0, u1 = np.mean(X0, axis=0), np.mean(X1, axis=0)mean_diff = np.atleast_1d(u0 - u1)# 對類內散度矩陣進行奇異值分解U, S, V = np.linalg.svd(Sw)# 計算類內散度矩陣的逆Sw_ = np.dot(np.dot(V.T, np.linalg.pinv(np.diag(S))), U.T)# 計算wself.w = Sw_.dot(mean_diff)# LDA分類預測def predict(self, X):y_pred = []for sample in X:h = sample.dot(self.w)y = 1 * (h < 0)y_pred.append(y)return y_pred

LDA算法的數據測試：

from sklearn import datasets import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score#導入數據集 data = datasets.load_iris() #數據與標簽 X = data.data y = data.target #僅取標簽為0，1的數據 X = X[y != 2] y = y[y != 2] #劃分數據集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=41) #創建模型 lda = LDA() #LDA模型擬合 lda.fit(X_train, y_train) #預測 y_pred = lda.predict(X_test) #計算準確度 accuracy = accuracy_score(y_test, y_pred) print(accuracy)

accuracy：0.85

總結

以上是生活随笔為你收集整理的机器学习——线性判别分析原理及python代码实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。