特征縮放

引子

在前一章節中，對房屋售價進行預測時，我們的特征僅有房屋面積一項，但是，在實際生活中，臥室數目也一定程度上影響了房屋售價。下面，我們有這樣一組訓練樣本：

注意到，房屋面積及臥室數量兩個特征在數值上差異巨大，如果直接將該樣本送入訓練，則代價函數的輪廓會是“扁長的”，在找到最優解前，梯度下降的過程不僅是曲折的，也是非常耗時的：

縮放

該問題的出現是因為我們沒有同等程度的看待各個特征，即我們沒有將各個特征量化到統一的區間。量化的方式有如下兩種：

Standardization

Standardization 又稱為 Z-score normalization，量化后的特征將服從標準正態分布：
$$z=\frac{x_i?\mu }{\delta }$$

其中， $\mu$ ， $\delta$ 分別為對應特征 $x_i$ 的均值和標準差。量化后的特征將分布在 [?1,1] 區間。

Min-Max Scaling

Min-Max Scaling 又稱為 normalization，特征量化的公式為：
$$z=\frac{x_i?min(x_i)}{max(x_i)?min(x_i)}$$

量化后的特征將分布在 [0,1] 區間。

大多數機器學習算法中，會選擇 Standardization 來進行特征縮放，但是，Min-Max Scaling 也并非會被棄置一地。在數字圖像處理中，像素強度通常就會被量化到 [0,1] 區間，在一般的神經網絡算法中，也會要求特征被量化到 [0,1] 區間。

進行了特征縮放以后，代價函數的輪廓會是“偏圓”的，梯度下降過程更加筆直，性能因此也得到提升：

代碼實現

在 regression.py 中，我們添加了 Standardization 和 Normalization 的實現：

# linear_regression/regression.py# ... def standardize(X):"""特征標準化處理Args:X: 樣本集Returns:標準后的樣本集"""m, n = X.shape# 歸一化每一個特征for j in range(n):features = X[:,j]meanVal = features.mean(axis=0)std = features.std(axis=0)if std != 0:X[:, j] = (features-meanVal)/stdelseX[:, j] = 0return Xdef normalize(X):"""特征歸一化處理Args:X: 樣本集Returns:歸一化后的樣本集"""m, n = X.shape# 歸一化每一個特征for j in range(n):features = X[:,j]minVal = features.min(axis=0)maxVal = features.max(axis=0)diff = maxVal - minValif diff != 0:X[:,j] = (features-minVal)/diffelse:X[:,j] = 0return X # ...

參考文獻

• About Feature Scaling and Normalization
• Wiki–Feature scaling

總結

以上是生活随笔為你收集整理的1.5 特征缩放-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。