最小二乘法和正則化

高斯于1823年在誤差e1 ,… , en獨立同分布的假定下,證明了最小二乘方法的一個最優性質: 在所有無偏的線性估計類中,最小二乘方法是其中方差最小的！

使用最小二乘法擬和曲線

對于數據$(x_i,y_i)(i=1,2,3...,m)$

擬合出函數$h(x)$

有誤差，即殘差：$r_i=h(x_i)?y_i$

此時L2范數(殘差平方和)最小時，h(x) 和 y 相似度最高，更擬合

一般的H(x)為n次的多項式，$H(x)=w_0+w_{1}x+w_2{x}^2+...w_n{x}^n$

$w(w_0,w_1,w_2,...,w_n)$為參數

最小二乘法就是要找到一組 $w(w_0,w_1,w_2,...,w_n)$ 使得${\sum }_{i=1}^n(h(x_i)?y_i{)}^2$ (殘差平方和) 最小

即，求 $min{\sum }_{i=1}^n(h(x_i)?y_i{)}^2$

---

舉例：我們用目標函數$y=sin2\pi x$, 加上一個正太分布的噪音干擾，用多項式去擬合【例1.1 11頁】

import numpy as np import scipy as sp from scipy.optimize import leastsq import matplotlib.pyplot as plt %matplotlib inline

ps: numpy.poly1d([1,2,3]) 生成 $1x^2+2x^1+3x^0$

# 目標函數 def real_func(x):return np.sin(2*np.pi*x)# 多項式 def fit_func(p, x):f = np.poly1d(p)return f(x)# 殘差 def residuals_func(p, x, y): #p應該是初始參數，是多項式前面的系數a，b，c等ret = fit_func(p, x) - yreturn ret # 十個點 x = np.linspace(0, 1, 10) x_points = np.linspace(0, 1, 1000) # 加上正態分布噪音的目標函數的值 y_ = real_func(x) y = [np.random.normal(0, 0.1)+y1 for y1 in y_]def fitting(M=0):"""M 為 多項式的次數""" # 隨機初始化多項式參數p_init = np.random.rand(M+1)# 最小二乘法p_lsq = leastsq(residuals_func, p_init, args=(x, y))print('Fitting Parameters:', p_lsq[0])# 可視化plt.plot(x_points, real_func(x_points), label='real')plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')plt.plot(x, y, 'bo', label='noise')plt.legend()return p_lsq # M=0 p_lsq_0 = fitting(M=0) Fitting Parameters: [0.01191424]

# M=1 p_lsq_1 = fitting(M=1) Fitting Parameters: [-1.33036473 0.6770966 ]

# M=3 p_lsq_3 = fitting(M=3) Fitting Parameters: [ 21.14354912 -31.85091 10.66661731 -0.03324716]

# M=9 p_lsq_9 = fitting(M=9) Fitting Parameters: [ 7.45555674e+03 -3.31796363e+04 6.14569910e+04 -6.14712518e+043.59846685e+04 -1.24263822e+04 2.40975039e+03 -2.44841906e+021.50820818e+01 4.16353905e-02]

當M=9時，多項式曲線通過了每個數據點，但是造成了過擬合

正則化

結果顯示過擬合， 引入正則化項(regularizer)，降低過擬合

$Q(x)={\sum }_{i=1}^n(h(x_i)?y_i{)}^2+\lambda ||w|{|}^2$。

回歸問題中，損失函數是平方損失，正則化可以是參數向量的L2范數,也可以是L1范數。

• L1: regularization*abs§

• L2: 0.5 * regularization * np.square§

regularization = 0.0001def residuals_func_regularization(p, x, y):ret = residuals_func(p, x, y)ret = np.append(ret, np.sqrt(0.5*regularization*np.square(p))) # L2范數作為正則化項return ret # 最小二乘法,加正則化項 p_init = np.random.rand(9+1) p_lsq_regularization = leastsq(residuals_func_regularization, p_init, args=(x, y)) plt.plot(x_points, real_func(x_points), label='real') plt.plot(x_points, fit_func(p_lsq_9[0], x_points), label='fitted curve') plt.plot(x_points, fit_func(p_lsq_regularization[0], x_points), label='regularization') plt.plot(x, y, 'bo', label='noise') plt.legend() <matplotlib.legend.Legend at 0x22e88ece9b0>

原文代碼作者：https://github.com/wzyonggege/statistical-learning-method

中文注釋制作：機器學習初學者

總結

以上是生活随笔為你收集整理的最小二乘法和正则化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。