文章目錄

• • 擬合算法簡介
  • 一個線性規劃的例子
  • 最小二乘法
  • 求解最小二乘法
  • 擬合檢驗
  • 總結

擬合算法簡介

與插值算法不同，擬合算法的目的是得到一條確定的曲線；而插值是根據已有的數據來獲得一系列新的“靠譜”的數據。

插值要求曲線必須全部經過樣本數據點，而擬合所得的結果曲線不一定要經過每一個樣本數據點，只要能夠通過誤差檢驗即可

一個線性規劃的例子

顯然，由圖中的數據可以得到，可以設置該擬合曲線為 $y=kx+b$，要估計 $k$ 和 $b$ 的值，可以使用高中所學知識——最小二乘法。

最小二乘法

設樣本點數據為 $(x_i,y_i)$，$i=1,2,?,n$，那么最小二乘法有如下兩種定義：

第一種定義：$\widehat{y_i}=k{x}_i+b$
其中：$$\widehat{k_i},\widehat{b_i}=ar{g}_{k,b}min(\sum _{i=1}^n|y_i?\widehat{y_i}|)$$表示表達式的參數為$k$和$b$，而 $\hat{k}$ 和 $\hat{b}$ 能夠使得表達式取得最小值。

第二種定義：$\widehat{y_i}=k{x}_i+b$
其中：$$\hat{k},\hat{b}=ar{g}_{k,b}min(\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2)$$表達的意義與第一種定義相同，只是表達式不同而已。

在平常的應用中，我們常常使用第二種定義。原因是第一種定義中含有絕對值，函數圖像有拐點，不易求導。由此可以引申出以下結論：
$?$ 不用奇數次原因
使用奇數次會有負數出現，那么誤差就會奇偶相抵
$?$ 不用偶數次原因
像4次這樣的次數太高，結果易受極端數據（比如當自變量很大時）的影響。

求解最小二乘法

令$L={\sum }_{i=1}^n(y_i?k{x}_i?b{)}^2$，現在要尋找能夠使 $L$ 最小的 $k$ 和 $b$ 的值：$$?\begin{array}{rl}& \frac{?L}{?k}=?2\sum _{i=1}^n{x}_i(y_i?k{x}_i?b)=0\\ & \frac{?L}{?b}=?2\sum _{i=1}^n(y_i?k{x}_i?b)=0\end{array}$$ $$??\begin{array}{rl}& \sum _{i=1}^n{x}_i{y}_i=k\sum _{i=1}^n{x}_i^2+b\sum _{i=1}^n{x}_i\\ & \sum _{i=1}^n{y}_i=k\sum _{i=1}^n{x}_i+bn\end{array}$$ $$??\begin{array}{rl}& n\sum _{i=1}^n{x}_i{y}_i=kn\sum _{i=1}^n{x}_i^2+bn\sum _{i=1}^n{x}_I\\ & \sum _{i=1}^n{y}_i\sum _{i=1}^n{x}_i=k\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i+bn\sum _{i=1}^n{x}_i\end{array}$$
因此：$$n\sum _{i=1}^n{x}_i{y}_i?\sum _{i=1}^n{y}_i\sum _{i=1}^n{x}_i=kn\sum _{i=1}^n{x}_i^2?k\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i$$ $$?\hat{k}=\frac{n{\sum }_{i=1}^n{x}_i{y}_i?{\sum }_{i=1}^n{y}_i{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2?{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$ $$?\hat{b}=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i?{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{n{\sum }_{i=1}^x{x}_i^2?{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$

擬合檢驗

在函數時線性函數（注意：這里的線性函數是指參數是線性的，而不是自變量是線性的，例如：$y=a{x}^2+b$同樣也是線性函數）時，可以使用擬合優度（可決系數）$R^2$ 來判斷擬合好壞

擬合優度的定義
$?$ 總體平方和 $$SST=\sum _{i=1}^n(y_i?\bar{y}{)}^2$$
$?$ 誤差平方和 $$SSE=\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2$$
$?$ 回歸平方和 $$SSR=\sum _{i=1}^n(\widehat{y_i}?\bar{y}{)}^2$$其中，$SST=SSE+SSR$
此時可以定義擬合優度 $R^2=\frac{SSR}{SST}=\frac{SST?SSE}{SSR}=1?\frac{SSE}{SST}$，$R^2$ 越接近于0，說明誤差越小，擬合度越好 。
下面證明 $SST=SSE+SSR$：$$\begin{gathered} \sum _{i=1}^n(y_i?\bar{y}{)}^2=\sum _{i=1}^n(y_i?\widehat{y_i}+\widehat{y_i}?\bar{y}{)}^2 \\ =\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2+\sum _{i=1}^n(\widehat{y_i}?\bar{y}{)}^2+2\sum _{i=1}^n(y_i?\widehat{y_i})(\widehat{y_i}?\bar{y}) \end{gathered}$$因此，只需證明：$$\sum _{i=1}^n(y_i?\widehat{y_i})(\widehat{y_i}?\bar{y})=0$$由一階導數條件：$$?\begin{array}{rl}& \frac{?L}{?k}=?2\sum _{i=1}^n{x}_i(y_i?k{x}_i?b)=0\\ & \frac{?L}{?b}=?2\sum _{i=1}^n(y_i?k{x}_i?b)=0\end{array}$$ $$??\begin{array}{rl}& \sum _{i=1}^n{x}_i(y_i?\widehat{y_i})=0\\ & \sum _{i=1}^n(y_i?\widehat{y_i})=0\end{array}$$因此，$$\begin{array}{rl}& \sum _{i=1}^n(y_i?\widehat{y_i})(\widehat{y_i}?\bar{y})\\ =& \sum _{i=1}^n\widehat{y_i}(y_i?\widehat{y_i})?\bar{y}\sum _{i=1}^n(y_i?\widehat{y_i})\\ =& \sum _{i=1}^n(k{x}_i+b)(y_i?\widehat{y_i})=0\end{array}$$（參數）線性函數可以使用 $R^2$ 來判斷擬合的好壞，其他非線性的函數直接看 $SSE$ 的大小即可。

總結

像擬合這類型的問題，最簡便的方法時使用 $Matlab$ 中的擬合工具箱來擬合。里面有許多內置的擬合函數類型，且能計算 $R^2$ 或者 $SSE$，通過輸入參數，確定擬合類型即可獲得擬合函數。

總結

以上是生活随笔為你收集整理的数学建模学习笔记（四）——拟合算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。