回歸學習（Regression Learning），又稱為回歸分析（Regression Analysis），是一種近似方法，從未知概率分布的隨機樣本中獲得目標函數。

一、基本原理

變量之間的相互關系可以分為確定性和非確定性兩大類，前者存在明顯的函數關系，如線性函數。后者的變量之間存在關系但不完全確定，在某種隨機干擾下產生統計關系們無法獲得精確的數學函數關系。對于存在統計關系的變量，通過大量試驗獲取相關統計數據，并構造目標函數并逼近該關系，即回歸學習。

令為s（s是正整數）維歐氏空間，對于隨機變量，回歸學習研究的是x的函數值對y的依賴性，即尋找一個函數，使得f(x)在極小化預測平方的期望或L2風險的前提下，能夠較好的逼近y，函數f(x)稱為回歸函數。

由于，

令為上的任意一個可測函數，用v表示x的方向分布可知：

根據L2風險極小化可知，回歸函數是最好的預測函數，即

當且僅當

極小化時，函數f為回歸函數較好的預測函數。

在實際的應用中，樣本分布往往未知，回歸函數通常也未知。但是，樣本可以根據同一分布采樣，此時回歸學習轉化為所謂的回歸統計問題。

令

為XxY上獨立分布的樣本點集合，回歸估計的目標是構造回歸函數的一個估計子，使得L2誤差最小，即

最小化。

二、回歸類型

2.1 參數回歸

如果隨機變量間的相關函數類型已知，但是相關參數未知，根據樣本值估計這些參數的過程稱之為參數回歸。線性和非線性回歸都是典型的參數回歸。如：

2.2 非參數回歸

在實際應用中，很多隨機變量之間的關系難以用確定的相關函數類型進行描述，在引入大量參數的情況下仍然不能減少估計誤差，這時可以采用非參數回歸模型。非參數回歸模型對回歸函數的形式沒有特別的要求。對（x,y）的分布沒有嚴格的規定，而是根據數據本身確定模型結構。

2.3 半參數回歸

在有些情況下，使用使用線性回歸模型擬合數據的效果較差，如果用非參數回歸模型又會失去太多信息，于是就出現了參數部分和非參數部分相結合的半參數回歸模型：

式中，x為自變量，β為待估計參數，g（x,β）為表達式已知的函數，u（t）為未知函數，?ε 為隨機誤差。? ??

三、算法優化

3.1 線性回歸模型

3.2 多項式回歸模型

3.3 主成分回歸模型

3.4 自回歸模型

3.5 核回歸模型

四、求解回歸模型的方法

4.1 最小二乘法

4.2 修正的Gauss-Newton法

4.3 有理插值法

未完待續。。。

總結

以上是生活随笔為你收集整理的【Machine Learning】回归学习与示例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。