統計學習方法的三要素

方法=模型+策略+算法

模型

• 定義1：決策函數的集合
  • 決策函數的集合：$\mathcal{F}=\{f\mid Y=f(X)\}$??
    • $X$和$Y$是定義在輸入空間和輸出空間上的變量，$\mathcal{F}$?通常是由一個參數向量決定的函數族
  • 參數空間：$\mathcal{F}=\left\{f\mid Y=f_{\theta }(X),\theta \in {\mathbf{R}}^n\right\}$?
    • 參數向量$\theta$取決于n維歐式空間${\mathbf{R}}^n$，稱為參數空間
• 定義2：條件概率的集合
  • 條件概率的集合：$\mathcal{F}=\{P\mid P(Y\mid X)\}$?
    • $X$和$Y$是定義在輸入空間和輸出空間上的變量，$\mathcal{F}$通常是由一個參數向量決定的條件概率分布族
  • 參數空間：$\mathcal{F}=\left\{P\mid P_{\theta }(Y\mid X),\theta \in {\mathbf{R}}^n\right\}$
    • 參數向量$\theta$取決于n維歐式空間${\mathbf{R}}^n$，稱為參數空間

策略

相關概念

• 損失函數：一次預測的好壞
• 風險函數：平均意義下模型預測的好壞

損失函數分類

• 0-1損失函數 0-1 loss function： $L(Y,f(X))=\{\begin{array}{ll}1,& Y=f(X)\\ 0,& Y=f(X)\end{array}$?
• 平方損失函數 quadratic loss function $L(Y,f(X))=(Y?f(X){)}^2$
• 絕對損失函數 absolute loss function $L(Y,f(X))=|Y?f(X)|$
• 對數損失函數 logarithmic loss function 或對數似然損失函數 loglikelihood loss function $L(Y,P(Y\mid X))=?\log P(Y\mid X)$

風險函數

? 損失函數的期望 $R_{\exp }(f)=E_P[L(Y,f(X))]={\int }_{\mathcal{X}\times \mathcal{Y}}L(y,f(x))P(x,y)\mathrm{d}x\mathrm{d}y$，這是理論上模型$f(x)$關于聯合分布$P(X,Y)$的平均意義下的損失，稱為風險函數（risk function ）或期望損失（expected loss）。由P(x,y)可以直接求出P(x|y),但不知道。

? 學習目標就是選擇期望風險最小的模型。

? 經驗風險：假設訓練數據集為$T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),?,\left(x_N,y_N\right)\right\}$，則模型$f(x)$關于訓練數據集的平均損失稱為經驗風險或經驗損失，記作$R_{\text{emp?}}(f)=\frac{1}{N}{\sum }_{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$。

經驗風險最小化和結構風險最小化

• 經驗風險最小化最優模型
  $$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)$$

• 當樣本容量很小時，經驗風險最小化學習的效果未必很好，會產生“過擬合over-fitting”

• 結構風險最小化 （structure risk minimization），為防止過擬合提出的策略，等價于正則化（regularization），加入正則化項（regularizer），或罰項（penalty term）：
  $$R_{\mathrm{s}\mathrm{r}\mathrm{m}}(f)=\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$
  $J(f)$為模型復雜度，是定義在假設空間$\mathcal{F}$上的泛函，復雜度表示了對復雜模型的懲罰。$\lambda \ge 0$?是系數，用以權衡經驗風險和模型復雜度。

• 則相應的結構風險最小化最優模型

• $$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L\left(y_i,f\left(x_i\right)\right)+\lambda J(f)$$

算法

• 算法是指學習模型的具體計算方法。
• 如果最優化問題有顯式的解析式，算法比較簡單，但通常解析式不存在，就需要數值計算的方法

總結

以上是生活随笔為你收集整理的统计学习方法的三要素的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。