第一篇 監(jiān)督學習

第一章 統(tǒng)計學習及監(jiān)督學習概論

1.1 統(tǒng)計學習

統(tǒng)計學習是關(guān)于計算機基于數(shù)據(jù)構(gòu)建概率統(tǒng)計模型并運用模型對數(shù)據(jù)進行預(yù)測與分析的一門學科，也稱統(tǒng)計機器學習，也就是我們俗稱的機器學習。

統(tǒng)計學習的特點：

1. 以計算機及網(wǎng)絡(luò)為平臺
2. 以數(shù)據(jù)為研究對象，是數(shù)據(jù)驅(qū)動的學科
3. 以對數(shù)據(jù)進行預(yù)測與分析為目的
4. 以方法為中心，構(gòu)建模型并應(yīng)用模型進行預(yù)測與分析
5. 是概率論、統(tǒng)計學、信息論、計算理論、最優(yōu)化理論及計算機科學等多個領(lǐng)域的交叉學科

定義：

如果一個系統(tǒng)能夠通過執(zhí)行某個過程改進它的性能，這就是學習 - 赫爾伯特·西蒙

方法：

從給定的、有限的、用于學習的訓練數(shù)據(jù)集合出發(fā)，假設(shè)數(shù)據(jù)是獨立同分布產(chǎn)生的；并且假設(shè)要學習的模型屬于某個函數(shù)的集合，稱為假設(shè)空間；應(yīng)用某個評價準則，從假設(shè)空間中選取一個最優(yōu)模型，使它對已知的訓練數(shù)據(jù)及未知的測試數(shù)據(jù)在給定的評價準則下有最優(yōu)的預(yù)測；最優(yōu)模型的選取由算法實現(xiàn)。

三要素：

模型、策略和算法。

實現(xiàn)步驟：

1. 得到一個有限的訓練數(shù)據(jù)集合；
2. 確定包含所有可能的模型的假設(shè)空間，即學習模型的集合；
3. 確定模型選擇的準則，即學習的策略；
4. 實現(xiàn)求解最優(yōu)模型的算法，即學習的算法；
5. 通過學習方法選擇最優(yōu)模型；
6. 利用學習的最優(yōu)模型對新數(shù)據(jù)進行預(yù)測或分析。

統(tǒng)計學習的重要性的體現(xiàn)：

1. 統(tǒng)計學習方法是處理海量數(shù)據(jù)的有效方法；
2. 統(tǒng)計學習是計算機智能化的有效手段；
3. 統(tǒng)計學習是計算機科學發(fā)展的一個重要組成部分。

1.2 統(tǒng)計學習的分類

1.2.1 基本分類

1. 監(jiān)督學習：從標注數(shù)據(jù)中學習預(yù)測模型的機器學習問題

   1. 輸入空間、特征空間與輸出空間

      1. 輸入與輸出所有可能的取值的集合分別稱為輸入空間與輸出空間

      2. 每個具體的輸入是一個實例，通常由特征向量表示，所有特征向量存在的空間稱為特征空間

      3. 輸入變量習慣寫作X，輸出變量習慣寫作Y，其取值分別寫作x和y

      4. 輸入實例x的特征向量記作：

         x=(x(1),x2,x(i),...x(n))x=(x^{(1)},x^{2},x^{(i)},...x^{(n)}) x=(x(1),x2,x(i),...x(n))

      5. 監(jiān)督學習從訓練數(shù)據(jù)集合中學習模型，對測試數(shù)據(jù)進行預(yù)測。訓練數(shù)據(jù)由輸入與輸出對組成，訓練集通常表示為：

         T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x1,y1),(x2,y2),...,(xN,yN)\} T={(x1,y1),(x2,y2),...,(xN,yN)}

      6. 測試數(shù)據(jù)也由輸入與輸出對組成

   2. 假設(shè)空間

      1. 監(jiān)督學習的目的在于學習一個由輸入到輸出的映射，這一應(yīng)設(shè)有模型來表示
      2. 模型屬于由輸入空間到輸出空間的映射的集合，這個集合就是假設(shè)空間

2. 無監(jiān)督學習：從無標注數(shù)據(jù)中學習預(yù)測模型的機器學習問題

   1. 無監(jiān)督學習的輸入空間等與監(jiān)督學習相似，不再贅述

3. 強化學習：智能系統(tǒng)在與環(huán)境的連續(xù)互動中，學習最優(yōu)行為策略的機器學習問題

   1. 假設(shè)智能系統(tǒng)與環(huán)境的互動基于馬爾可夫決策過程，智能系統(tǒng)能觀測到的是與環(huán)境互動得到的數(shù)據(jù)序列。強化學習的本質(zhì)是學習最優(yōu)的序貫決策。
   2. 強化學習的馬爾可夫決策過程是狀態(tài)、獎勵、動作序列上的隨機過程，由五元組（S,A,P,r,γ）組成。
      1. S是有限狀態(tài)的集合
      2. A是有限動作的集合
      3. P是狀態(tài)轉(zhuǎn)移概率函數(shù)
      4. r是獎勵函數(shù)
      5. γ是衰減函數(shù)

4. 半監(jiān)督學習與主動學習

   1. 半監(jiān)督學習是指利用標注數(shù)據(jù)和未標注數(shù)據(jù)學習預(yù)測模型的機器學習問題，通常有少量標注數(shù)據(jù)大量未標注數(shù)據(jù)。
   2. 主動學習是指機器不斷主動給出實例讓教師進行標注，然后利用標注數(shù)據(jù)學習預(yù)測模型的機器學習問題。

1.2.2 按模型分類

總結(jié)

以上是生活随笔為你收集整理的统计学习方法第二版知识点合集 - 自用笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。