數(shù)學(xué)基礎(chǔ)：

數(shù)學(xué)基礎(chǔ)是貝葉斯決策論Bayesian DecisionTheory,和傳統(tǒng)統(tǒng)計(jì)學(xué)概率定義不同。

頻率學(xué)派認(rèn)為頻率是是自然屬性，客觀存在的。

貝葉斯學(xué)派，從觀察這出發(fā)，事物的客觀隨機(jī)性只是觀察者不知道結(jié)果，也就是觀察者的知識(shí)不完備，對(duì)于知情者而言，事物沒有隨機(jī)性，隨機(jī)性的根源不是來源于事物，而是來自于觀察者對(duì)事物的只是狀態(tài)。

從這個(gè)角度而言，貝葉斯學(xué)派是唯心主義，頻率學(xué)派是唯物主義。

貝葉斯決策論Bayesian DecisionTheory

貝葉斯決策是在某個(gè)先驗(yàn)分布下使得平均風(fēng)險(xiǎn)最小得決策。

參數(shù)估計(jì)

分為極大似然估計(jì)（Maximum Likelihood Estimate）和極大后驗(yàn)概率估計(jì)（Maximum a posteriori estimation）

極大似然估計(jì)（Maximum Likelihood Estimate），使所有得樣本發(fā)生得概率最大，這個(gè)不考慮先驗(yàn)概率得影響，屬于頻率派得做法.

$${\theta }^{?}=argma{x}_{\theta }\prod _{i=1}^{N}p(x_i|\theta )$$

極大后驗(yàn)概率估計(jì)（Maximum a posteriori estimation），為貝葉斯學(xué)派得做法，加入了后驗(yàn)概率概念，p($\theta$|X)為參數(shù)$\theta$在樣本X下得真實(shí)得出現(xiàn)概率，p($\theta$)為先驗(yàn)概率。

$${\theta }_{MAP}=argma{x}_{\theta }[lnp(\theta )+\prod _{i=1}^{N}p(x_i|\theta )]$$

可以看出極大后驗(yàn)概率多了一個(gè)lnp($\theta )$,也就是增加了先驗(yàn)。

樸素貝葉斯（Naive Bayes)

分為2個(gè)部分：樸素對(duì)應(yīng)著獨(dú)立性假設(shè)，每個(gè)樣本都認(rèn)為是相互獨(dú)立得，貝葉斯對(duì)應(yīng)著后驗(yàn)概率最大化。

貝葉斯估計(jì)在估計(jì)參數(shù)時(shí)使用了極大似然估計(jì)獲取先驗(yàn)概率，做決策時(shí)使用得時(shí)MAP估計(jì)。

算法描述如下：

簡(jiǎn)單理解（X—>Y): 通過訓(xùn)練集數(shù)據(jù)，先計(jì)算出Y得分布概率，這個(gè)就是計(jì)算先驗(yàn)概率，然后計(jì)算條件概率，也就是在已知分類Y得情況下為$X^{(j)}$的概率，就是X的某個(gè)屬性的概率，根據(jù)先驗(yàn)概率和條件概率，可以求出$x^{?}$的發(fā)生概率，在哪種分類y=$c_k$下的概率最大,$x^{?}$就是哪種分類。

以下是西瓜書的描述，參考一下：

我們需要求的是使之最大的y=$c_k$,也就是哪個(gè)分類使之最大：

分為2步：

使用ML估計(jì)導(dǎo)出模型的具體參數(shù)：先驗(yàn)概率，條件概率
使用MAP估計(jì)作為模型的決策，輸出使后驗(yàn)概率最大化的類別。

拉普拉斯平滑

當(dāng)$\lambda$為0時(shí)極大似然估計(jì)，$\lambda$為1為拉普拉斯平滑，K為x的第k個(gè)屬性可能的取值數(shù)目

# 核心數(shù)組，記錄第i類數(shù)據(jù)的個(gè)數(shù)，cat為categoryself._cat_counter = None# 定義計(jì)算先驗(yàn)概率的函數(shù)，lb為各個(gè)估計(jì)中的平滑項(xiàng)lamda# lb的默認(rèn)值為1，也就是默認(rèn)使用拉普拉斯平滑def get_prior_probability(self,lb =1):return [(_c_num + lb) / (len(self._y) + lb*len(self._cat_counter)) for _c_num in self._cat_counter]

總結(jié)

以上是生活随笔為你收集整理的机器学习：贝叶斯分类器，朴素贝叶斯，拉普拉斯平滑的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。