文章目錄

• 一、 貝葉斯分類器分類的流程
• 二、 拉普拉斯修正
• 三、 貝葉斯分類器示例2

參考博客 :

• 【數據挖掘】貝葉斯分類 ( 貝葉斯分類器 | 貝葉斯推斷 | 逆向概率 | 貝葉斯公式 | 貝葉斯公式推導 | 使用貝葉斯公式求逆向概率 )
• 【數據挖掘】貝葉斯公式應用 拼寫糾正示例分析 ( 先驗概率 | 似然概率 | 后驗概率 )
• 【數據挖掘】貝葉斯公式在垃圾郵件過濾中的應用 ( 先驗概率 | 似然概率 | 后驗概率 )
• 【數據挖掘】樸素貝葉斯分類器 ( 多屬性概率計算 | 樸素貝葉斯分類案例分析 )
• 【數據挖掘】拉普拉斯修正 ( 判別模型 | 概率模型 | 貝葉斯分類 | 拉普拉斯修正 | 樸素貝葉斯分類應用場景 | 樸素貝葉斯優缺點 )
• 【數據挖掘】貝葉斯信念網絡 ( 馬爾科夫假設 | 結構 | 有向無環圖 | 參數 | 條件概率表 | 案例分析 )

一、 貝葉斯分類器分類的流程

---

已知條件 :

已知樣本 : 已知若干個樣本

未知樣本 : 給定 $1$ 個未知樣本 , 其有 $4$ 個屬性組成向量 $\mathrm{X}$ , 樣本的分類有兩種 , $\mathrm{Y}$ 和 $\mathrm{N}$ ; ( Yes / No )

分類步驟 :

計算兩個概率 , 即

① 樣本取值為 $\mathrm{X}$ 向量時 , 分類為 $\mathrm{Y}$ 的概率 , 公式為 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ 含義是 : 樣本分類 $\mathrm{Y}$ 的概率 $\mathrm{P}(\mathrm{Y})$ , 乘以 樣本分類為 $\mathrm{Y}$ 前提下樣本取值 $\mathrm{X}$ 時的概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{Y})$ 共同發生的概率 ;

② 樣本取值為 $\mathrm{X}$ 向量時 , 分類為 $\mathrm{N}$ 的概率 , 公式為 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 其中 $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ 含義是 : 樣本分類為 $\mathrm{N}$ 的概率 $\mathrm{P}(\mathrm{N})$ , 乘以 樣本取值 $\mathrm{N}$ 時的概率 $\mathrm{P}(\mathrm{X}|\mathrm{N})$ , 是 $\mathrm{P}(\mathrm{X}\mathrm{N})$ 共同發生的概率 ;

上述兩個概率 , 哪個概率高 , 就將該樣本分為哪個分類 ;

先驗概率 : $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ ;

后驗概率 : $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})$ ;

公式中每個元素的含義參考 【數據挖掘】貝葉斯分類 ( 貝葉斯分類器 | 貝葉斯推斷 | 逆向概率 | 貝葉斯公式 | 貝葉斯公式推導 | 使用貝葉斯公式求逆向概率 )

上述兩個公式 $\mathrm{P}(\mathrm{Y}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})}{\mathrm{P}(\mathrm{X})}$ 和 $\mathrm{P}(\mathrm{N}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})}{\mathrm{P}(\mathrm{X})}$ , 分母都是 $\mathrm{P}(\mathrm{X})$ , 只比較分子即可 , 其中先驗概率 $\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{N})$ 很容易求得 , 重點是求兩個后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})\mathrm{P}(\mathrm{Y})$ , $\mathrm{P}(\mathrm{X}|\mathrm{N})\mathrm{P}(\mathrm{N})$ ;

后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 求法 : 針對 $\mathrm{X}$ 向量中 $4$ 個分量屬性的取值 , 當樣品類型是 $\mathrm{Y}$ 時 , 分量 $1$ 取值為該分量屬性時的概率 , 同理計算出 $4$ 個分量屬性對應的 $4$ 個概率 , 最后將 四個概率相乘 ;

后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 再乘以先驗概率 $\mathrm{P}(\mathrm{Y})$ , 就是最終的 未知樣本分類為 $\mathrm{Y}$ 類型的概率 ;

最終對比樣本 , ① 未知樣本分類為 $\mathrm{Y}$ 類型的概率 , ② 未知樣本分類為 $\mathrm{N}$ 類型的概率 , 哪個概率大 , 就分類為哪個類型 ;

二、 拉普拉斯修正

---

在計算后驗概率 $\mathrm{P}(\mathrm{X}|\mathrm{Y})$ 時 , 需要計算出 當樣品類型是 $\mathrm{Y}$ 時 , $\mathrm{X}$ 向量的 分量 $1$ 取值為該分量屬性時的概率 , 同理計算出 $4$ 個分量屬性對應的 $4$ 個概率 , 最后將 四個概率相乘 ;

如果上述 $4$ 個相乘的概率其中有一個是 $0$ , 那么最終結果肯定就是 $0$ , 這里需要避免這種情況 , 引入拉普拉斯修正 ;

直接上栗子 , 不扯公式 ;

如果計算時 , $9$ 個樣本是購買商品的 , 但年齡都大于 $30$ , 計算過程如下 ;

$\mathrm{P}(年齡小于30|\mathrm{Y})=\frac{0}{9}$

拉普拉斯修正就是分子加 $1$ , 分母加上樣本類型個數 $2$ ; ( 樣本有兩個類型 , $\mathrm{Y}$ 購買商品 , $\mathrm{N}$ 不購買商品 ) ;

$\mathrm{P}(年齡小于30|\mathrm{Y})=\frac{0+1}{9+2}=\frac{1}{11}$

注意是所有的分量的概率都要進行拉普拉斯修正 , 不能只修正這一個 ;

具體的詳細的公式以及理論查看 【數據挖掘】拉普拉斯修正 ( 判別模型 | 概率模型 | 貝葉斯分類 | 拉普拉斯修正 | 樸素貝葉斯分類應用場景 | 樸素貝葉斯優缺點 )

三、 貝葉斯分類器示例2

---

分類需求 : 根據 年齡 , 收入水平 , 級別 , 部門 , 人數 , 預測 " 年齡 $31..35$, 收入 $41\mathrm{k}..45\mathrm{k}$ , $\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$ 部門 " 的員工級別 ;

年齡收入級別部門人數

$31..35$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{e}\mathrm{s}$	$30$
$26..30$	$26\mathrm{k}..30\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{e}\mathrm{s}$	$40$
$31..35$	$31\mathrm{k}..35\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{a}\mathrm{l}\mathrm{e}\mathrm{s}$	$40$
$21..25$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$20$
$31..35$	$66\mathrm{k}..70\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$5$
$26..30$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$3$
$41..45$	$66\mathrm{k}..45\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$	$3$
$36..40$	$46\mathrm{k}..50\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{m}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{e}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{g}$	$10$
$31..35$	$41\mathrm{k}..45\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{m}\mathrm{a}\mathrm{r}\mathrm{k}\mathrm{e}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{g}$	$4$
$46..50$	$36\mathrm{k}..40\mathrm{k}$	$\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{r}\mathrm{e}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{y}$	$4$
$26..30$	$26\mathrm{k}..30\mathrm{k}$	$\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$	$\mathrm{s}\mathrm{e}\mathrm{c}\mathrm{r}\mathrm{e}\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{y}$	$6$

未知樣本 取值 $\mathrm{X}$ 向量 為 " 年齡 $31..35$, 收入 $41\mathrm{k}..45\mathrm{k}$ , $\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}$ 部門 " ;

未知樣本 分類為 $\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ ( 高級 ) 類型的概率 : $\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})}{\mathrm{P}(\mathrm{X})}$

未知樣本 分類為 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ ( 低級 ) 類型的概率 : $\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}|\mathrm{X})=\frac{\mathrm{P}(\mathrm{X}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})}{\mathrm{P}(\mathrm{X})}$

上述兩個概率的分母 $\mathrm{P}(\mathrm{X})$ 是常數 , 對比時可以忽略 , 只需要對比分子即可 ;

先驗概率 $\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{52}{165}$ , $\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{113}{165}$ , $52$ 個人是 $\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 級別 , $113$ 個人是 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 級別 ;

后驗概率

① $\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})& =& \mathrm{P}(年齡31..35|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(收入41\mathrm{k}..45\mathrm{k}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(部門\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\\ & & \\ & =& \frac{8}{52}\times \frac{35}{52}\times \frac{0}{52}\end{array}$

上述后驗概率的結果為 $0$ , 需要進行 拉普拉斯修正 , 上述式子中的三個概率分子都需要 $+1$ , 分母都需要 $+2$ , 分母是分類的個數 , $\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 和 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ 兩個分類 , 因此分母 $+2$ ;

拉普拉斯修正后的結果 :

$\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})& =& \frac{8+1}{52+2}\times \frac{35+1}{52+2}\times \frac{0+1}{52+2}\\ & & \\ & =& \frac{9}{54}\times \frac{36}{54}\times \frac{1}{54}\end{array}$

② $\begin{array}{lcl}\mathrm{P}(\mathrm{X}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})& =& \mathrm{P}(年齡31..35|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(收入41\mathrm{k}..45\mathrm{k}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\times \mathrm{P}(部門\mathrm{s}\mathrm{y}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{s}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\\ & & \\ & =& \frac{23}{113}\times \frac{44}{113}\times \frac{4}{113}\end{array}$

未知樣本 分類為 $\mathrm{Y}$ 類型的概率 分子 : $\mathrm{P}(\mathrm{X}|\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{9}{54}\times \frac{36}{54}\times \frac{1}{54}\times \frac{52}{165}\approx 0.0006$

未知樣本 分類為 $\mathrm{N}$ 類型的概率 分子 : $\mathrm{P}(\mathrm{X}|\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})\mathrm{P}(\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r})=\frac{23}{113}\times \frac{44}{113}\times \frac{4}{113}\times \frac{113}{165}\approx 0.0024$

該樣本分類 為 $\mathrm{j}\mathrm{u}\mathrm{n}\mathrm{i}\mathrm{o}\mathrm{r}$ , 是低級員工 ;

總結

以上是生活随笔為你收集整理的【数据挖掘】数据挖掘总结 ( 拉普拉斯修正 | 贝叶斯分类器示例2 ) ★的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。