原文鏈接（http://www.cnblogs.com/elaron/archive/2012/10/29/2745010.html）

1、什么是行為？

但是，有時候，后驗概率本身只能說明具有特征x的樣本屬于ω_i類的可能性有多少，卻沒能表示如果將樣本分到ω_i類時的代價有多大。

在此，引入行為的概念。

分類器的設(shè)計初衷很簡單，就是進(jìn)行“分類”這一動作。假設(shè)現(xiàn)在來了一個具有特征x的樣本，如果將“把樣本分入ω_i類”這一行為記為動作a_i的話，我們將有不少于類別種類（假設(shè)有c類）的行為（因為除了將樣本分入不同類別外，還可能拒絕作出判斷，因此動作集的大小一般大于類別種類）。

2、什么是風(fēng)險？

為方便說明，令{ω₁,...,ω_c}表示有限個類別集，{a₁,...,a_a}表示有限的a中可能采取的動作集，風(fēng)險函數(shù)λ(a_i|ω_j)描述類別狀態(tài)為ω_j時采取行動a_i所產(chǎn)生的風(fēng)險。（行為導(dǎo)致風(fēng)險，不同的行為也會使風(fēng)險的大小不同）

3、什么是損失函數(shù)？

已知使用【貝葉斯公式】可以通過先驗概率P(ω_j)、概率密度函數(shù)（似然函數(shù)）p(x|ω_j)以及證據(jù)因子p(x)可以求出后驗概率P(ω_j|x)：

假設(shè)，樣本具有特征值x，并且我們將采取a_i行動，而樣本的真是歸屬類別為ω_j，那么將可能造成損失λ(a_i|ω_j)，而貝葉斯公式求出的后驗概率P(ω_j|x)表示了特征值為x時，樣本屬于類別ω_j的概率，因此，與行為a_i相關(guān)的損失為：

R(a_i|x)稱為與行為a_i相關(guān)的損失函數(shù)。計算損失函數(shù)可以展開為以下步驟：

step 1：通過將特征值、似然函數(shù)、先驗概率帶入貝葉斯公式，求出具有特征值x的樣本分屬各個不同類別的可能性（后驗概率）。

step 2：將樣本屬于各個不同類別的可能性乘上將樣本誤判到這一類別所需付出的代價。

step 3：將step2的結(jié)果相加即可得出對具有特征值x的樣本進(jìn)行a_i操作所可能產(chǎn)生的損失。

顯然，要計算損失函數(shù)，則先驗概率、似然函數(shù)、風(fēng)險函數(shù)都必須是已知的。

注意，風(fēng)險函數(shù)是λ(a_i|ω_j)，損失函數(shù)（也稱條件風(fēng)險）是R(a_i|x)，兩者是不同的。

4、什么是貝葉斯決策規(guī)則？

???? 為了最小化總風(fēng)險，對所有的i=1,...,a計算條件風(fēng)險R(a_i|x)，并選擇行為a_i使R(a_i|x)最小化。最小化后的總風(fēng)險值稱為貝葉斯風(fēng)險，記為R^*，它是可獲得的最優(yōu)風(fēng)險。那么，為什么貝葉斯決策規(guī)則所得出的風(fēng)險是最小的呢？

???? 假設(shè)判決規(guī)則為函數(shù)a(x)，它用來說明對于特征值x應(yīng)采取哪種行為(即，a₁,...,a_a中選擇哪個行為)。如果有一種規(guī)則，使得損失函數(shù)R(a_i|x)對每個特征值x都盡可能的小，那么對所有可能出現(xiàn)的特征值x，總風(fēng)險將會降到最小。

???? 而這一理想的規(guī)則就是貝葉斯決策：

“對所有的i=1,...,a計算條件風(fēng)險R(a_i|x)，并選擇行為a_i使R(a_i|x)最小化”

???? 通俗的說，就是對特征值x，計算所有行為所導(dǎo)致的損失們（即把R(a₁|x),...,R(a_a|x)都算出來），然后從中選擇損失最小的一個a_k作為結(jié)果，這樣對于每個樣本，都可以做的損失最小。假設(shè)有一批樣本，其中的每一個都做到損失最小的話，對這一批樣本而言，總體的損失就是最小的了。

???? 不過這是一種非常理想的情況，通常是沒有那么多已知條件的（實際情況中很少出現(xiàn)如此理想的情況）。不過貝葉斯決策理論倒是為我們提供了一個與其他分類器做對比的評價依據(jù)，也就是說貝葉斯決策很多情況下是作為對比對象而存在的。

轉(zhuǎn)載于:https://www.cnblogs.com/stevenbush/articles/3357442.html

總結(jié)

以上是生活随笔為你收集整理的【转载】贝叶斯决策论的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。