?

一、極大似然法估計(jì)

??? 極大似然法估計(jì)是以觀測(cè)值出現(xiàn)的概率為最大作為估計(jì)準(zhǔn)則的，它是一種覺的參數(shù)估計(jì)方法。

設(shè)是連續(xù)隨機(jī)變量，其分布密度為，含有個(gè)未知參數(shù)。把個(gè)獨(dú)立觀測(cè)值分別代入中的，則得

將所得的個(gè)函數(shù)相乘，得

??????????????(11-20)

稱函數(shù)為似然函數(shù)。當(dāng)固定時(shí)，是的函數(shù)。極大似然法的實(shí)質(zhì)就是求出使達(dá)到極大時(shí)的的估值。從式(11-20)可看到是觀測(cè)值的函數(shù)。

為了便于求出使達(dá)到極大的，對(duì)式(11-20)取對(duì)數(shù)，則

??????????????????????????????????(11-21)

由于對(duì)數(shù)函數(shù)是單調(diào)增加函數(shù)，因此當(dāng)取極大值時(shí)，也同時(shí)取極大值，將上式分別對(duì)求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得下列方程組：

???????????????????????????????????????????? (11-22)

解上述方程組，可得使達(dá)到極大值的。按極大似然法確定的，使最有可能出現(xiàn)，并不需要的驗(yàn)前知識(shí)，即不需要知道的概率分布密度和一、二階矩。

例11-1?設(shè)有正態(tài)分布隨機(jī)變量，給出個(gè)觀測(cè)值。觀測(cè)值相互獨(dú)立，試根據(jù)這個(gè)觀測(cè)值，確定分布密度中的各參數(shù)。

解??的分布密度可用下式表示：

式中的和為未知參數(shù)。現(xiàn)有極大似然法來確定參數(shù)和。作似然函數(shù)：

對(duì)上式取對(duì)數(shù)，可得

將上式分別對(duì)和求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得

聯(lián)立求解可得

上面介紹了極大似然法的基本概念。現(xiàn)在來討論極大似然法估計(jì)參數(shù)的問題。

設(shè)為維隨機(jī)變量，為維未知參數(shù)，假定已知的條件概率密度?，F(xiàn)在得到組的觀測(cè)值。觀測(cè)值相互獨(dú)立。當(dāng)參數(shù)是何值時(shí)，出現(xiàn)的可能性最大？為此，確定似然函數(shù)：

????????????????????(11-23)

或

?????????????????????????????????????(11-24)

求出使為極大的值，令

???????????????????????????????? (11-25)

解之，可得的估值。

取極大值的充分條件是

??

因此，用極大似然法時(shí)，應(yīng)先求似然函數(shù)，然后用微分法求出使似然函數(shù)為極大的的估值。

設(shè)有一線性觀測(cè)系統(tǒng)

????????????????????????????????????????(11-26)

式中，是維觀測(cè)值，是維未知參數(shù)，是維測(cè)量誤差。設(shè)與獨(dú)立。給出的統(tǒng)計(jì)特性，求的極大似然估計(jì)。

下面求似然函數(shù)

根據(jù)不同隨機(jī)變量的概率密度變換公式，并考慮到與獨(dú)立，可得

令

得上式，可得的估值。

假定噪聲是正態(tài)分布，其均值為零，方差陣為，則

把代入上式，得

式中

求出，使為最大，也就是使

???????????????????????????????? (11-27)

求對(duì)的偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)等于零，可得的估值

?

?????????????????????????????????????(11-28)

?

二、???????????極大驗(yàn)后估計(jì)

如果給出維隨機(jī)變量的條件概率分布密度――也稱驗(yàn)后概率密度，怎樣求的最優(yōu)估值呢？極大驗(yàn)后估計(jì)準(zhǔn)則：使的驗(yàn)后概率密度達(dá)到最大那個(gè)值為極大驗(yàn)后估值?？梢?#xff0c;極大驗(yàn)后估計(jì)是已知求的最優(yōu)估值的一種有效方法。

極大驗(yàn)后估計(jì)是以已知為前提的。如果只知道，可按下式計(jì)算。

??????????????????????????????????? (11-29)

式中是的驗(yàn)前概率密度，是觀測(cè)值的概率密度，可用計(jì)算方法或?qū)嶒?yàn)方法求得。為了計(jì)算需要知道。在沒有驗(yàn)前知識(shí)可供利用時(shí)，可假定在很大范圍內(nèi)變化。在這種情況下，可把的驗(yàn)前概率密度近似地看作方差陣趨于無限大的正態(tài)分布密度

式中為的方差陣，單位陣，，于是

???????????????????????????????????? (11-30)

當(dāng)

?????????????????????????????????????????????(11-31)

當(dāng)缺乏的驗(yàn)前概率分布密度時(shí)，極大驗(yàn)后估計(jì)與極大似然估計(jì)是等同的，現(xiàn)證明如下：

對(duì)于極大似然估計(jì)，為了求得的最優(yōu)估值，應(yīng)令

????????????????????????????????????????????(11-32)

對(duì)于極大驗(yàn)后估計(jì)，為了求得的最優(yōu)估值，應(yīng)令

??????????????????????????????????????????? (11-33)

根據(jù)式(11-29)得

考慮到不是的函數(shù)，同時(shí)考慮到式(11-31)，可得

??????????????????????????????????????(11-34)

一般說來，極大似然估計(jì)比極大驗(yàn)后估計(jì)應(yīng)用普遍，這是由于計(jì)算似然函數(shù)比計(jì)算驗(yàn)后概率密度較為簡(jiǎn)單。