文章目錄

• • • 連續(xù)熵（無窮大）
    • 微分熵（相對熵）
    • 常見約束下信源的最大相對熵

信源輸出的消息是時間和取值都連續(xù)的隨機函數(shù)，連續(xù)信源可以用一個隨機過程{x(t)}表示，其輸出的消息是隨機過程{x(t)}中的一個樣本函數(shù)。我們可以用概率密度的形式來進行描述：

$[X\square P]:\{\begin{array}{ll}X:& [\mathrm{a},\mathrm{b}](\text{?或?}\mathrm{R})\\ P(X)& \mathrm{p}(\mathrm{x})\end{array}$
由概率密度函數(shù) $p(x)$ 就可確定單維連續(xù)信源 X的概率分布:
$\mathrm{F}\left(x_1\right)=P\left\{X\le x_1\right\}={\int }_a^{x_1}p(x)dx$
且 ${\int }_a^{b}p(x)dx=1$

連續(xù)熵（無窮大）

因為連續(xù)信源是連續(xù)的，分析它的時候，我們對它的分割是有無窮多種的，所以無窮大是合理的。

微分熵（相對熵）

$h(X)=?{\int }_a^{b}p(x)\log p(x)dx$，相對熵不具有信息的內(nèi)涵，它在單維連續(xù)信道中的平均交互信息量中有作用。單維連續(xù)信源的信息熵是無限大的正數(shù)，相對熵是其中確定值的一部分，可以計算。

我們暫時用它比較兩個連續(xù)信源的不確定性。

性質(zhì)：不具有非負性

常見約束下信源的最大相對熵

峰值功率受限最大相對熵定理：對于峰值功率受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度是均勻分布時，相對熵達到最大值。

比如：輸出信號的瞬間電壓受限

均值受限信源的最大相對熵定理：對于輸出消息非負且均值受限的單維連續(xù)信源，當(dāng)輸出消息的概率密度函數(shù)為單邊指數(shù)分布時，相對熵達到最大值。

平均功率受限信源的最大相對熵定理：若單維連續(xù)信源輸出信號的平均功率限定為P，則其輸出消息的概率密度函數(shù)為高斯分布時，相對熵達到最大值

總結(jié)

以上是生活随笔為你收集整理的信息论2——单维连续信源的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。