信源 （連續 離散? 有記憶 無記憶）

馬爾科夫信源（齊次）

當信源的記憶長度為m+1時，該時刻發出的符號與前m個符號有關聯性，而與更前面的符號無關

以下默認為離散信源

信息量（自，聯合，條件，彼此關系）

自信息量：

聯合自信息量：

條件自信息量：

相互之間的關系：

熵（條件，聯合，符號，相對）

信息熵（平均信息量）：

條件熵：

聯合熵：

彼此關系：

總結：

互信息 （平均，與信息熵條件熵的關系，聯合，條件互信息量）

互信息：H(X)－H(X/Y)= I(X;Y)= I(Y;X)=H(Y)－H(Y/X)

彼此關系：

平均互信息量性質

性質不拓展

熵的性質

最大熵（總結）

無約束條件的最大熵不存在

限峰功率最大熵

限平均功率最大熵

冗余度

ppt總結，便于復習。

ppt鏈接

鏈接：https://pan.baidu.com/s/1r7d3-LwCAKOZwZHgYDmDkg?
提取碼：1tjc?
?

總結

以上是生活随笔為你收集整理的信息论与编码曹雪虹第三版学习第二章总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。