信源熵的七大基本性質

信源熵的基本性質：

1、 非負性：H(X) ≥ 0

熵描述的是某個集合統計意義上的不確定性，是自資訊的加權平均。

而我們在一開始尋找描述不確定性的函式，引出自資訊量概念的時候，便要求自資訊的取值應在[0，+∞]。

故，熵作為自資訊的加權平均，自然也是非負的。

2、 確定性：H(1，0)=H(1，0，0)=……=H(1，0，0，…，0)=0

①根據熵的定義式，可知H(1，0)=1*log1=0

②根據熵的意義，當信源發出某個符號的概率為1，則該信源為確知信源，其不存在不確定性

即確知信源的熵等於0。

3、 對稱性：熵只與隨機變數的總體結構有關。

熵的對稱性

4、 擴充套件性：極小概率事件對熵幾乎沒有影響

熵的擴充套件性

5、 熵的鏈式法則

熵的強可加性

該式稱為熵的強可加性。

若X，Y統計獨立，則

熵的可加性

該式稱為熵的可加性。

進一步推廣，可得

N維聯合信源熵的鏈式法則為：

N維聯合信源熵的鏈式法則

6、 極值性：輸入等概時，熵最大。

熵的極值性

上式又稱為最大離散熵定理。

7、 熵的獨立界：條件熵小於等於無條件熵。

條件作用使熵減小

如果統計相關的變數已知，則統計意義上不確定性減少。

即，條件作用使熵減小。

熵的獨立界是統計意義上的，對於Y具體取某個值的情況不一定成立。

熵的獨立界

該定理稱為熵的獨立界。

基本資訊

信源熵:是資訊理論中用來衡量信源資訊量有序化程度的一個概念。信源熵值與信源有序化程度成反比有序度越高，信源熵值越低，反之亦成立。

定義

信源熵的定義:信源各個離散訊息的自資訊量的數學期望(即概率加權的統計平均值)信源熵的單位是 Bit/sign