1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证：(1)0≤ H(X)

    ∵H(X)=∑P(X_i)M(X_i)          (i=1....M)

  又∵P(X_i)≥0

     ∴0≤ H(X)

    (2)H(X)≤log₂M

   ∵H(x)=-∑P(X_i)log₂P(X_i)        (i=1....M)

 0≤P(X_i)≤1

H(X)≤log₂M

 证：由香农证明的：对于一个平稳的信源，在极限的情况下，这个值将收敛于熵

如果观察到一个序列的元素为idd发布，则

熵就是：

而一阶熵为

            H=∑P(X_i)i(X_i)=-∑p(X_i)㏒p(X_i)

             ∴H=H(s)

所以如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵正确

3.给定符号集A={a₁,a₂,a₃,a₄}，求以下条件的一阶熵：

(a)p(a₁)=p(a₂)=p(a₃)=p(a₄)=1/4

解：H(X)=-1/4×4×log_2(1/4)

           =1

(b)p(a₁)=1/2,p(a₂)=1/4,p(a₃)=p(a₄)=1/8

解：H(X)=-1/2×log₂(1/2)-1/4×log₂(1/4)-2×1/8×log₂(1/8)

           =1/2+1/2+3/4

         =1.75

(c)p(a₁)=0.505,p(a₂)=1/4,p(a₃)=1/8,p(a₄)=0.12

解：H(X)=-0.505×log₂(0.505)-1/4×log₂(1/4)-1/8×log₂(1/8)-0.12×log₂(0.12)

           =-0.505×log₂(0.505)+1/2+3/8-0.12×log₂(0.12)

          ≈1.73981782

第二次作业