1. 设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

      证：因为：(1) 当M=1时，则p(X)=1,此时

                          H(X)=-∑(P(X₁)*P(X₁))=-1*(1/1)*log₂1=0

                     (2) 当M>1时，令每个字母的概率相等，都为p(X_i)，此时

                          H(X)=-∑p(X_i)*logP(X_i)=-M*(1/M)*log₂M=log₂M

            所以：0≤H(X)≤log₂M

     2. 证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

      证：令该序列为{X_1，X2_，......，X_n}，

           因为序列的元素为iid分布，所以

　　       G_n=-∑∑...∑p(X₁=a_i1,X2=a_{i2,......X1=ain})logP(X₁=a_i1,X2=a_{i2,......X1=ain})

            则其中每个元素为独立同分布，则                 

            G_n=-n∑p(X₁=a_i)*logP(X₁=a_i)

　      　所以H=-∑p(X₁)*logP(X₁) 为一阶熵

     3. 给定符号集A={a₁,a₂,a₃,a₄} ，求以下条件下的一阶熵：

     (a) P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4 ;

     (b) P(a₁)=1/2 ,P(a₂)=1/4 ,P(a₃)=P(a₄)=1/8 ;

     (c) P(a₁)=0.505 ,P(a₂)=1/4 ,P(a₃)=1/8 ,P(a₄)=0.12 .

     解：

          (a) H(X)=-1/4×4×log_2(1/4)

                     =2( 比特/字符)

          (b) H(X)=-1/2×log₂(1/2)-1/4×log₂(1/4)-2×1/8×log₂(1/8)

                      =1/2+1/2+3/4

                      =1.75(比特/字符)

          (c) H(X)=-0.505×log₂(0.505)-1/4×log₂(1/4)-1/8×log₂(1/8)-0.12×log₂(0.12)

                     =-0.505×log₂(0.505)+1/2+3/8-0.12×log₂(0.12)

                     =1.7398(比特/字符)

第二次作业