1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证明：由题意得，在x的随机变量中

（1）当M取值为1时，H（X）最小

       即H(X)=-∑(P(X₁)*P(X₁))=-1*(1/1)*log₂1=0

（2）当M取值大于1时，取每个字母的概率为P(Xi)，则

　　H(X)=-∑p(X_i)*logP(X_i)=-M*(1/M)*log₂M=log₂M

     综上所述，0≤H(X)≤log₂M得证。

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

证明：设有序列{X_1，X2_，......，X_n}，则

　　  G_n=-∑∑...∑p(X₁=a_i1,X2=a_{i2,......X1=ain})logP(X₁=a_i1,X2=a_{i2,......X1=ain})，

       其中每个元素为独立同分布，则                

       G_n=-n∑p(X₁=a_i)*logP(X₁=a_i)，

　 　H=-∑p(X₁)*logP(X₁) ，

      即如果一个序列的元素为idd分布，，则该序列的熵等于一阶熵。

3.给定符号集A={a₁,a₂,a₃,a₄},求以下条件下的一阶熵

(a)P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4

(b)P(a₁)=1/2，P(a₂)=1/4，P(a₃)=P(a₄)=1/8

(c)P(a₁)=0.505，P(a₂)=1/4，P(a₃)=1/8，P(a₄)=0.12

解：(a) H=-4*1/4*log₂1/4=2 

      (b)H=-(1/2*log₂1/2+1/4*log₂1/4+2*1/8*log₂1/8)

            =-(-1/2-1/2-3/4)

            =7/4 

　　(c)H=-(0.505*log₂0.505+1/4*log₂1/4+1/8*log₂1/8+0.12*log₂0.12)

　　　　=-(-0.4978-0.5-0.375-0.3671)

　　　　=1.7399 

第二次作业