1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0<=H(X)<=log₂^M。

   证明：当M个字母相同时，即X=1，H(X)=-∑p(X=ai)logp(X=ai)为最小

          即H(X)=-1*log2¹=0

          当M个字母不同，且每个字母出现的概率均相等时，H(X)为最大值

          H(X)=- ∑p(X=ai)logp(X=ai)=-∑1/M*log2^1/M=log2^M

         综上可得，0<=H(X)<=log2^M

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

    证明：       

      因为：H(X)=lim_n→∞1/n*G_n

          G_n=-∑_i1∑i2.....∑inP(X₁=i1,X₂=i2,....X_n=in)*logP(X₁=i1,X₂=i2,....X_n=in)     i1，i2....in=1...m

       如果序列为iid序列分布，则

       G_n=-n∑i1P(X₁=i1)*logP(X₁=i1)，i1=1...m

      则

          H(X)=-∑P(X₁=i1)*logP(X₁=i1)为一阶熵。

3.给定符号集A{a1,a2,a3,a4},求以下条件下的一阶熵：

（a） p(a1)=p(a2)=p(a3)=p(a4)=1/4

       H_max=logM=log₂4=2

 (b)  p(a1)=1/2,p(a2)=1/4, p(a3)=p(a4)=1/8

       H=-∑p(ai)logp(ai)=-1/2*log1/2-1/4*log1/4-2*1/8*log1/8=7/4

 (c) p(a1)=0.505, p(a2)=1/4, p(a3)=1/8, p(a4)=0.12

     H=-∑p(ai)logp(ai)=-0.505*log0.505-1/4*log1/4-1/8*log1/8-0.12*log0.12

第二次作业