1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证明：

 当M个字母完全相同时，即M=1时，

H(X)=-∑(P(X_i)*log₂P(Xi))=0,

此时H(X)最小；

当M个字母不相同时，即M>1时，且每个字母概率出现相等；

 H(X)=-∑(P(X_i)*log₂P(Xi))=-M(1/M*log₂M)=log₂M，

此时H(X)最大。

得证：0≤H(X)≤log₂M

2、证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

  证：   因为：

               H(x)=lim_n→∞(1/n*G_n)，则

Gn=-Σi1Σi2 ......Σ_i=1 P logP(x1=i1,x2=i2,...,xn=in) * logP(x1=i1,x2=i2,...,xn=in)

             当该序列的每个元素都为独立同分布，得到

              G_n=-nΣ_i=1P(x1=i1) logP(x1=i1)

              H(x)=-∑P(X₁=i1)*logP(X₁=i1)  ，则为一阶熵

3、给定符号集A={a₁,a₂,a₃,a₄} ，求以下条件下的一阶熵：

 (a) P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4 ;

   解： H=-∑P(a_i)*logP(a_i)=-（4*1/4*log1/4）=2

 (b) P(a₁)=1/2 ,P(a₂)=1/4 ,P(a₃)=P(a₄)=1/8 ;

       解： H=-∑P(a_i)*logP(a_i)=-（1/2*log1/2）-（1/4*log1/4）-（2*1/8*log1/8）

               =1/2+1/2+3/4=1.75

               =7/4

 (c) P(a₁)=0.505 ,P(a₂)=1/4 ,P(a₃)=1/8 ,P(a₄)=0.12 .

       解： H=-∑P(a_i)*logP(a_i)=-（0.505*log0.505）-（1/4*log1/4）-（1/8*log1/8）-（0.12*log0.12）

                                       =-（0.505*log0.505）+1/2+3/8-（0.12*log0.12）

                                        =7/8-（0.505*log0.505）-（0.12*log0.12）

第二次作业