1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

     证：   由题意得

                        X={m₁,m₂,...,m_n}   （包含M个字母）

                  _{1）当M=1时，H(X)最小}

                     _即     H(x)=-ΣP(x_i=a_i)*logP(x_i=a_i)

                              =1*log(1)

                              =0

                  从而  H(x)_min=0

                2） 当M≠0时，由  H(x)=-ΣP(x_i=a_i) logP(x_i=a_i)

                                                    =-M*1/M*log₂M

                                                    =log₂M

                     即是   H(x)_max=log₂M

               综上可知，0≤H(x)≤log₂M .

2、证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

        证：    由于H(x)=lim_n→∞(1/n*G_n)，则

                     Gn=-Σ_i=n ......Σ_i=1 P(A_i) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)

                 当该序列为iid分布时，得到

                     G_n=-nΣ_i=1P(x1=i1) logP(x1=i1)

                 进而    H(x)=-ΣP(x1) logP(x1)   为一阶熵

              得证 .

3、给定符号集A={a₁,a₂,a₃,a₄} ，求以下条件下的一阶熵：

 (a) P(a₁)=P(a₂)=P(a₃)=P(a₄)=1/4 ;

       解： H(a)=-4×1/4 log(1/4)=-log(1/4)=-(-2)=2 bit/字符

 (b) P(a₁)=1/2 ,P(a₂)=1/4 ,P(a₃)=P(a₄)=1/8 ;

       解： H(b)=-1/2 log(1/2)-1/4 log(1/4)-2×1/8 log(1/8)

                    =1/2+1/2+3/4=7/4=1.75 bit/字符

 (c) P(a₁)=0.505 ,P(a₂)=1/4 ,P(a₃)=1/8 ,P(a₄)=0.12 .

       解： H(c)=-0.505 log(0.505)-1/4 log(1/4)-1/8 log(1/8)-0.12 log(0.12)

                    ≈0.15+1/2+3/8+0.11=1.135 bit/字符

第二次作业