1、设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

     证：   由题意得

                        X={m₁,m₂,...,m_n}   （包含M个字母）

   1）当M=1时，H(X)最小

                     _即     H(x)=-ΣP(x_i=a_i)*logP(x_i=a_i)

                              =1*log(1)

                              =0

                  从而  H(x)_min=0

                2） 当M≠0时，由  H(x)=-ΣP(x_i=a_i) logP(x_i=a_i)

                                                    =-M*1/M*log₂M

                                                    =log₂M

                     即是   H(x)_max=log₂M

               综上可知，0≤H(x)≤log₂M .

2.证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

 证：

    设有序列{X_1，X2_，......，X_n}

则

    G_n=-∑∑...∑p(X₁=a_i1,X2=a_{i2,......X1=ain})logP(X₁=a_i1,X2=a_{i2,......X1=ain})

    每个元素都为独立同分布

则                

    G_n=-n∑p(X₁=a_i)*logP(X₁=a_i)

　H=-∑p(X₁)*logP(X₁) 

    若一个序列的元素为idd分布

    则该序列的熵等于一阶熵

3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵：

(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

解：

         H（b）=-(1/2*log₂1/2+1/4*log₂1/4+2*1/8*log₂1/8)

                   =-(-1/2-1/2-3/4)

                   =7/4 bit

          H(c) =-(-0.505 log(0.505)-1/4 log(1/4)-1/8 log(1/8)-0.12 log(0.12) 

                 ≈0.15+1/2+3/8+0.11

                 =1.135 bit

第二次作业