2-1：设X是一个随机变量，取值范围是一个包含M个字母的符号集，证明0≤H（X）≤long2M

        答：①  M为1只有一个字符时，概率为1.

              ②当M＞1时，设P（X）为概率，则

                                H(X)=-Σp(Xi)*logP(Xi)=-M*/(1/M)*log2M

                            0≤H(X)≤log2M

2-2：证明如果管擦到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

        答：    H(X)=（lim n→∞）/（n*Gn）

              又Gn=-Σi1=1^(i1=m)Σi2=1^(i2=m)……Σin=1^(1n=m)P(X1=i1,X2=i2,……Xn=in)*logP(X1=i1,X2=i2,……Xn=in)

              所以Gn=-nΣi1=1^(i1=m)P(X1=i1)*logP(X1=i1)

              所以H(X)=-ΣP(X1=i1)*logP(X1=i1)为一阶熵。

2-3：给定符号集A={a1,a2,a3,a4}，求下列条件下的一介熵：

       （a）P（a1）=P（a2）=P（a3）=P（a4）=1/4

       （b）P（a1）=1/2，P（a2）=1/4，P（a3）=P（a4）=1/8

       （c）P（a1）=0.505，P（a2）=1/4，P（a3）=1/8，P（a4）=0.12

       答：     （a）一阶熵为：

                             -1/4*4*log21/4

                            =-log22-2

                           =2(bit)

                 （b）一阶熵为：

                           -1/2log21/2-1/4*log21/4-2*1/8*log21/8

                           =1/2+1/2+3/4

                           =7/4

                           =1.75(bit)

                 （c）一阶熵为：

                                -0.505*log20.505-1/4*log21/4-1/4*log21/4-0.12*log20.12

                                =-0.505*log20.505+1/2+1/2-0.12*log20.12

                                = 0.5+1-0.12*log₂0.12

                                = 1.5+0.3672

                               =1.8672（bit）

第二次作业