1：设x是一个随机变量，取值范围是一个包含m个字母的符号集。证明0<=h(x)<=log2M.

证：(1)0≤ H(X)

∵H(X)=∑P(Xi)M(Xi) (i=1....M)

又∵P(Xi)≥0

∴0≤ H(X)

(2)H(X)≤log2M

∵H(x)=-∑P(Xi)log2P(Xi) (i=1....M)

0≤P(Xi)≤1

H(X)≤log2

2. 证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

证：由香农证明的：对于一个平稳的信源，在极限的情况下，这个值将收敛于熵

H（s）=lim 1/n h2

如果观察到一个序列的元素为idd发布，则

Gn=-nΣp（x1=i1）logp（x1=i1）

熵就是：

H(S)=-ΣP(X1)logp（x1）

而一阶熵为

H=∑P(Xi)i(Xi)=-∑p(Xi)㏒p(Xi)

∴H=H(s)

所以如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵正确

3：给定符号集A={a1，a2，a3，a4}，求一下条件下的一阶熵；

（a）p（a1）=p（a2）=p（a3）=p（a4）=1/4

 (b) p（a1）=1/2，p（a2）=1/4，P(a3)=p（a4）=1/8

(C)p（a1）=0.505，p（a2）=1/4，p（a3）=1/8，p（a4）=0.12

答：（a）一阶熵为：

             -1/4*4*log21/4

           =-log22-2

           =2(bit)

  （b）一阶熵为：

            -1/2log21/2-1/4*log21/4-2*1/8*log21/8

          =1/2+1/2+3/4

          =7/4

          =1.75(bit)

  （c）一阶熵为：

            -0.505*log20.505-1/4*log21/4-1/4*log21/4-0.12*log20.12

           =-0.505*log20.505+1/2+1/2-0.12*log20.12

           = 0.5+1-0.12*log₂0.12

           = 1.5+0.3672

           =1.8672（bit）

第二次作业