1.设x是一个随机变量,取值范围是一个包含M个字母的符号集 证明0<H(x)<log₂M.

（1）0≤ H(X)

当m=1时，H(X)取最小

H(x)=-ΣP(x_i=a_i)*logP(x_i=a_i)

=1*log(1)

=0

从而 H(x)_min=0

（2）H(X)≤log2M

当M>0时，H(x)可以取最大

H(x)=-ΣP(x_i=a_i) logP(x_i=a_i)

=-M*1/M*log₂M

=log₂M

即是 H(x)_max=log₂M

综上可知，0≤H(x)≤log₂M .

2.证明如果观擦到一个序列的元素为iid分布，该序列的熵等于一阶熵。

证明：设有序列{X_1，X2_，......，X_n}

由于H(x)=lim_n→∞(1/n*G_n)，则

 Gn=-Σ_i=n ......Σ_i=1 P(A_i) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)

当该序列为iid分布时，得到G_n=-nΣ_i=1P(x1=i1) logP(x1=i1)

进而    H(x)=-ΣP(x1) logP(x1)  为一阶熵得证 .

由此可知如果一个序列的元素为iid分布，该序列的熵等于一阶熵。

3.给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵：

(a)p(a1)=p(a2)=p(a3)=p(a4)=1/4

(b)p(a1)=1/2,p(a2)=1/4,p(a3)=p(a4)=1/8

(c)p(a1)=0.505,p(a2)=1/4,p(a3)=1/8,p(a4)=0.12

答：公式：H=-

(a)H=-4*1/4log₂1/4=2bits/symbol

(b)H=-(1/2log₂1/2+1/4log₂1/4+1/8log₂1/8+1/8log₂1/8)=1.75bits/symbol

(c)H=-(0.505log₂0.505+1/4log₂1/4+1/8log₂1/8+0.12log₂0.12)=1.74bits/symbol

第二次作业