1，设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤Log₂M.

证明： M=1时， H(X)=-∑(P(X_i)*log₂P(Xi))=-(1*log₂1)=0,此时H(X)最小；

         M>1，取字母的概率P(X_i)相等为1/M时，

         则H(X)=-∑(P(X_i)*log₂P(Xi))=-M(1/M*log₂ 1/M)=log₂M，此时H(X)最大。

         所以0≤H(X)≤log₂M

2、证明如果观察到一个序列的元素为iid分布，则序列的熵等于一阶熵。

证明：因为熵H(X)=lim_n→∞（1/n）*Gn

          Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)

          因为该序列被观察到每个元素是独立同（idd）分布的，所以

          Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1)，则

          H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

3、给定符号集A={a₁,a₂,a₃,a₄},球以下条件的一阶熵：

（a)P(a₁)=p(a₂)=p(a₃)=p(a₄)=1/4

解：H(x)=-∑p_i*log p_{i=-4*1/4*log1/4=2;}

 (b)p(a₁)=1/2,p(a₂)=1/4,p(a₃)=p(a₄)=1/8

解：H(x)=-(1/2*log1/2+1/4*log1/4+2*1/8*log1/8)=1/2+1/2+3/4=7/4

 (c)p(a₁)=0.505,p(a₂)=1/4,p(a₃)=1/8,p(a₄)=0.12

解：同理代用公式用计算器求得

H(x)=)=-[0.505*log₂0.505+1/4*log₂₍1/4)+1/8*log₂₍1/8)+0.12*log20.12]

          =0.498+0.5+0.375+0.367=1.74

第二次作业