首页 > 代码库 > 第二次作业

第二次作业

1.设x是一个随机变量,取值范围是一个包含M个字母的符号集 证明0<H(x)<log2M.

(1)0 H(X)

当m=1时,H(X)取最小

H(x)=-ΣP(xi=ai)*logP(xi=ai)

=1*log(1)

=0

从而 H(x)min=0

(2)H(X)log2M

当M>0时,H(x)可以取最大

H(x)=-ΣP(xi=ai) logP(xi=ai)

=-M*1/M*log2M

=log2M

即是 H(x)max=log2M

综上可知,0≤H(x)≤log2M .

2.证明如果观擦到一个序列的元素为iid分布,该序列的熵等于一阶熵。

证明:设有序列{X1,X2,......Xn}

由于H(x)=limn→∞(1/n*Gn),则

 Gn=-Σi=n ......Σi=1 P(Ai) logP(x1=i1,x2=i2,...,xn=in) * log(x1=i1,x2=i2,...,xn=in)

当该序列为iid分布时,得到Gn=-nΣi=1P(x1=i1) logP(x1=i1)

进而    H(x)=-ΣP(x1) logP(x1)  为一阶熵得证 .

由此可知如果一个序列的元素为iid分布,该序列的熵等于一阶熵。

3.给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵:

(a)p(a1)=p(a2)=p(a3)=p(a4)=1/4

(b)p(a1)=1/2,p(a2)=1/4,p(a3)=p(a4)=1/8

(c)p(a1)=0.505,p(a2)=1/4,p(a3)=1/8,p(a4)=0.12

答:公式:H=-技术分享

(a)H=-4*1/4log21/4=2bits/symbol

(b)H=-(1/2log21/2+1/4log21/4+1/8log21/8+1/8log21/8)=1.75bits/symbol

(c)H=-(0.505log20.505+1/4log21/4+1/8log21/8+0.12log20.12)=1.74bits/symbol

第二次作业