首页 > 代码库 > 作业二
作业二
1、设X是一个随机变量,取值范围是一个包含M个字母的符号集。证明0<=H(x)<=log2M。
证明:
假设M=1, 则H(X)=-∑P(Xi)*log2P(Xi)=-(1*log21)=0,此时H(X)为最小
当M>1且取包含每个字母的概率P(Xi)相等即为1/M时
则H(X)=-∑P(Xi)*log2P(Xi)=-M(1/M*log2 1/M)=log2M
又因熵具有极值性,所以此时H(X)最大
所以说0≤H(X)≤log2M。
2、证明如果观察到一个序列的元素为iid分布,则该序列的熵等于一阶熵。
证明:
由:H(X)=limn→∞1/n*Gn
Gn=-∑i1∑i2.....∑inP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in) i1,i2....in=1...m
如果序列为iid序列分布,则
Gn=-n∑i1P(X1=i1)*logP(X1=i1),i1=1...m
则
H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。
3、给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵:
(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4;
解:H(A)=-∑P(ai)*logP(ai)=-4*(1/4*log21/4)=2
(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8;
解:H(A)=-∑P(ai)*logP(ai)=-(1/2*log21/2+1/4*log21/4+2*1/8*log21/8)=7/4
(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12;
解:H(A)=-∑P(ai)*logP(ai)=-(0.505*log20.505+1/4*log21/4+1/8*log21/8+0.12*log20.12)
=1/2+3/8-0.505*log20.505-0.12*log20.12
=7/8-0.505*log20.505-0.12*log20.12
作业二