首页 > 代码库 > 第二次作业

第二次作业

1,设X是一个随机变量,取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。

证明: 当随机变量X的取值范围包含的M个字母完全相同时,即M=1时,H(X)=-∑(P(Xi)*log2P(Xi))=-(1*log21)=0,此时H(X)最小;

         当当随机变量X的取值范围包含的M个字母不相同时,即M>1时,取每个字母的概率P(Xi)相等,则

         H(X)=-∑(P(Xi)*log2P(Xi))=-M(1/M*log2M)=log2M,此时H(X)最大。

         所以0≤H(X)≤log2M

 

2,证明如果观察到一个序列的元素为idd分布,则该序列的熵等于一阶熵。

 证明:因为熵H(X)=limn→∞1/n*Gn

          Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)

          因为该序列被观察到每个元素是独立同(idd)分布的,所以

          Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1),则

          H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

 

3,给定符号集A={a1,a2,a3,a4},求以下条件下的一阶熵。

(a)、P(a1)=P(a2)=P(a3)=P(a4)=1/4

解:H(A)=-∑P(ai)*logP(ai)=-4*(1/4*log21/4)=2

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

解:H(A)=-∑P(ai)*logP(ai)=-(1/2*log21/2+1/4*log21/4+2*1/8*log21/8)=7/4

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

解:H(A)=-∑P(ai)*logP(ai)=-(0.505*log20.505+1/4*log21/4+1/8*log21/8+0.12*log20.12)

            =1/2+3/8-0.505*log20.505-0.12*log20.12

            =7/8-0.505*log20.505-0.12*log20.12

 

第二次作业