首页 > 代码库 > 数据压缩第二次作业（数据压缩第四版P301,2,3）

数据压缩第二次作业（数据压缩第四版P301,2,3）

2024-08-13 00:46:53   217人阅读

1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log2M。
证明：当M=1时，即只有一个字符，其概率为1，则
  H(X)=-∑(P(X1)*P(X1))=-1*(1/1)*log21=0
当M>1时，取每个字母的概率为P(Xi)，则
H(X)=-∑p(Xi)*logP(Xi)=-M*(1/M)*log2M=log2M
故0≤H(X)≤log2M
得证。
 2，证明如果观察到一个序列的元素为idd分布，则该序列的熵等于一阶熵。
证明：因为熵H(X)=limn→∞1/n*Gn
 Gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mP(X1=i1,X2=i2,....Xn=in)*logP(X1=i1,X2=i2,....Xn=in)
因为该序列被观察到每个元素是独立同（idd）分布的，所以
 Gn=-n∑i1=1i1=mP(X1=i1)*logP(X1=i1)，则
 H(X)=-∑P(X1=i1)*logP(X1=i1)为一阶熵。

3.给定集合A{a1，a2，a3，a4},求下列条件下一阶熵。
（1）P(a1)=P（a2）=P（a3）=P（a4）=1/4
 答：H=-4*（1/4）*log2（1/4）=log24=2
（b）P(a1)=1/2 , P(a2)=1/4 , P(a3)=P(a4)=1/8 
 答：H=-（1/2）*log2（1/2）+[-（1/4）*log2（1/4）]+[-2*（1/8）*log2（1/8)]
         =1/2+1/2+3/4
         =7/4
         =1.75
（c）P(a1)=0.505 ,  P(a2)=1/4 , P(a3)=1/4 , P(a4)=0.12
答：H=-0.505*log20.505+[-2*（1/4）*log2（1/4）]+[-0.12*log20.12]
        =-0.505*log20.505+1+[-0.12*log20.12]
数据压缩第二次作业（数据压缩第四版P301,2,3）






























        

            
                
                  
                
                

                    联系

                    我们