1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(X)≤log₂M。

证：0≤ H(X)

因为 H(X)=∑P(Xi)M(Xi) (i=1....M)

P(Xi)≥0

所以 0≤ H(X)

证：H(X)≤log2M

因为 H(x)=-∑P(Xi)log2P(Xi) (i=1....M)

0≤P(Xi)≤1

所以H(X)≤log2

综上所述：0≤H(X)≤log₂M

2.证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

证：由香农证明的：对于一个平稳的信源，在极限的情况下，这个值将收敛于熵

H（s）=lim 1/n h2

如果观察到一个序列的元素为idd发布，则

Gn=-nΣp（x1=i1）logp（x1=i1）

熵就是：H(S)=-ΣP(X1)logp（x1）

而一阶熵为H=∑P(Xi)i(Xi)=-∑p(Xi)㏒p(Xi)

所以H=H(s)

所以如果观察到一个序列的元素为idd发布，则该序列的熵等于一阶熵

3、给定符号集A={a₁,a₂,a₃,a₄},球以下条件的一阶熵：

（a)P(a₁)=p(a₂)=p(a₃)=p(a₄)=1/4

解：H(x)=-∑p_i*log pi=-4*1/4*log1/4=2 bit/字符

(b)p(a₁)=1/2,p(a₂)=1/4,p(a₃)=p(a₄)=1/8

解：H(x)=-(1/2*log1/2+1/4*log1/4+2*1/8*log1/8)=1/2+1/2+3/4=7/4=1.75 bit/字符

(c)p(a₁)=0.505,p(a₂)=1/4,p(a₃)=1/8,p(a₄)=0.12

第二次作业 140705010027 李蓥