1. 设X 是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤H(X) ≤log2M 。

2. 证明如果观察到一个序列的元素为iid 分布，则该序列的熵等于一阶熵。

3.给定符号集A={a1，a2,a3,a4}，求以下条件的一介熵：

(a)P(a1)=P(a2)=P(a3)=P(a4)=1/4

(b)P(a1)=1/2,P(a2)=1/4,P(a3)=P(a4)=1/8

(c)P(a1)=0.505,P(a2)=1/4,P(a3)=1/8,P(a4)=0.12

8. 判断下面哪些代码是独特可译码：

(a) {0, 01, 11, 111}

(b) {0, 01, 110, 111}

(c) {0, 10, 110, 111}

(d) {1, 10, 110, 111}

第二次作业