1.设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0 ≤ H(X) ≤ log₂M。

2.证明：如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。

3.给定符号集A={a₁,a₂,a₃,a₄},求一下条件下的一阶熵。

⑴ P(a₁) = P(a₂) = P(a₃) = P(a₄) = 1/4 。

⑵ P(a₁) = 1/2 ，P(a₂) = 1/4 ，P(a₃) = P(a₄) = 1/8 。

⑶ P(a₁) = 0.505 ，P(a₂) = 1/4 ，P(a₃) = 1/8 , P(a₄) = 0.12 。

140705010001 朱晓秋 第二次作业