1-2章 无损压缩数学基础：

p30:1.2.3

1. 设X是一个随机变量，取值范围是一个包含M个字母的符号集。证明0≤H(x)≤log₂M。
2. 证明如果观察到一个序列的元素为iid分布，则该序列的熵等于一阶熵。
3.  给定符号集A={a₁,a₂,a₃,a₄}，求以下条件下的一阶熵：

  （a） P（a₁）= P（a₂）= P（a₃）= P（a₄）=1/4

  （b） P（a₁）=1/2, P（a₂）=1/4, P（a₃）= P（a₄）=1/8

  （c） P（a₁）=0.505, P（a₂）=1/4, P（a₃）=1/8, P（a₄）=0.12

解：

   1.

2.

3.

第二次作业