首页 > 代码库 > 香农的信息论

香农的信息论

之前只知道香农于1948年发表的那篇举世瞩目的paper,《A Mathematical Theory of Communication》,过了一年拉上Warren Weaver作为共同作者出了个单行本,标题只改了一个字,《The Mathematical Theory of Communication》,而Weaver的贡献只是写了份摘要。随手搜了下,原论文索引竟然高达八万多次......

技术分享

下载地址。

现在经过了解才知道,香农、巴丁(可能还有肖克利)之于电子工程,就是牛顿、麦克斯韦之于物理学,图灵、冯诺依曼之于计算机科学,都是真正通过一己之力开创了一门学科。他们的工作,使得一些零散的研究终于有了体系和系统的方法,而之所以在今人的眼里看起来普普通通,只是因为他们的工作是一切后来者都不能绕过的基石。

 

信息论最初所处理的问题是数据压缩与传输邻域中的问题,其处理方法利用了熵和互信息等基本量。

如果随机变量技术分享的概率密度函数为技术分享,那么技术分享的熵定义为:

技术分享

熵的量纲为比特,由香农一人提出。熵可以看作随机变量的平均不确定度的度量。在平均意义下,是为了描述该随机变量所需的比特数。

 

单个随机变量的熵为该随机变量的不确定度,涉及两个随机变量的条件熵技术分享,即一个随机变量在给定另外一个随机变量的条件下的熵。由另一个随机变量导致的原随机变量不确定度的缩减量称为互信息。具体来说,设技术分享技术分享是两个随机变量,那么这个缩减量为互信息,

技术分享

互信息技术分享是两个随机变量相互之间独立程度的度量,它关于技术分享技术分享对称,并且永远为非负值,当且仅当技术分享技术分享相互独立时,等于零。

互信息实际上是更广泛量相对熵技术分享的特殊情形。相对熵是两个概率密度函数技术分享技术分享之间的“距离”度量,定义为,

技术分享

想对熵非负,为0的充分必要条件为技术分享

 

通信通道是一个系统,系统的输出信号按概率输入信号。该系统特征由一个转移概率矩阵技术分享决定,该矩阵决定在给定输入情况下输出的条件概率分布。对于输入信号为技术分享和输出信号为技术分享的通信信道,定义它的信道容量技术分享为,

技术分享

容量是可以使用该信道发送信息的最大速率,而且在接收端以极低的误差概率恢复出该信息。(香农证明了只要通信速率低于通道容量,总可以使误差概率接近于零。)

技术分享

信息论与电子工程(通信理论)、计算机科学(科尔莫戈罗夫复杂度)、物理学(热力学)、数学(概率论和统计学)、哲学(奥克姆剃刀)、经济学(投资)、计算与通信邻域都有交叉。

 

香农的信息论