H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低； 

http://blog.csdn.net/dark_scope/article/details/8459576

2017/02/11