首页 > 代码库 > 熵的含义

熵的含义

指的是多种成分均匀分布的情况,如果成分分布越均匀,则熵越高,相反则熵越低

物理学
比如某个物体由多个事物组成,如果各事物所占质量比重均匀,则质量熵就高

概率学
比如掷色子有6种结果,如果各结果的概率是一样的,则概率熵就高

自然语言
比如一个term和多个term都有搭配在一起出现的记录,如果各term出现的次数都比较接近,则这个term的搭配熵就高

熵的含义