首页 > 代码库 > 《数学之美》第14章 余弦定理和新闻的分类

《数学之美》第14章 余弦定理和新闻的分类

转载请注明原地址:http://www.cnblogs.com/connorzx/p/4170043.html

基本思想

  1. 建立一个字典向量,字典里包含这种语言的所有词组;
  2. 统计各个词组的出现次数,填充到对应词组的位置,构成文本的特征向量;
  3. 两个特征向量之间用余弦定理求夹角。这个值表明向量之间的相关程度。之所以用夹角而不用长度,是因为不同新闻的长度可能不同,用夹角表示不需要考虑长度(即向量的模长)的差异影响。

自动分类

  1. 所有特征向量(N个)两两相关,将结果大于某一阈值的归为一类,共N1个小类。显然,N1<N;
  2. 将每个小类看做一个整体,计算其特征向量,每个小类之间求夹角,相关值大于阈值的归为一类,共N2类。其中,N2<N1;
  3. 重复上述步骤,直到所有相关值都小于阈值。停止操作,分类结束。 

降低算法复杂度方法

  1. 保存每个向量的模值;
  2. 删除所有虚词。因为虚词不但不起作用,还有可能造成干扰。
  3. 计算时跳过由零元素的。 

提高准确性方法

      采用特殊位置加权的办法,可以有效地提高算法效率。例如,标题、首位段以及每一段的第一句话出现的关键字都应该进行额外的加权。至于原因,你懂的!

《数学之美》第14章 余弦定理和新闻的分类