首页 > 代码库 > <tf-idf + 余弦相似度> 计算文章的相似度
<tf-idf + 余弦相似度> 计算文章的相似度
背景知识:
（1）tf-idf
按照词TF-IDF值来衡量该词在该文档中的重要性的指导思想：如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。
tf–idf is the product of two statistics, term frequency and inverse document frequency.
//Various ways for determining the exact values of both statistics exist.
tf–idf= tf×idf
In the case of the term frequency tf(t,d), the simplest choice is to use the raw frequency of a term in a document, i.e. the number of times that term t occurs in document d.
Other possibilities include:
- Boolean "frequencies": tf(t,d) = 1 if t occurs in d and 0 otherwise;
- logarithmically scaled frequency: tf(t,d) = 1 + log f_t,d, or zero if ft,d is zero;
- augmented frequency, to prevent a bias towards longer documents, e.g. raw frequency divided by the maximum raw frequency of any term in the document:
tf(t,d)=0.5+0.5*f_t,d/max(f_t‘d)
The inverse document frequency is a measure of how much information the word provides, that is, whether the term is common or rare across all documents.
.png)
（2）余弦相似度
余弦值的范围在[-1,1]之间，值越趋近于1，代表两个向量的方向越接近；越趋近于-1，他们的方向越相反；接近于0，表示两个向量近乎于正交。
.png)
计算过程：
（1）使用TF-IDF算法，找出两篇文章的关键词；
（2）每篇文章各取出若干个关键词（为公平起见，一般取的词数相同），合并成一个集合，计算每篇文章对于这个集合中的词的词频（注1：为了避免文章长度的差异，可以使用相对词频；注2：这一步选出的不同词的数量决定了词频向量的长度）；
（3）生成两篇文章各自的词频向量（注：所有文章对应的词频向量等长，相同位置的元素对应同一词）；
（4）计算两个向量的余弦相似度，值越大就表示越相似。
Note that: tf-idf值只在第一步用到。
举例说明：
文章A：我喜欢看小说。
文章B：我不喜欢看电视，也不喜欢看电影。
第一步： 分词
文章A：我/喜欢/看/小说。
文章B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。
第二步，列出所有的词。
我，喜欢，看，小说，电视，电影，不，也。
第三步，计算词频tf。
文章A：我 1，喜欢 1，看 1，小说 1，电视 0，电影 0，不 0，也 0。
文章B：我 1，喜欢 2，看 2，小说 0，电视 1，电影 1，不 2，也 1。
第四步，计算逆文档频率idf。
文章A：我 0，喜欢 0，看 0，小说 1，电视 1，电影 1，不 1，也 1。
文章B：我 0，喜欢 0，看 0，小说 1，电视 1，电影 1，不 1，也 1。
第五步：计算tf-idf
文章A：我 0，喜欢 0，看 0，小说 1，电视 0，电影 0，不 0，也 0。
文章B：我 0，喜欢 0，看 0，小说 0，电视 1，电影 1，不 1，也 1。
第六步：选择每篇文章的关键词（这里选tf-idf排名前3的词作为关键词（至于并列大小的随机选））
文章A：我 0，喜欢 0，小说 1
文章B：电视 1，电影 1，不 1
第七步：构建用于计算相似度的词频向量（根据上一步选出的词：我，喜欢，小说，电视，电影，不）
文章A：[1 1 1 0 0 0]
文章B： [1 2 0 1 1 2]
第八步：计算余弦相似度值
3/sqrt(33)= 0.5222329678670935
references：
(1) https://en.wikipedia.org/wiki/Tf%E2%80%93idf
(2) http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html
<tf-idf + 余弦相似度> 计算文章的相似度
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。