首页 > 代码库 > 信息检索的知识点的整理
信息检索的知识点的整理
这里是我整理的一些自己知道的信息检索知识的备忘
document: 相当于数据块里的一条记录
field: 相当于数据库里的一列
term: 指某个field的词,英文单词一般会转词的原型
tf:term在field内的词频率函数
df:term在全文档集合内的频率函数
idf:term在全文档集合内的逆向频率函数(一般取反再取log)
position info:倒排信息,一般含docid,tf和term在对应field出现的位置,索引存储最占空间的一部分
query
布尔查询
词典:存term的结构,磁盘内一般用排好序的多级跳转表,或者b+树,内存里实现用hash,红黑树或者字典树
正向关系:文档——》包含的所有term
反向关系:term——》包含该term的所有文档
topN:指最符合搜索条件的前N条结果,可以用堆结构获取最高的N条。
查全率
查准率
F测度
索引分割的好处
词典的压缩
倒排表的压缩
倒排表的合并策略
Lucene的索引合并
BM25相关度打分
VSM相关度打分
词项邻近度打分
信息检索的知识点的整理
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。