首页 > 代码库 > Elasticsearch搜索之explain评分分析
Elasticsearch搜索之explain评分分析
Lucene的IndexSearcher提供一个explain方法，能够解释Document的Score是怎么得来的，具体每一部分的得分都可以详细地打印出来。这里用一个中文实例来纯手工验算一遍Lucene的评分算法，并且结合Lucene的源码做一个解释。
首先是测试用例，我使用“北京东路”来检索一个含有address域的文档。
然后是是输出，注意它有缩进，代表一个个的层级，下面以测试环境数据作为举例:
{
"value" : 0.7271681,
"description" : "max of:",
"details" : [ {
"value" : 0.7271681,
"description" : "sum of:",
"details" : [ {
"value" : 0.43069553,
"description" : "weight(address:北京 in 787) [PerFieldSimilarity], result of:",
"details" : [ {
"value" : 0.43069553,
"description" : "score(doc=787,freq=1.0), product of:",
"details" : [ {
"value" : 0.34374008,
"description" : "queryWeight, product of:",
"details" : [ {
"value" : 5.0118747,
"description" : "idf(docFreq=2104, maxDocs=116302)"
}, {
"value" : 0.06858513,
"description" : "queryNorm"
} ]
}, {
"value" : 1.2529687,
"description" : "fieldWeight in 787, product of:",
"details" : [ {
"value" : 1.0,
"description" : "tf(freq=1.0), with freq of:",
"details" : [ {
"value" : 1.0,
"description" : "termFreq=1.0"
} ]
}, {
"value" : 5.0118747,
"description" : "idf(docFreq=2104, maxDocs=116302)"
}, {
"value" : 0.25,
"description" : "fieldNorm(doc=787)"
} ]
} ]
} ]
}, {
"value" : 0.29647252,
"description" : "weight(address:东路 in 787) [PerFieldSimilarity], result of:",
"details" : [ {
"value" : 0.29647252,
"description" : "score(doc=787,freq=1.0), product of:",
"details" : [ {
"value" : 0.2851919,
"description" : "queryWeight, product of:",
"details" : [ {
"value" : 4.158218,
"description" : "idf(docFreq=4942, maxDocs=116302)"
}, {
"value" : 0.06858513,
"description" : "queryNorm"
} ]
}, {
"value" : 1.0395545,
"description" : "fieldWeight in 787, product of:",
"details" : [ {
"value" : 1.0,
"description" : "tf(freq=1.0), with freq of:",
"details" : [ {
"value" : 1.0,
"description" : "termFreq=1.0"
} ]
}, {
"value" : 4.158218,
"description" : "idf(docFreq=4942, maxDocs=116302)"
}, {
"value" : 0.25,
"description" : "fieldNorm(doc=787)"
} ]
} ]
} ]
} ]
} ]
}
|
这个看起来可真是头疼，尝试解释一下：
首先，需要学习Lucene的评分计算公式——
分值计算方式为查询语句q中每个项t与文档d的匹配分值之和，当然还有权重的因素。其中每一项的意思如下表所示：
|
表3.5 |
评分公式中的因子 |
|
评分因子 |
描 述 |
|
tf(t in d) |
项频率因子——文档（d)中出现项（t)的频率 |
|
idf(t) |
项在倒排文档中出现的频率：它被用来衡量项的“唯一”性.出现频率较高的term具有较低的idf,出现较少的term具有较高的idf |
|
boost(t.field in d) |
域和文档的加权，在索引期间设置.你可以用该方法 对某个域或文档进行静态单独加权 |
|
lengthNorm(t.field in d) |
域的归一化（Normalization)值，表示域中包含的项数量.该值在索引期间计算，并保存在索引norm中.对于该因子，更短的域（或更少的语汇单元）能获得更大的加权 |
|
coord(q,d) |
协调因子（Coordination factor),基于文档中包含查询的项个数.该因子会对包含更多搜索项的文档进行类似AND的加权 |
|
queryNorm(q) |
每个査询的归一化值，指毎个查询项权重的平方和 |
总匹配分值的计算
具体到上面的测试来讲，地址字段address匹配了二个词条，先分别计算每个词条对应的分值，然后相加，最后结果= ("北京") 0.43069553+ (“东路”)0.29647252=0.7271681 (结果舍入)。
查询语句在某个field匹配分值计算
这个0.43069553是如何来的呢？这是词条“北京”在field中的分值=查询权重queryWeight * 域权重fieldWeight 即 0.34374008*1.2529687=0.43069553。
同埋“东路”这个词条在field中的分值=查询权重queryWeight * 域权重fieldWeight 即 0.2851919*1.0395545=0.29647252
queryWeight的计算
queryWeight的计算可以在TermQuery$TermWeight.normalize(float)方法中看到计算的实现：
public void normalize(float queryNorm) {
this.queryNorm = queryNorm;
//原来queryWeight 为idf*t.getBoost()，现在为queryNorm*idf*t.getBoost()。
queryWeight *= queryNorm;
value = queryWeight * idf;
}
其实默认情况下，queryWeight = idf * queryNorm，因为Lucene中默认的boost = 1.0。
以“北京”这个词条为例，查询权重queryWeight = idf * queryNorm，即 0.34374008 = 5.0118747*0.06858513。
idf的计算
idf是项在倒排文档中出现的频率，计算方式为
/** Implemented as <code>log(numDocs/(docFreq+1)) + 1</code>. */
@Overrid
public float idf(long docFreq, long numDocs) {
return (float)(Math.log(numDocs/(double)(docFreq+1)) + 1.0);
｝
docFreq是根据指定关键字进行检索，检索到的Document的数量，我们测试“北京”词条的docFreq=2104；
numDocs是指索引文件中总共的Document的数量，对应explain结果中的maxDocs，我们测试的maxDocs=116302。
用计算器验证一下，没有错误，这里就不啰嗦了。
fieldWeight的计算
fieldWeight = tf * idf * fieldNorm
tf和idf的计算参考前面的，fieldNorm的计算在索引的时候确定了，此时直接从索引文件中读取，这个方法并没有给出直接的计算。
如果使用DefaultSimilarity的话，它实际上就是lengthNorm，域越长的话Norm越小，在org/apache/lucene/search/similarities/DefaultSimilarity.java里面有关于它的计算：
public float lengthNorm(FieldInvertState state) {
final int numTerms;
if (discountOverlaps)
numTerms = state.getLength() - state.getNumOverlap();
else
numTerms = state.getLength();
return state.getBoost() * ((float) (1.0 / Math.sqrt(numTerms)));
}
这个我就不再验算了，每个域的Terms数量开方求倒数乘以该域的boost得出最终的结果。
Elasticsearch搜索之explain评分分析