首页 > 代码库 > lucene中文分词——(四)

lucene中文分词——(四)

1.分析器的执行过程:

 

技术分享

 

第一个 TokenFilter将大写字母变为小写,第二次分词去掉空格并换行,第三次去掉不要的 and或者标点符号

 

2.中文分词器介绍:

(1)lucene自带的

技术分享

 

(2)第三方的

技术分享

技术分享