花了一段时间学习lucene今天有时间把所学的写下来，网上有很多文章但大部分都是2.X和3.X版本的（当前最新版本4.9）,希望这篇文章对自己和初学者有所帮助。

   学习目录
（1）什么是lucene
（2）lucene常用类详解
（3）lucene简单实例
（4）lucene常用分词器
（5）lucene多条件查询
（6）修改删除索引
（7）lucene优化、排序
（8）lucene高亮显示
（9）lucene分页
（10）lucene注意几点

一、什么是lucene

二、lucene常用类

三、lucene简单实例

     

       

[java] view plain copy

1. private String filePath = "F:/myEclipse10/workspace/luceneTest/src/resource.txt";// 源文件所在位置  
2.     private String indexDir = "F:/myEclipse10/workspace/luceneTest/src/index";// 索引目录  
3.     private static final Version VERSION = Version.LUCENE_47;// lucene版本  

   3、创建索引方法

      

[java] view plain copy

1. /** 
2.      * 创建索引 
3.      *  
4.      * @throws IOException 
5.      */  
6.     @Test  
7.     public void createIndex() throws IOException {  
8.         Directory director = FSDirectory.open(new File(indexDir));// 创建Directory关联源文件  
9.         Analyzer analyzer = new StandardAnalyzer(VERSION);// 创建一个分词器  
10.         IndexWriterConfig indexWriterConfig = new IndexWriterConfig(VERSION, analyzer);// 创建索引的配置信息  
11.         IndexWriter indexWriter = new IndexWriter(director, indexWriterConfig);  
12.         Document doc = new Document();// 创建文档  
13.         String str = fileToString();// 读取txt中内容  
14.         Field field1 = new StringField("title", "lucene测试", Store.YES);// 标题 StringField索引存储不分词  
15.         Field field2 = new TextField("content", str, Store.NO);// 内容 TextField索引分词不存储  
16.         Field field3 = new DoubleField("version", 1.2, Store.YES);// 版本 DoubleField类型  
17.         Field field4 = new IntField("score", 90, Store.YES);// 评分 IntField类型  
18.         doc.add(field1);// 添加field域到文档中  
19.         doc.add(field2);  
20.         doc.add(field3);  
21.         doc.add(field4);  
22.         indexWriter.addDocument(doc);// 添加文本到索引中  
23.         indexWriter.close();// 关闭索引  
24.     }  

    4、查询搜索方法

[java] view plain copy

1. /** 
2.      * 查询搜索 
3.      *  
4.      * @throws IOException 
5.      * @throws ParseException 
6.      */  
7.     @Test  
8.     public void query() throws IOException, ParseException {  
9.         IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(indexDir)));// 索引读取类  
10.         IndexSearcher search = new IndexSearcher(reader);// 搜索入口工具类  
11.         String queryStr = "life";// 搜索关键字  
12.         QueryParser queryParser = new QueryParser(VERSION, "content", new StandardAnalyzer(VERSION));// 实例查询条件类  
13.         Query query = queryParser.parse(queryStr);  
14.         TopDocs topdocs = search.search(query, 100);// 查询前100条  
15.         System.out.println("查询结果总数---" + topdocs.totalHits);  
16.         ScoreDoc scores[] = topdocs.scoreDocs;// 得到所有结果集  
17.         for (int i = 0; i < scores.length; i++) {  
18.             int num = scores[i].doc;// 得到文档id  
19.             Document document = search.doc(num);// 拿到指定的文档  
20.             System.out.println("内容====" + document.get("content"));// 由于内容没有存储所以执行结果为null  
21.             System.out.println("标题====" + document.get("title"));  
22.             System.out.println("版本====" + document.get("version"));  
23.             System.out.println("评分====" + document.get("score"));  
24.             System.out.println("id--" + num + "---scors--" + scores[i].score + "---index--" + scores[i].shardIndex);  
25.         }  
26.     }  

5、读取文本内容

[java] view plain copy

1. /** 
2.      * 读取文件的内容 
3.      *  
4.      * @return 
5.      * @throws IOException 
6.      */  
7.     public String fileToString() throws IOException {  
8.         StringBuffer sb = new StringBuffer();  
9.         InputStream inputStream = new FileInputStream(new File(filePath));  
10.         InputStreamReader inputStreamReader = new InputStreamReader(inputStream);  
11.         BufferedReader br = new BufferedReader(inputStreamReader);  
12.         String line = null;  
13.         while ((line = br.readLine()) != null) {  
14.             sb.append(line);  
15.         }  
16.         br.close();  
17.         inputStreamReader.close();  
18.         inputStream.close();  
19.         return sb.toString();  
20.     }  

运行结果：

 

四、lucene常用分词器

[java] view plain copy

1. public class AnalyzerTest {  
2.     private static final Version VERSION = Version.LUCENE_47;// lucene版本  
3.   
4.     @Test  
5.     public void test() throws IOException {  
6.         String txt = "我是中国人";  
7.         Analyzer analyzer1 = new StandardAnalyzer(VERSION);// 标准分词器  
8.         // Analyzer analyzer2 = new SimpleAnalyzer(VERSION);// 简单分词器  
9.         // Analyzer analyzer3 = new CJKAnalyzer(VERSION);// 二元切分  
10.         // Analyzer analyzer4 = new IKAnalyzer(false);// 语意分词  
11.         TokenStream tokenstream = analyzer1.tokenStream("content", new StringReader(txt));// 生成一个分词流  
12.         // TokenStream tokenstream = analyzer2.tokenStream("content", new StringReader(txt));  
13.         // TokenStream tokenstream = analyzer3.tokenStream("content", new StringReader(txt));  
14.         // TokenStream tokenstream = analyzer4.tokenStream("content", new StringReader(txt));  
15.         CharTermAttribute termAttribute = tokenstream.addAttribute(CharTermAttribute.class);// 为token设置属性类  
16.         tokenstream.reset();// 重新设置  
17.         while (tokenstream.incrementToken()) {// 遍历得到token  
18.             System.out.print(new String(termAttribute.buffer(), 0, termAttribute.length()) + "  ");  
19.         }  
20.     }  
21. }  

运行结果：

五、lucene多条件查询

[java] view plain copy

1. public class MultiseQueryTest {  
2.     private String indexDir = "F:/myEclipse10/workspace/luceneTest/src/index";// 索引目录  
3.     private static final Version VERSION = Version.LUCENE_47;// lucene版本  
4.   
5.     /** 
6.      * 多条件查询 查询内容必须包含life内容和评分大于等于80分的结果 
7.      *  
8.      * @throws IOException 
9.      * @throws ParseException 
10.      */  
11.     @Test  
12.     public void query() throws IOException, ParseException {  
13.         IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(indexDir)));// 索引读取类  
14.         IndexSearcher search = new IndexSearcher(reader);// 搜索入口工具类  
15.         String queryStr1 = "life";// 搜索关键字  
16.         BooleanQuery booleanQuery = new BooleanQuery();  
17.         // 条件一内容中必须要有life内容  
18.         QueryParser queryParser = new QueryParser(VERSION, "content", new StandardAnalyzer(VERSION));// 实例查询条件类  
19.         Query query1 = queryParser.parse(queryStr1);  
20.         // 条件二评分大于等于80  
21.         Query query2 = NumericRangeQuery.newIntRange("score", 80, null, true, false);  
22.         booleanQuery.add(query1, BooleanClause.Occur.MUST);  
23.         booleanQuery.add(query2, BooleanClause.Occur.MUST);  
24.         TopDocs topdocs = search.search(booleanQuery, 100);// 查询前100条  
25.         System.out.println("查询结果总数---" + topdocs.totalHits);  
26.         ScoreDoc scores[] = topdocs.scoreDocs;// 得到所有结果集  
27.         for (int i = 0; i < scores.length; i++) {  
28.             int num = scores[i].doc;// 得到文档id  
29.             Document document = search.doc(num);// 拿到指定的文档  
30.             System.out.println("内容====" + document.get("content"));// 由于内容没有存储所以执行结果为null  
31.             System.out.println("标题====" + document.get("title"));  
32.             System.out.println("版本====" + document.get("version"));  
33.             System.out.println("评分====" + document.get("score"));  
34.             System.out.println("id--" + num + "---scors--" + scores[i].score + "---index--" + scores[i].shardIndex);  
35.         }  
36.     }  
37. }  

运行结果就不粘上去了。本例子运用了NumericRangeQuery创建一个查询条件（还有很多其他的类有兴趣可以一一实验下），五个参数分别为字段域、最小值、最大值、是否包含最小值、是否包含最大值。一开始很迷茫为什么必须要设置最大值和最小值呢？如果我是单范围查询呢？后来看api才发现单范围时可以用null或者把是否包含范围值设为false就行了。

对于多条件查询还有其他的一些实现类比如 MultiFieldQueryParser.parse()来创建一个Query有多个参数，比较简单查下api就能明白。

六、修改删除索引

同样利用测试一创建的索引。

（1）更新索引

[java] view plain copy

1. /** 
2.      * 修改索引 
3.      *  
4.      * @throws IOException 
5.      */  
6.     @Test  
7.     public void updateIndex() throws IOException {  
8.         Directory director = FSDirectory.open(new File(indexDir));// 创建Directory关联源文件  
9.         Analyzer analyzer = new StandardAnalyzer(VERSION);// 创建一个分词器  
10.         IndexWriterConfig indexWriterConfig = new IndexWriterConfig(VERSION, analyzer);// 创建索引的配置信息  
11.         IndexWriter indexWriter = new IndexWriter(director, indexWriterConfig);  
12.         Document doc = new Document();// 创建文档  
13.         Field field1 = new StringField("title", "lucene", Store.YES);// 标题 StringField索引存储不分词  
14.         Field field2 = new TextField("content", "Is there life on Mars", Store.NO);// 内容 TextField索引分词不存储  
15.         Field field3 = new DoubleField("version", 2.0, Store.YES);// 版本 DoubleField类型  
16.         Field field4 = new IntField("score", 90, Store.YES);// 评分 IntField类型  
17.         doc.add(field1);// 添加field域到文档中  
18.         doc.add(field2);  
19.         doc.add(field3);  
20.         doc.add(field4);  
21.         indexWriter.updateDocument(new Term("title", "lucene测试"), doc);  
22.         indexWriter.commit();  
23.         indexWriter.close();  
24.     }  

运行结果：前后对比
注意：（1）所谓的更新索引是分两步进行的：先删除然后再添加索引，添加的索引占用删除前索引的位置；如果在删除索引时lucene在索引文件中找不到相应的数据，就会在索引文件的最后面添加新的索引。

           （2）如果我把indexWriter.updateDocument(new Term("title", "lucene测试"), doc);换成indexWriter.updateDocument(new Term("title"), doc);的话同样是新创建索引。

           （3）更新索引时必须把其他的字段域都加上否则你只是创建了你添加了的字段域索引。例如你只添加了title字段域，在查询时其他的字段都会查不到。

（2）删除索引

        

[java] view plain copy

1. /** 
2.      * 删除索引 
3.      *  
4.      * @throws IOException 
5.      */  
6.     @Test  
7.     public void deleteIndex() throws IOException {  
8.         Directory director = FSDirectory.open(new File(indexDir));// 创建Directory关联源文件  
9.         Analyzer analyzer = new StandardAnalyzer(VERSION);// 创建一个分词器  
10.         IndexWriterConfig indexWriterConfig = new IndexWriterConfig(VERSION, analyzer);// 创建索引的配置信息  
11.         IndexWriter indexWriter = new IndexWriter(director, indexWriterConfig);  
12.         indexWriter.deleteDocuments(new Term("title", "lucene"));  
13.         indexWriter.commit();  
14.         // indexWriter.rollback();  
15.         indexWriter.close();  
16.     }  

删除索引就比较简单了，直接找到对应的字段域调用deleteDocuments方法。

注意：网上有很多说在以前的版本可以能过IndexWriter.undeleteAll()恢复已删除的版本，在4.7中已经没有这个方法了，要想恢复只有通过indexWriter.rollback();有点像数据库中的事务。但有个疑问不解：IndexWriter.forceMergeDeletes();在之前版本是删除已经删除的索引删除回收站的文件，但在4.7中还有这个方法，已经没有undeleteAll方法了那forceMergeDeletes方法又起什么作用呢？

七、lucene优化、排序

（1）优化lucene能过forceMerge方法来将当小文件达到多少个时，就自动合并多个小文件为一个大文件，因为它的使用代价较高不意见使用此方法，默认情况下lucene会自己合并。

[java] view plain copy

1. /** 
2.  * 优化 
3.  *  
4.  * @throws IOException 
5.  */  
6. @Test  
7. public void optimize() throws IOException {  
8.     Directory director = FSDirectory.open(new File(indexDir));// 创建Directory关联源文件  
9.     Analyzer analyzer = new StandardAnalyzer(VERSION);// 创建一个分词器  
10.     IndexWriterConfig indexWriterConfig = new IndexWriterConfig(VERSION, analyzer);// 创建索引的配置信息  
11.     IndexWriter indexWriter = new IndexWriter(director, indexWriterConfig);  
12.     indexWriter.forceMerge(1);// 当小文件达到多少个时，就自动合并多个小文件为一个大文件  
13.     indexWriter.close();  
14. }  

（2）排序lucene  lucene默认情况下是根据“评分机制”来进行排序的，也就是scores[i].score属性值。如果两个文档得分相同，那么就按照发布时间倒序排列；否则就按照分数排列。

修改下创建索引的方法如下：

[java] view plain copy

1. /** 
2.      * 创建索引 
3.      *  
4.      * @throws IOException 
5.      */  
6.     @Test  
7.     public void createIndex() throws IOException {  
8.         Directory director = FSDirectory.open(new File(indexDir));// 创建Directory关联源文件  
9.         Analyzer analyzer = new StandardAnalyzer(VERSION);// 创建一个分词器  
10.         IndexWriterConfig indexWriterConfig = new IndexWriterConfig(VERSION, analyzer);// 创建索引的配置信息  
11.         IndexWriter indexWriter = new IndexWriter(director, indexWriterConfig);  
12.         for (int i = 1; i <= 5; i++) {  
13.             Document doc = new Document();// 创建文档  
14.             Field field1 = new StringField("title", "标题" + i, Store.YES);// 标题 StringField索引存储不分词  
15.             Field field2 = new TextField("content", "201" + i + "文章内容", Store.NO);// 内容 TextField索引分词不存储  
16.             Field field3 = new DoubleField("version", 1.2, Store.YES);// 版本 DoubleField类型  
17.             Field field4 = new IntField("score", 90 + i, Store.YES);// 评分 IntField类型  
18.             Field field5 = new StringField("date", "2014-07-0" + i, Store.YES);// 评分 IntField类型  
19.             doc.add(field1);// 添加field域到文档中  
20.             doc.add(field2);  
21.             doc.add(field3);  
22.             doc.add(field4);  
23.             doc.add(field5);  
24.             indexWriter.addDocument(doc);// 添加文本到索引中  
25.         }  
26.         indexWriter.close();// 关闭索引  
27.     }  

首先看下默认情况下排序结果：

[java] view plain copy

1. /** 
2.      * 排序 
3.      *  
4.      * @throws IOException 
5.      * @throws ParseException 
6.      */  
7.     @Test  
8.     public void defaultSortTest() throws IOException, ParseException {  
9.         IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(indexDir)));// 索引读取类  
10.         IndexSearcher search = new IndexSearcher(reader);// 搜索入口工具类  
11.         String queryStr = "文章";// 搜索关键字  
12.         QueryParser queryParser = new QueryParser(VERSION, "content", new StandardAnalyzer(VERSION));// 实例查询条件类  
13.         Query query = queryParser.parse(queryStr);  
14.         TopDocs topdocs = search.search(query, 100);// 查询前100条  
15.         System.out.println("查询结果总数---" + topdocs.totalHits);  
16.         ScoreDoc scores[] = topdocs.scoreDocs;// 得到所有结果集  
17.         for (int i = 0; i < scores.length; i++) {  
18.             int num = scores[i].doc;// 得到文档id  
19.             Document document = search.doc(num);// 拿到指定的文档  
20.             System.out.println("内容====" + document.get("content"));// 由于内容没有存储所以执行结果为null  
21.             System.out.println("标题====" + document.get("title"));  
22.             System.out.println("版本====" + document.get("version"));  
23.             System.out.println("评分====" + document.get("score"));  
24.             System.out.println("日期====" + document.get("date"));  
25.             System.out.println("id--" + num + "---scors--" + scores[i].score + "---index--" + scores[i].shardIndex);  
26.         }  
27.     }  
28. }  

五个文章评分相同会那么就按照发布时间倒序排列。

接下来根据字段score域降序排序，只需修改两行代码。

[java] view plain copy

1. Sort sort = new Sort(new SortField("score", SortField.Type.INT, true));// false升序true降序  
2.         TopDocs topdocs = search.search(query, 100, sort);// 查询前100条  

运行结果：

八、lucene高亮显示

 高亮显示，就是根据用户输入的检索关键字，检索找到该关键字对应的检索结果文件，提取对应于该文件的摘要文本，然后根据设置的高亮格式，将格式写入到摘要文本中对应的与关键字相同或相似的词条上，在网页上显示出来，该摘要中的与关键字有关的文本就会以高亮的格式显示出来。

高亮显示需要几个实现类：
（1）Fragmenter接口。作用是将原始字符串拆分成独立的片段。有三个实现类： NullFragmenter 是该接口的一个具体实现类，它将整个字符串作为单个片段返回，这适合于处理title域和前台文本较短的域，而对于这些域来说，我们是希望在搜索结果中全部展示。SimpleFragmenter 是负责将文本拆分封固定字符长度的片段，但它并处理子边界。你可以指定每个片段的字符长度（默认情况100）但这类片段有点过于简单，在创建片段时，他并不限制查询语句的位置，因此对于跨度的匹配操作会轻易被拆分到两个片段中； SimpleSpanFragmenter 是尝试将让片段永远包含跨度匹配的文档。
（2）Scorer接口。Fragmenter输出的是文本片段序列，而Highlighter必须从中挑选出最适合的一个或多个片段呈现给客户，为了做到这点，Highlighter会要求Scorer来对每个片段进行评分。有两个实现类：QueryTermScorer 基于片段中对应Query的项数进行评分。QueryScorer只对促成文档匹配的实际项进行评分。
（3）Formatter接口。它负责将片段转换成String形式，以及将被高亮显示的项一起用于搜索结果展示以及高亮显示。有两个类：SimpleHTMLFormatter简单的html格式。GradientFormatter复杂型式对不同的得分实现不同的样式。

[java] view plain copy

1. /** 
2.      * 高亮 
3.      *  
4.      * @throws IOException 
5.      * @throws ParseException 
6.      * @throws InvalidTokenOffsetsException 
7.      */  
8.     @Test  
9.     public void highlighter() throws IOException, ParseException, InvalidTokenOffsetsException {  
10.         IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(indexDir)));// 索引读取类  
11.         IndexSearcher search = new IndexSearcher(reader);// 搜索入口工具类  
12.         Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_47);// 分词器  
13.         QueryParser qp = new QueryParser(Version.LUCENE_47, "content", analyzer);// 实例查询条件类  
14.         Query query = qp.parse("文章");  
15.         TopDocs topDocs = search.search(query, 100);// 查询前100条  
16.         System.out.println("共查询出:" + topDocs.totalHits + "条数据");  
17.         ScoreDoc scoreDoc[] = topDocs.scoreDocs;// 结果集  
18.         // 高亮  
19.         Formatter formatter = new SimpleHTMLFormatter("<font color=‘red‘>", "</font>");// 高亮html格式  
20.         Scorer score = new QueryScorer(query);// 检索评份  
21.         Fragmenter fragmenter = new SimpleFragmenter(100);// 设置最大片断为100  
22.         Highlighter highlighter = new Highlighter(formatter, score);// 高亮显示类  
23.         highlighter.setTextFragmenter(fragmenter);// 设置格式  
24.         for (int i = 0; i < scoreDoc.length; i++) {// 遍历结果集  
25.             int docnum = scoreDoc[i].doc;  
26.             Document doc = search.doc(docnum);  
27.             String content = doc.get("content");  
28.             System.out.println(content);// 原内容  
29.             if (content != null) {  
30.                 TokenStream tokenStream = analyzer.tokenStream("content", new StringReader(content));  
31.                 String str = highlighter.getBestFragment(tokenStream, content);// 得到高亮显示后的内容  
32.                 System.out.println(str);  
33.             }  
34.         }  
35.     }  

选择结果：

九、lucene分页

 

lucene的分页有两种方式：(1)查询出所有结果然后进行分布。（2）通过TopScoreDocCollector.topDocs(int num1,int num2)来实现分页。

  

[java] view plain copy

1. /** 
2.      * 分页 
3.      *  
4.      * @throws IOException 
5.      * @throws ParseException 
6.      */  
7.     @Test  
8.     public void pageTest() throws IOException, ParseException {  
9.         IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(indexDir)));// 索引读取类  
10.         IndexSearcher search = new IndexSearcher(reader);// 搜索入口工具类  
11.         String queryStr = "文章";// 搜索关键字  
12.         QueryParser queryParser = new QueryParser(VERSION, "content", new StandardAnalyzer(VERSION));// 实例查询条件类  
13.         Query query = queryParser.parse(queryStr);// 查询  
14.         TopScoreDocCollector results = TopScoreDocCollector.create(100, false);// 结果集  
15.         search.search(query, results);// 查询前100条  
16.         TopDocs topdocs = results.topDocs(1, 2);// 从结果集中第1条开始取2条  
17.         ScoreDoc scores[] = topdocs.scoreDocs;// 得到所有结果集  
18.         for (int i = 0; i < scores.length; i++) {  
19.             int num = scores[i].doc;// 得到文档id  
20.             Document document = search.doc(num);// 拿到指定的文档  
21.             System.out.println("内容====" + document.get("content"));// 由于内容没有存储所以执行结果为null  
22.             System.out.println("标题====" + document.get("title"));  
23.             System.out.println("版本====" + document.get("version"));  
24.             System.out.println("评分====" + document.get("score"));  
25.             System.out.println("id--" + num + "---scors--" + scores[i].score + "---index--" + scores[i].shardIndex);  
26.         }  
27.     }  

十、lucene注意几点

其实任何好的框架都有他的缺陷,lucene也不例外，下面这几点是网上找的也是我们开发中要注意的地方。
1、lucene的索引不能太大，要不然效率会很低。大于1G的时候就必须考虑分布索引的问题
2、不建议用多线程来建索引，产生的互锁问题很麻烦。经常发现索引被lock，无法重新建立的情况
3、中文分词是个大问题，目前免费的分词效果都很差。如果有能力还是自己实现一个分词模块，用最短路径的切分方法，网上有教材和demo源码，可以参考。
4、建增量索引的时候很耗cpu，在访问量大的时候会导致cpu的idle为0
5、默认的评分机制不太合理，需要根据自己的业务定制
整体来说lucene要用好不容易，必须在上述方面扩充他的功能，才能作为一个商用的搜索引擎。