首页 > 代码库 > 全文检索之lucene入门篇HelloWorld

全文检索之lucene入门篇HelloWorld

       首先,先看下目录结构。

技术分享

       第一步,在eclipse中建立jave项目。需要引入jar包,只有3个,分别是lucene的分词器和核心包,还有高亮显示器。做法是建立一个lib文件夹,将jar包拷过来,然后右击,选择Build Path(构建路径),Addto Build Path(添加到项目的构建路径)。

技术分享

          然后建立datasource文件夹,添几个txt的文件进去,内容爱写啥写啥。(但是建议是一个是中文,一个是英文,可以测两种语言的分词)。还有luceneIndex文件夹,用来存放创建的索引.

         其中,IndexWriteraddDocument‘s a javadoc.txt的内容是

Adds room adocument to this room index. If the room document contains room  more than setMaxFieldLength(int) terms for agiven field, the remainder are discarded.

         小笑话_总统的房间 Room .txt 的内容是

总统的房间

   一位绅士到旅游胜地的一家饭店要开个房间,

   侍者因为他没有预定而拒绝说:“房间全满,无法安排。”

    “听着!”绅士说,“假如我告诉你总统要到这里来,你一定会马上向他提供一套客房吧?”

    “当然啦,他是总……”

    “好了,我荣幸地通知你:总统今晚不来了。你把他的房间给我吧!”

          然后建立包,com.lucene.helloworld,新建一个HelloWorld的类。里面主要的两个方法就是建立索引,以及查询关键字。

package com.lucene.helloworld;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriter.MaxFieldLength;
import org.apache.lucene.queryParser.MultiFieldQueryParser;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Filter;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.junit.Test;

import com.lucene.units.File2DocumentUtils;

public class HelloWorld {
	//需要查询的文件所在的路径	
	String filePath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\datasource\\peoplewhocannot.txt";
	//设置索引存放的路径
	String indexPath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\luceneIndex";
	//设置分词器为标准分词器
	Analyzer analyzer = new StandardAnalyzer();
	
	/**
	 * 创建索引,先将文件File转化为Document类型,然后用IndexWriter,将Document按照设定的分词器和其他规则,创建索引,存到相应路径中
	 */
	@Test
	public void createIndex() throws Exception {
		Document doc = File2DocumentUtils.file2Document(filePath);
		
		IndexWriter indexWriter = new IndexWriter(indexPath,analyzer,true,MaxFieldLength.LIMITED);
		indexWriter.addDocument(doc);
		
		indexWriter.close();
	}
	
	/**
	 * 搜索,查询关键字queryString,先设置查询的范围,在"名称"和"内容"中查询。然后用IndexSearcher来查询,
	 * 通过查询索引来将结果返回。返回的结果是TopDocs类型,还需要进行处理才能拿到结果。
	 */
	@Test
	public void search() throws Exception {
		String queryString = "Internet";
		
		String[] fields = {"name","content"};
		QueryParser queryParser = new MultiFieldQueryParser(fields,analyzer);
		Query query = queryParser.parse(queryString);
		
		IndexSearcher indexSearcher = new IndexSearcher(indexPath);
		Filter filter = null;
		//查询前10000条记录
		TopDocs topDocs = indexSearcher.search(query,filter,10000);
		
		System.out.println("总共有["+topDocs.totalHits+"]条匹配结果");
		
		//将查询出的结果的scoreDocs进行遍历
		for (ScoreDoc scoreDoc : topDocs.scoreDocs ) {
			//取出文件的doc编号
			int docSn = scoreDoc.doc; 
			//根据编号,用indexSearcher查找到document文件
			Document doc = indexSearcher.doc(docSn);
			//将Document文件内容打印出来
			File2DocumentUtils.printDocumentInfo(doc);
		};
	}
}

    接着,由于里面用了File2DocumentUtils类的printDocumentInfo()file2Document(),打印Document内容和File转换为Document两个方法。看看File2DocummentUtils文件内容.

package com.lucene.units;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.InputStreamReader;

import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.NumberTools;
import org.apache.lucene.document.Field.Index;
import org.apache.lucene.document.Field.Store;

/**
 * File转化为Document的工具类
 * @author liuyanling
 *
 */
public class File2DocumentUtils {
	
	/**
	 * 文件File转为Document.先根据路径,读取出File文件.然后根据文件的Name,content,size,path来建立索引,确认是否存储.
	 * @param path
	 * @return Document,被转换好的结果
	 */
	public static Document file2Document(String path) {
		File file = new File(path);
		
		Document doc = new Document();
		//将文件名和内容分词,建立索引,存储;而内容通过readFileContent方法读取出来。
		doc.add(new Field("name",file.getName(),Store.YES,Index.ANALYZED));
		doc.add(new Field("content",readFileContent(file),Store.YES,Index.ANALYZED));
		//将文件大小存储,但建立索引,但不分词;路径则不需要建立索引
		doc.add(new Field("size",String.valueOf(file.length()),Store.YES,Index.NOT_ANALYZED));
		doc.add(new Field("path",file.getPath(),Store.YES,Index.NO));
		
		return doc;
		
	}
	
	/**
	 * 读取文件内容。通过FileInputStream文件输入流,InputStreamReader读取输入流,再用BufferedReader包装,可以readLine
	 * 一行一行将数据取出。
	 * @param file 文件对象
	 * @return String,文件中的内容
	 */
	public static String readFileContent(File file) {
		try {
			BufferedReader reader = new BufferedReader (new InputStreamReader(new FileInputStream(file)));
			//存储File的内容
			StringBuffer content = new StringBuffer();
			
			for(String line = null;(line = reader.readLine()) != null;) {
				content.append(line).append("\n");
			}
			
			return content.toString();
				
		} catch (Exception e) {
			throw new RuntimeException();
		}
	}
	
	/**
	 * 将Document文件的内容打印出来,直接根据之前建立索引的使用的字段名,get出字段内容,打印
	 * @param doc
	 */
	public static void printDocumentInfo(Document doc) {
//		//第一种读取方式,先getfiled,然后stringValue
//		Field r = doc.getField("name");
//		r.stringValue();
		
		//第二种读取方式,直接get
		System.out.println("name ="+doc.get("name"));
		System.out.println("content =" +doc.get("content"));
		System.out.println("size =" +doc.get("size"));
		System.out.println("path =" +doc.get("path"));
	}
 }

    代码写完了,先创建索引,在createIndex方法上右击Run As选择Junit Test,进行单元测试。

技术分享

   测试成功之后,就可以看到index增加了,说明索引添加了。

技术分享

    然后测试测试,查询的结果如下。只查询到一个结果,将namecontextsize和路径都打印出来了。

技术分享

         以上就是简单的全文检索查询,缺陷有很多,比如索引的存放位置是事先手动创建的,比如没有进行查询结果的高亮设置,比如对于分词器也只使用了标准的分词器。所以,改进请见下篇《全文检索之lucene的优化篇--创建索引存放的目录》.


全文检索之lucene入门篇HelloWorld