首页 > 代码库 > lucene_indexWriter说明、索引库优化

lucene_indexWriter说明、索引库优化

IndexWriter

Hibernate的SessionFactory
在Hibernate中,一般保持一个数据库就只有一个SessionFactory。因为在SessionFactory中维护二级缓存,而SessionFactory又是线程安全的。所以SessionFactory是共享的。
lucene的IndexWriter
如果同时在一个索引库中同时建立两个IndexWriter,例如:
		IndexWriter indexWriter = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);
		IndexWriter indexWriter2 = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);

这样的代码会出现异常
而lucene的目录结构:

.会出现write.lock这个文件。因为当一个IndexWriter在进行读索引库操作的时候,lucene会为索引库,以防止其他IndexWriter访问索引库而导致数据不一致,直到IndexWriter关闭为止。
结论:同一个索引库只能有一个IndexWriter进行操作。
封装IndexWriter的类LuceneUtils
public class LuceneIndexWriter {
	private static IndexWriter indexWriter = null;

	public static IndexWriter getIndexWriter() {
		if (indexWriter == null) {
			try {
				indexWriter = new IndexWriter(LuceneUtils.directory,
						LuceneUtils.analyzer, MaxFieldLength.LIMITED);
			} catch (CorruptIndexException e) {
				e.printStackTrace();
			} catch (LockObtainFailedException e) {
				e.printStackTrace();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		return indexWriter;
	}

	public static void close() {
		if (indexWriter != null) {
			try {
				indexWriter.close();
			} catch (CorruptIndexException e) {
				e.printStackTrace();
			} catch (IOException e) {
				e.printStackTrace();
			}
		} else {
			System.out.println("indexWriter为空,不能关闭!");
		}
	}
}

注:这里用单例模式做比较好。
/**
 * 1、索引库的增、删、改是由indexWriter来操作的
 * 2、同一个时刻内,同一个索引库,只能允许一个indexWriter操作
 * 3、当IndexWriter创建完成以后,indexwriter所指向的索引库就被占领了,只有当indexWriter.close时,才能释放锁的资源
 * 4、当一个新的indexWriter想拥有索引库时,原来的indexWriter必须释放锁
 * 5、只要索引库中存在write.lock文件,说明上锁了
 * 6、indexWriter.close有两层含义:
 *     *  关闭IO资源
 *     *  释放锁
 * @author Administrator
 *
 */
public class IndexWriterTest {
	@Test
	public void testIndexWriter() throws Exception{
		IndexWriter indexWriter = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);
		indexWriter.close();
		IndexWriter indexWriter2 = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);
	}
}

索引库的优化

当执行创建索引多次时,索引库的文件如图所示:(索引里内容是一样的)
从图中可以看出来,每执行一次就生成一个cfs文件。当执行delete操作时,会生成如图所示的结构:


从图中可以看出来,lucene在执行删除的时候,是先把要删除的元素形成了一个文件del文件,然后再和cfs文件进行整合得出最后结果。
结论:如果增加、删除反复操作很多次,就会造成文件大量增加,这样检索的速度也会下降,所以我们有必要去优化索引结构。使文件的结构发生改变从而提高效率。

手动合并文件

合并多个小文件为一个大文件,减少IO操作:
在indexWriter.close();前加上
indexWriter.optimize();
即可
在执行完上述代码后,索引库的结构为:
可以看出把该合并的项都合并了。把del文件彻底全部删除掉了。

自动合并文件

indexWriter.setMergeFactor(3);


当cfs文件的数量为3个时,这是会自动合并成一个文件。
如果没有设置数量,默认情况下为10;