首页 > 代码库 > lucene_indexWriter说明、索引库优化
lucene_indexWriter说明、索引库优化
IndexWriter
Hibernate的SessionFactory
在Hibernate中,一般保持一个数据库就只有一个SessionFactory。因为在SessionFactory中维护二级缓存,而SessionFactory又是线程安全的。所以SessionFactory是共享的。
lucene的IndexWriter
如果同时在一个索引库中同时建立两个IndexWriter,例如:
IndexWriter indexWriter = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED); IndexWriter indexWriter2 = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);
这样的代码会出现异常
而lucene的目录结构:
.会出现write.lock这个文件。因为当一个IndexWriter在进行读索引库操作的时候,lucene会为索引库,以防止其他IndexWriter访问索引库而导致数据不一致,直到IndexWriter关闭为止。
结论:同一个索引库只能有一个IndexWriter进行操作。
封装IndexWriter的类LuceneUtils
public class LuceneIndexWriter { private static IndexWriter indexWriter = null; public static IndexWriter getIndexWriter() { if (indexWriter == null) { try { indexWriter = new IndexWriter(LuceneUtils.directory, LuceneUtils.analyzer, MaxFieldLength.LIMITED); } catch (CorruptIndexException e) { e.printStackTrace(); } catch (LockObtainFailedException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } return indexWriter; } public static void close() { if (indexWriter != null) { try { indexWriter.close(); } catch (CorruptIndexException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } else { System.out.println("indexWriter为空,不能关闭!"); } } }注:这里用单例模式做比较好。
/** * 1、索引库的增、删、改是由indexWriter来操作的 * 2、同一个时刻内,同一个索引库,只能允许一个indexWriter操作 * 3、当IndexWriter创建完成以后,indexwriter所指向的索引库就被占领了,只有当indexWriter.close时,才能释放锁的资源 * 4、当一个新的indexWriter想拥有索引库时,原来的indexWriter必须释放锁 * 5、只要索引库中存在write.lock文件,说明上锁了 * 6、indexWriter.close有两层含义: * * 关闭IO资源 * * 释放锁 * @author Administrator * */ public class IndexWriterTest { @Test public void testIndexWriter() throws Exception{ IndexWriter indexWriter = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED); indexWriter.close(); IndexWriter indexWriter2 = new IndexWriter(LuceneUtils.directory,LuceneUtils.analyzer,MaxFieldLength.LIMITED); } }
索引库的优化
当执行创建索引多次时,索引库的文件如图所示:(索引里内容是一样的)
从图中可以看出来,每执行一次就生成一个cfs文件。当执行delete操作时,会生成如图所示的结构:
从图中可以看出来,lucene在执行删除的时候,是先把要删除的元素形成了一个文件del文件,然后再和cfs文件进行整合得出最后结果。
结论:如果增加、删除反复操作很多次,就会造成文件大量增加,这样检索的速度也会下降,所以我们有必要去优化索引结构。使文件的结构发生改变从而提高效率。
结论:如果增加、删除反复操作很多次,就会造成文件大量增加,这样检索的速度也会下降,所以我们有必要去优化索引结构。使文件的结构发生改变从而提高效率。
手动合并文件
合并多个小文件为一个大文件,减少IO操作:
在indexWriter.close();前加上
indexWriter.optimize();
即可
在indexWriter.close();前加上
indexWriter.optimize();
即可
在执行完上述代码后,索引库的结构为:
可以看出把该合并的项都合并了。把del文件彻底全部删除掉了。
自动合并文件
indexWriter.setMergeFactor(3);
当cfs文件的数量为3个时,这是会自动合并成一个文件。
如果没有设置数量,默认情况下为10;
当cfs文件的数量为3个时,这是会自动合并成一个文件。
如果没有设置数量,默认情况下为10;
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。