首页 > 代码库 > 【java】itoo项目实战之hibernate 批量保存优化
【java】itoo项目实战之hibernate 批量保存优化
在itoo中。基本上每一个系统都有一个导入功能,大量的数据填写进入excel模板中。然后使用导入功能导入的数据库中,这样能够大大的提高工作效率。
那么导入就涉及到了批量保存数据库的问题了。
那么通常情况下,在一个Session对象的缓存中数量有限的持久化对象,等到Session对象处理事务完成,还要关闭Session对象,从而及时释放session的缓存占用的内存。在批量保存1万条数据,假设一次性把须要保存的1万条数据载入到内存职工,当运行事务提交的时候,就会清理缓存,hibernate运行1万条更新语句。
这样更新的方式有两个缺点:
(1)占用大量内存。必须把1万条载入到内存中,然后一一更新它们。
(2)运行的update数目过多,每一个update语句仅仅能更新一条数据,必须通过1万条update语句才干更新1万条数据。频繁地訪问数据库,会大大减少应用的性能。
对于以上的情况。咱们能够通过Session来进行批量操作。Session 的sava方法都会把处理对象的存放在自己的缓存职工,假设通过一个Session对象来处理大量持久化对象,应该及时从缓存中清空已经处理完成而且不会在訪问的对象。
详细的做法就是处理完一个对象或者小批量对象后,立马调用Flush()方法清理缓存,然后再调用Clear()方法清空缓存。
假设通过Session来进行批量操作,会受到下面的约束:
1.须要在hibernate的配置文件里设置JDBC单次批量处理的数目。合理的取值通常为10~50,比如hibernate.jdbc.batch_size=30;这样设置的。就须要保证每次像数据库发送的批量SQL语句数目与这个batch_size属性一致。
2.假设操作对象採用"identity"标识符生成器,则Hibernate无法在JDBC层进行批量插入操作。
3.进行批量操作时。建议关闭hibernate的第二级缓存。Session的缓存为hibernate的第一级缓存,通常它是事务范围内的缓存。每一个事务都有单独的第一级缓存。
SessionFactory的外置缓存为Hibernate的第二级荤菜,它是应用范围内的缓存,全部的事务都共享同一个第二级缓存。在不论什么情况下,hibernate的第一级缓存总是可用的,在默认情况下。hibernate的第二级缓存是关闭的。可是也能够在hibernate的配置文件里手动关闭二级缓存:
Hibernate.cache.use_second_level_cache=false;
在itoo中批量保存的代码例如以下:
<span style="font-family:FangSong_GB2312;font-size:18px;">/** * 批量保存 * * @param list * list类型 * @return 返回boolean值 */ public <T> boolean saveEntitys(List<T> list) { boolean flag = false; int batchSize = 30; int i = 0; getDataBaseName(list.get(0)); try { for (Object entity : list) { getEntityManager().persist(entity); i++; if (i % batchSize == 0) { getEntityManager().flush(); getEntityManager().clear(); } } flag = true; } catch (Exception e) { } return flag; }</span>
在以上的程序中,每次运行session.flush()方法,就会向数据库职工批量插入30条记录。接下来session.clear()方法把20个刚保存的对象从缓存中清空。
仅仅要是设计有批量导入的情况,都会涉及到批量保存的内容,这篇博客就是让你的批量保存达到最优效果。
【java】itoo项目实战之hibernate 批量保存优化