首页 > 代码库 > JDBC连接mysql,查大数据集报:java.lang.OutOfMemoryError: Java heap space
JDBC连接mysql,查大数据集报:java.lang.OutOfMemoryError: Java heap space
问题描述:
在项目中需要连接mysql,查询上千上万的记录,每个字段都挺大。结果在Eclipse中报如下错误:
java.lang.OutOfMemoryError: Java heap space
原因分析:
mysql会将查询到的记录全部发送到java端保存,而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值,其初始空间(即-Xms)是物理内存的1/64,最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。
解决方案记录如下:
方案一:
eclipse 有启动参数里设置jvm大小,因为eclipse运行时自己也需要jvm,所以eclipse.ini里设置的jvm大小不是具体某个程序运行时所用jvm的大小,这和具体程序运行的jvm大小无关。
那么怎么才能设置某个程序的jvm大小呢?
(当然控制台运行的话不会存在这个问题,如:java -Xms256m -Xmx1024m classname,这样就可以把当前程序的jvm大小给设定)
因为eclipse里默认的一个程序的jvm配置为:-Xms8m -Xmx128m,所以我们的处理耗内存比较大时需要手动调整一下,以便不会内存溢出。
具体的设置方法为:
选中被运行的类,点击菜单‘run->run configurations’,选择(x)=Argument标签页下的vm arguments框里输入
-Xms128m-Xmx512m(根据你物理内存的大小调整), 保存运行就ok了
方案二:
这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个.
1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m
2.如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:
set JAVA_OPTS=-Xms64m -Xmx256m
位置在: rem Guess CATALINA_HOME if not defined 这行的下面加合适.
3.如果是linux系统
Linux 在{tomcat_home}/bin/catalina.sh的前面,加
set JAVA_OPTS=‘-Xms64 -Xmx512‘
方案三(通用性强):
采用PreparedStatement:
1、当PreparedStatement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部分数据,直到所有数据处理完毕,不会发生JVM OOM。
setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);
2、调用statement的enableStreamingResults方法,实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持),statement以TYPE_FORWARD_ONLY打开,再设置fetch size参数,表示采用服务器端游标,每次从服务器取fetch_size条数据。
package com.seven.dbTools.DBTools; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import java.util.ArrayList; public class JdbcHandleMySQLBigResultSet { public static long importData(String sql){ String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password"; try { Class.forName("com.mysql.jdbc.Driver"); } catch (ClassNotFoundException e1) { e1.printStackTrace(); } long allStart = System.currentTimeMillis(); long count =0; Connection con = null; PreparedStatement ps = null; Statement st = null; ResultSet rs = null; try { con = DriverManager.getConnection(url); ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); ps.setFetchDirection(ResultSet.FETCH_REVERSE); rs = ps.executeQuery(); while (rs.next()) { //此处处理业务逻辑 count++; if(count%600000==0){ System.out.println(" 写入到第 "+(count/600000)+" 个文件中!"); long end = System.currentTimeMillis(); } } System.out.println("取回数据量为 "+count+" 行!"); } catch (SQLException e) { e.printStackTrace(); } finally { try { if(rs!=null){ rs.close(); } } catch (SQLException e) { e.printStackTrace(); } try { if(ps!=null){ ps.close(); } } catch (SQLException e) { e.printStackTrace(); } try { if(con!=null){ con.close(); } } catch (SQLException e) { e.printStackTrace(); } } return count; } public static void main(String[] args) throws InterruptedException { String sql = "select * from test.bigTable "; importData(sql); } }
JDBC连接mysql,查大数据集报:java.lang.OutOfMemoryError: Java heap space