Question

我正在开发一个使用大型MySQL表的spring应用程序。加载大表时，我得到一个OutOfMemoryException，因为驱动程序试图将整个表加载到应用程序内存中。

我尝试使用

statement.setFetchSize(Integer.MIN_VALUE);

但是我打开的每个ResultSet都挂起close();在线查找我发现这是因为它在关闭ResultSet之前尝试加载任何未读的行，但事实并非如此：

ResultSet existingRecords = getTableData(tablename);
try {
    while (existingRecords.next()) {
        // ...
    }
} finally {
    existingRecords.close(); // this line is hanging, and there was no exception in the try clause
}

对于小表（3行）也会发生挂起，如果我没有关闭RecordSet（发生在一个方法中），那么connection.close()会挂起。

挂起的堆栈跟踪：

SocketInputStream.socketRead0（FileDescriptor，byte []，int，int，int）行：不可用[native method]
  SocketInputStream.read（byte []，int，int）行：129
  ReadAheadInputStream.fill（int）行：113
  ReadAheadInputStream.readFromUnderlyingStreamIfNecessary（byte []，int，int）行：160
  ReadAheadInputStream.read（byte []，int，int）行：188
  MysqlIO.readFully（InputStream，byte []，int，int）行：2428   MysqlIO.reuseAndReadPacket（Buffer，int）行：2882
  MysqlIO.reuseAndReadPacket（缓冲区）行：2871
  MysqlIO.checkErrorPacket（int）行：3414
  MysqlIO.checkErrorPacket（）行：910
  MysqlIO.nextRow（Field []，int，boolean，int，boolean，boolean，boolean，Buffer）行：1405
  RowDataDynamic.nextRecord（）行：413
  RowDataDynamic.next（）行：392   RowDataDynamic.close（）行：170
  JDBC4ResultSet（ResultSetImpl）.realClose（boolean）行：7473   JDBC4ResultSet（ResultSetImpl）.close（）行：881   DelegatingResultSet.close（）行：152
  DelegatingResultSet.close（）行：152
  DelegatingPreparedStatement（DelegatingStatement）.close（）line：163
  （这是我的课）Database.close（）行：84

Answer 1

仅设置提取大小不是正确的方法。 javadoc of Statement#setFetchSize()已经说明了以下内容：

为JDBC驱动程序提供提示关于应从数据库中提取的行数

驱动程序实际上可以自由应用或忽略提示。一些驱动程序忽略它，一些驱动程序直接应用它，一些驱动程序需要更多参数MySQL JDBC驱动程序属于最后一类。如果您选中MySQL JDBC driver documentation，则会看到以下信息（向下滚动约2/3直到标题 ResultSet ）：

要启用此功能，您需要以下列方式创建Statement实例：
stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

请阅读文档的整个部分，它也描述了此方法的注意事项。这是一个相关的引用：

这种方法有一些警告。您必须先读取结果集中的所有行（或关闭它），然后才能在连接上发出任何其他查询，否则将抛出异常。

（...）

如果语句在事务范围内，则在事务完成时释放锁（这意味着语句需要先完成）。与大多数其他数据库一样，只有在读取语句中的所有结果或关闭语句的活动结果集之后，语句才会完成。

如果这不能解决OutOfMemoryError（不是Exception），则问题很可能是您将所有数据存储在Java内存中而不是立即处理一旦数据进入。这将需要对代码进行更多更改，可能需要完全重写。我在here之前回答了类似的问题。

Answer 2

请勿关闭ResultSet两次。

显然，当关闭Statement时，它会尝试关闭相应的ResultSet，正如您在堆栈跟踪中的这两行中所看到的那样：

DelegatingResultSet.close（）line：152
DelegatingPreparedStatement（DelegatingStatement）.close（）行：163

我原以为挂机在ResultSet.close()，但它实际上在Statement.close()，调用了ResultSet.close()。由于ResultSet已经关闭，它只是挂起。

我们已将所有ResultSet.close()替换为results.getStatement().close()并删除了所有Statement.close()，问题现已解决。

Answer 3

如果有人遇到同样的问题，我在查询中使用LIMIT子句解决了这个问题。

此问题已作为错误报告给MySql（在此处找到http://bugs.mysql.com/bug.php?id=42929），现在状态为“不是错误”。最相关的部分是：

目前无法关闭“midstream”结果集

由于必须读取所有行，因此必须使用WHERE或LIMIT等子句限制查询结果。或者，尝试以下方法：

ResultSet rs = ...
while(rs.next()) {
   ...
   if(bailOut == true) { break; }
}

while(rs.next()); // This will deplete the remaining rows on the stream

rs.close();

它可能并不理想，但至少它会让你在结束时过去。

Answer 4

如果您使用的是spring jdbc，那么您需要将preparedstatement creator与SimpleJdbcTemplate结合使用，将fetchSize设置为Integer.MIN_VALUE。它在这里描述http://neopatel.blogspot.com/2012/02/mysql-jdbc-driver-and-streaming-large.html

Answer 5

它会挂起，因为即使您停止收听，该请求仍会继续。要以正确的顺序关闭ResultSet和Statement，请先尝试调用statement.cancel（）：

public void close() {
    try {
        statement.cancel();
        if (resultSet != null)
            resultSet.close();
    } catch (SQLException e) {
        // ignore errors on closing
    } finally {
        try {
            statement.close();
        } catch (SQLException e) {
            // ignore errors on closing
        } finally {
            resultSet = null;
            statement = null;
        }
    }
}

Answer 6

Scrollable Resultset忽略fetchSize并立即获取所有行，导致出现错误。

对我来说，在设置useCursors = true时它正常工作，否则Scrollable Resultset忽略了fetch size的所有实现，在我的例子中它是5000但是Scrollable Resultset一次获取了数百万条记录，导致过多的内存使用。底层数据库是MSSQLServer。

JDBC：JTDS：SQLSERVER：//本地主机：1433 / ACS; TDS = 8.0; useCursors =真

使用MySQL流式传输大型结果集

6 个答案: