Question

我们有一个基于Spring的应用程序，最近我们投入生产。我们正在使用最终命中使用JDBCTemplate的DAO的Spring @Controller。它使用的是c3p0的ComboPooledDataSource

在增加的负载（类似于150个并发用户）上，应用程序挂起所有用户 - 数据源被某些东西锁定 - 在线程转储上，有200个线程说 - 显然数据源已死锁。

"http-bio-8080-exec-440" - Thread t@878
java.lang.Thread.State: WAITING
at java.lang.Object.wait(Native Method)
- waiting on <146d984e> (a com.mchange.v2.resourcepool.BasicResourcePool)
at com.mchange.v2.resourcepool.BasicResourcePool.awaitAvailable(BasicResourcePool.java:1418)
at com.mchange.v2.resourcepool.BasicResourcePool.prelimCheckoutResource(BasicResourcePool.java:606)
at com.mchange.v2.resourcepool.BasicResourcePool.checkoutResource(BasicResourcePool.java:526)
at com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool.checkoutAndMarkConnectionInUse(C3P0PooledConnectionPool.java:756)
at com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool.checkoutPooledConnection(C3P0PooledConnectionPool.java:683)
at com.mchange.v2.c3p0.impl.AbstractPoolBackedDataSource.getConnection(AbstractPoolBackedDataSource.java:140)
at org.springframework.jdbc.datasource.DataSourceUtils.doGetConnection(DataSourceUtils.java:111)
at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:77)
at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:573)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:637)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:666)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:674)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:718)

在此之后，除非重新启动，否则应用程序将无法使用。发生这种情况时，DBA团队没有观察到数据库的任何负载。

当时c3p0配置如下：

app_en.driverClass=com.mysql.jdbc.Driver
app_en.user=tapp_en
app_en.password=tapp_en
app_en.jdbcUrl=jdbc:mysql://10.10.0.102:3306/tapp_en?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

app_en.acquireIncrement=5
app_en.maxIdleTime=3600
app_en.maxIdleTimeExcessConnections=300
app_en.unreturnedConnectionTimeout=3600
app_en.numHelperThreads=6
app_en.minPoolSize=20
app_en.maxPoolSize=100
app_en.idleConnectionTestPeriod=120
app_en.testConnectionOnCheckin=true

之后，我按如下方式更改了c3p0的配置 - 并为com.mchange.v2.c3p0包启用了DEBUG日志记录：

app_en.driverClass=com.mysql.jdbc.Driver
app_en.user=tapp_en
app_en.password=tapp_en
app_en.jdbcUrl=jdbc:mysql://10.10.0.102:3306/tapp_en?    useUnicode=true&characterEncoding=utf-8&autoReconnect=true

app_en.acquireIncrement=5
app_en.maxIdleTime=180
app_en.maxIdleTimeExcessConnections=60
app_en.unreturnedConnectionTimeout=30
app_en.checkoutTimeout=10000
app_en.numHelperThreads=12
app_en.debugUnreturnedConnectionStackTraces=true
app_en.initialPoolSize=10
app_en.maxPoolSize=100
app_en.idleConnectionTestPeriod=120
app_en.preferredTestQuery="select 1 from tbl_users"

有了这个配置，我再次运行负载测试，应用程序仍然挂起......虽然线程在无法获得与数据库的连接后恢复。尽管如此，即使线程恢复不同于之前的配置，游戏也会因为太多用户而被绞死 - 所以他们不得不重新启动他们的客户端。尽管已启用所有日志记录，但c3p0日志不会记录任何死锁消息。我看到的错误消息就是：

[06/24/2015 12:20:54] [C3P0PooledConnectionPoolManager[identityToken->1oed6dl9a9ak8qsgqfvdu|4d6145af]-HelperThread-#10] DEBUG NewPooledConnection  - com.mchange.v2.c3p0.impl.NewPooledConnection@7f0bc55a closed by a client.
java.lang.Exception: DEBUG -- CLOSE BY CLIENT STACK TRACE
at com.mchange.v2.c3p0.impl.NewPooledConnection.close(NewPooledConnection.java:659)
at com.mchange.v2.c3p0.impl.NewPooledConnection.closeMaybeCheckedOut(NewPooledConnection.java:255)
at com.mchange.v2.c3p0.impl.C3P0PooledConnectionPool$1PooledConnectionResourcePoolManager.destroyResource(C3P0PooledConnectionPool.java:621)
at com.mchange.v2.resourcepool.BasicResourcePool$1DestroyResourceTask.run(BasicResourcePool.java:1024)
at com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread.run(ThreadPoolAsynchronousRunner.java:696)

应用程序中没有任何事务，我们也没有使用任何TransactionManager或TransactionTemplate。我想知道这可能是使用的框架中的某种错误，或者是错误配置。这些是使用的相关框架：

c3p0-0.9.5-pre8
mysql-connector-java-5.1.24
spring-core-3.2.1.RELEASE
spring-web-3.2.1.RELEASE
mchange-commons-java-0.2.7

我们非常感谢任何帮助，因为这阻碍了我们发布产品的努力。

P.S。编辑： 以下是DataSource的配置：

<bean id="app_en_DataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource"
    destroy-method="close">
    <property name="driverClass" value="${app_en.driverClass}" />
    <property name="jdbcUrl" value="${app_en.jdbcUrl}" />
    <property name="user" value="${app_en.user}" />
    <property name="password" value="${app_en.password}" />

    <property name="acquireIncrement" value="${app_en.acquireIncrement}"></property>
    <property name="maxIdleTime" value="${app_en.maxIdleTime}"></property>
    <property name="maxIdleTimeExcessConnections" value="${app_en.maxIdleTimeExcessConnections}"></property>
    <property name="unreturnedConnectionTimeout" value="${app_en.unreturnedConnectionTimeout}"></property>
    <property name="checkoutTimeout" value="${app_en.checkoutTimeout}"></property>
    <property name="numHelperThreads" value="${app_en.numHelperThreads}"></property>
    <property name="debugUnreturnedConnectionStackTraces" value="${app_en.debugUnreturnedConnectionStackTraces}"></property>
    <property name="initialPoolSize" value="${app_en.initialPoolSize}"></property>
    <property name="maxPoolSize" value="${app_en.maxPoolSize}"></property>
    <property name="idleConnectionTestPeriod" value="${app_en.idleConnectionTestPeriod}"></property>
    <property name="preferredTestQuery" value="${app_en.preferredTestQuery}"></property>
</bean>

以下是应用程序中的一些代码，它们没有直接使用jdbcTemplate。没有别的办法，其他一切都是jdbcTemplate.update，jdbcTemplate.query：

    Connection conn = null;
    ResultSet getItemsRS = null;

    try {
        JdbcTemplate jdbcTemplate = getJdbcTemplate(database);

        conn = jdbcTemplate.getDataSource().getConnection();

        UserItems items;

        if (!action.areItemsNew()) {

            conn.setAutoCommit(false);
            conn.setTransactionIsolation(Connection.TRANSACTION_SERIALIZABLE);

            PreparedStatement getItemsPS = conn.prepareStatement("select * from tbl_items where ownerId = ? for update",
                    ResultSet.TYPE_FORWARD_ONLY,
                    ResultSet.CONCUR_UPDATABLE);
            getItemsPS.setLong(1, userId);

            getItemsRS = getItemsPS.executeQuery();
            getItemsRS.next();

            items = new UserItemsRowMapper().mapRow(getItemsRS, getItemsRS.getRow());
        } else {
            items = new UserItems();
        }

        action.doUserItemsAction(items);

        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        ObjectOutputStream oos = new ObjectOutputStream(baos);
        oos.writeObject(items.getItemContainers());
        oos.close();
        byte[] data = baos.toByteArray();
        Blob blob = conn.createBlob();
        blob.setBytes(1, data);

        if (!action.areItemsNew()) {
            getItemsRS.updateBlob("data", blob);
            getItemsRS.updateRow();
        } else {
            jdbcTemplate.update("insert into tbl_items(ownerId,data) values(?,?)", userId, data);
        }

    } catch (Exception e) {
        logger.error(e);
        throw new RuntimeException(e);
    } finally {
        if (!action.areItemsNew()) {
            try {
                conn.commit();
                conn.close();
            } catch (SQLException e) {
                logger.error(e);
                throw new RuntimeException(e);
            }
        }
    }

此代码的原因是我希望在用户action.doUserItemsAction(items)更新之前阻止读取/写入用户的项目，如上所述。

Answer 1

所以，有一些事情。

1）当c3p0记录一个消息以DEBUG开头的异常时，您看到的“错误”消息不是错误，这意味着您正在以DEBUG级别登录，而c3p0已生成异常以捕获堆栈跟踪。（c3p0是一个旧库; Thread.getStackTrace()在当天不存在，创建异常是捕获和转储堆栈的便捷方式。）您只是记录由于到期而导致的池连接的预期破坏或测试失败。一般来说，c3p0希望记录在INFO，它在DEBUG级别上会非常冗长。

2）你没有死锁c3p0的线程池。如果你是，你会看到APPARENT DEADLOCK消息然后恢复。您遇到了池耗尽的情况：客户端正在等待连接，但池位于maxPoolSize且无法获取它们。

3）池耗尽的常见原因是连接泄漏：在应用程序的代码路径的某处，在某些（可能是例外的）情况下，获取Connections，然后从不关闭（）ed。您需要非常小心，以确保在finally块中可靠地关闭（）以及由于finally块中的先前故障而无法跳过的方式。在Java 7+中，使用try-with-resources。在旧版本中，请使用reliable resource cleanup idiom。

4）要测试连接泄漏是否是问题，请设置c3p0 config params unreturnedConnectionTimeout和debugUnreturnedConnectionStackTraces。 unreturnedConnectionTimeout会解决这个问题，但是很糟糕。更重要的是，debugUnreturnedConnectionStackTraces将显示问题所在，以便您可以修复它，记录在INFO处打开未关闭的异常的堆栈跟踪。（您必须为unreturnedConnectionTimeout设置debugUnreturnedConnectionStackTraces才能生效;当连接超时时，将记录堆栈跟踪。）

5）虽然0.9.5-pre8可能没问题，但c3p0的当前生产版本是c3p0-0.9.5.1（取决于mchange-commons-java v.0.2.10）。您可能会考虑使用它。我认为它与你的问题没有任何关系，但仍然存在。

我希望这有帮助！

更新：由于您现在已发布显示可能的连接泄漏的代码，因此以下是有关如何修复它的建议。用以下代码替换你的finally块：

} finally {
    if ( conn != null ) {
        try { if (!action.areItemsNew()) conn.commit(); }
        catch (SQLException e) {
           logger.error(e);
           throw new RuntimeException(e);
        } finally {
           conn.close()
        }
    }
}

更新2：上面的redone finally块将解决Connection泄漏问题，但如果我是你，我还会更改此代码中有关commit()的逻辑。这是一个建议的修订版：

Connection conn = null;
ResultSet getItemsRS = null;

try {
    JdbcTemplate jdbcTemplate = getJdbcTemplate(database);

    conn = jdbcTemplate.getDataSource().getConnection();

    UserItems items;

    if (!action.areItemsNew()) {

        conn.setAutoCommit(false);
        conn.setTransactionIsolation(Connection.TRANSACTION_SERIALIZABLE);

        PreparedStatement getItemsPS = conn.prepareStatement("select * from tbl_items where ownerId = ? for update",
                ResultSet.TYPE_FORWARD_ONLY,
                ResultSet.CONCUR_UPDATABLE);
        getItemsPS.setLong(1, userId);

        getItemsRS = getItemsPS.executeQuery();
        getItemsRS.next();

        items = new UserItemsRowMapper().mapRow(getItemsRS, getItemsRS.getRow());
    } else {
        items = new UserItems();
    }

    action.doUserItemsAction(items);

    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    ObjectOutputStream oos = new ObjectOutputStream(baos);
    oos.writeObject(items.getItemContainers());
    oos.close();
    byte[] data = baos.toByteArray();
    Blob blob = conn.createBlob();
    blob.setBytes(1, data);

    if (!action.areItemsNew()) {
        getItemsRS.updateBlob("data", blob);
        getItemsRS.updateRow();
        conn.commit();
    } else {
        jdbcTemplate.update("insert into tbl_items(ownerId,data) values(?,?)", userId, data);
    }
} catch (Exception e) {
    logger.error(e);
    throw new RuntimeException(e);
} finally {
    try { if ( conn != null ) conn.close(); }
    catch ( Exception e )
      { logger.error(e); }
}

现在commit()只会被调用if (!action.areItemsNew())并且所有预期的操作都已成功。即使出现问题，commit()之前也会被调用。资源清理代码也更简单，更清晰。请注意，在建议的版本中，如果在close()上存在异常，则会记录该异常，但它不会被包装并作为RuntimeException重新抛出。通常，如果在close()上存在异常，那么之前会有一个更具信息性的异常，这就是您想要看到的异常。如果发生异常的唯一位置是close()，则表示所有数据库操作都已成功，因此即使出现故障，您的应用程序仍可正确进行。（如果close()上存在大量异常，最终会耗尽连接池，但实际上只有在您的数据库或网络出现严重错误时才会发生这种情况。）

Answer 2

您拥有的代码存在潜在危险并且存在连接泄漏，当您自己检查连接时应始终关闭它，可能会出现无法关闭连接的情况。

相反，我强烈建议使用Spring来管理您的事务和连接。

首先使用@Transactional(isolation=SERIALIZABLE)注释您的方法。接下来，在您的配置中添加DataSourceTransactionManager和<tx:annotation-driven />。在这些更改之后，重写您拥有的数据访问代码。

JdbcTemplate jdbcTemplate = getJdbcTemplate(database);
final UserItems items;
if (!action.areItemsNew()) {
    items = jdbcTemplate.queryForObject("select * from tbl_items where ownerId = ? for update", userId, new UserItemsRowMapper());
} else {
    items = new UserItems();
}

action.doUserItemsAction(items);

String query = !action.areItemsNew() ? "update tbl_items set data=? where ownerId=?" : "insert into tbl_items(data,ownerId) values(?,?)";

byte[] data = SerializationUtils.serialize(items.getItemContainers());
jdbcTemplate.update(query, new SqlLobValue(data), userId);

类似的东西（连同前面提到的修改应该有效）。（这或多或少来自我的头脑，因此可能需要一些调整）。使用正确的事务管理可确保所有内容都重用相同的单个连接而不是多个连接，它还可确保在完成或出现问题时将连接返回到池中。

我仍然建议使用不同的数据源，因为C3P0已经很老了。

c3p0 DataSource监视器死锁 - 所有线程都挂起 - 如何修复

2 个答案: