解读dbcp自动重连那些事

时间 2019-12-01 标签解读 dbcp 自动重连那些事

能够后另外一篇作对比：http://agapple.iteye.com/blog/772507 html

一样的内容，不一样的描述方式，不同的效果. mysql

Hi all : web

最近在作 offerdetail 优化时，替换了数据库驱动，从 c3p0 0.9.1 -> dbcp 1.4 ，顺便研究了下 dbcp 的自动重连的一套机制，也作一下分享，你们周知一下。 sql

数据库连接　常见的问题： 数据库

1. 数据库意外重启后，原先的数据库链接池能自动废弃老的无用的连接，创建新的数据库连接后端

2. 网络异常中断后，原先的创建的 tcp 连接，应该能进行自动切换。好比网站演习中的交换机重启会致使网络瞬断 api

3. 分布式数据库中间件，好比 cobar 会定时的将空闲连接异常关闭，客户端会出现半开的空闲连接。网络

大体思考解决思路： oracle

1. sql 心跳检查 ( 主动式 ) app

2. 拿连接尝试一下，发现处理失败丢弃连接，探雷的请求会失败几个　 ( 牺牲小我，完成大个人精神 )

3. 设置合理的空闲连接的超时时间，避免半开连接 ( 懒模式，解决半开连接 )

下面咱们来看看，在 dbcp 中是如何实现。

sql 心跳检查

sql validate 配置

<property name= "testOnBorrow" ><value> false </value></property>

<property name= "testOnReturn" ><value> false </value></property>

<property name= "validationQuery" ><value>select sysdate from dual</value></property>

参数说明

dbcp 是采用了 commons-pool 作为其链接池管理， testOnBorrow,testOnReturn, testWhileIdle 是 pool 是提供的几种校验机制，经过外部钩子的方式回调 dbcp 的相关数据库连接 (validationQuery) 校验 , dbcp 相关外部钩子类： PoolableConnectionFactory, 继承于 common-pool PoolableObjectFactory , dbcp 经过 GenericObjectPool 这一入口，进行链接池的 borrow,return 处理。

具体参数描述：

1. testOnBorrow : 顾明思义，就是在进行borrowObject进行处理时，对拿到的connection进行validateObject校验

2. testOnReturn : 顾明思义，就是在进行returnObject对返回的connection进行validateObject校验，我的以为对数据库链接池的管理意义不大

3. testWhileIdle : 关注的重点，GenericObjectPool中针对pool管理，起了一个异步Evict的TimerTask定时线程进行控制 ( 可经过设置参数 timeBetweenEvictionRunsMillis>0), 定时对线程池中的连接进行validateObject校验，对无效的连接进行关闭后，会调用ensureMinIdle，适当创建连接保证最小的minIdle链接数。

4. timeBetweenEvictionRunsMillis, 设置的Evict线程的时间，单位ms，大于0才会开启evict检查线程

5. validateQuery ，表明检查的sql

6. validateQueryTimeout ，表明在执行检查时，经过statement设置，statement.setQueryTimeout(validationQueryTimeout)

7. numTestsPerEvictionRun ，表明每次检查连接的数量，建议设置和maxActive同样大，这样每次能够有效检查全部的连接.

Sql 心跳检查几点思考：

1. 性能问题。

目前网站的应用大部分的瓶颈仍是在I/O这一块，大部分的I/O仍是在数据库的这一层面上，每个请求可能会调用10来次SQL查询，若是不走事务，一个请求会重复获取连接，若是每次获取连接,好比在testOnBorrow都进行validateObject，性能开销不是很能接受，能够假定一次SQL操做消毫0.5~1ms(通常走了网络请求基本就这数)

2 ．成本和收益

网站异常数据库重启，网络异常断开的频率是很是低的，通常也就在数据库升级，演习维护时才会进行，并且通常也是选在晚上，访问量相对比较低的请求，并且通常会有人员值班关注，因此异步的validateObject是能够接受，但一个前提须要确保能保证在一个合理的时间段内，数据库能完成自动重联。

请求探雷

相关配置

dbcp 自身默认支持，不须要配置

原理描述

common-pools 经过borrowObject , returnObject完成链接的获取和释放，正常的状况是一次请求中borrow和return是一对的，有借就有还。

但在准备returnObject时，dbcp会作一件事，就是看看这个object是否已是坏了的，若是坏了就直接丢了，就直接给丢弃了。

代码层面：

１.　在dbcp中PoolingDataSource(实现DataSource接口)调用 PoolableConnection(dbcp connnection 相关的pool delegate操做)进行相应关闭时，会检查 _conn.isClosed() ，针对DataSource若是isClosed返回为 true的则不调用returnObject，直接丢弃了连接。

２.　_conn.isClosed()是否保险，从jdk的api描述中： A connection is closed if the method close has been called on it or if certain fatal errors have occurred. 里面提供两种状况，一种就是被调用了closed方法，另外一种就是出现一些异常，说的比较含糊。

空闲连接检查

相关配置

参数说明

1. minEvictableIdleTimeMillis 　dbcp默认是30分，须要开启异步线程Evict，不然不生效。原理很简单，就是经过一个异步线程，每次检查connnection上一次使用的时间戳，看看是否已经超过这个timeout时间设置。

2. removeAbandoned , removeAbandonedTimeout ，主要是用于在出现连接紧张时候，会扫描一些连接未超过removeAbandonedTimeout时间还未被释放，会主动的关闭该连接。

适用状况

1. 咱们使用的cobar后端会有定时关闭空闲连接的操做，默认的空闲连接timeout时间为1小时，和其余oracle , mysql 各不相同，因此设置好这个空闲连接的timeout时间仍是挺重要.

2. 通常会是几种状况出现须要removeAbandoned：　

* 代码未在finally释放connection , 　不过咱们都用sqlmapClientTemplate，底层都有连接释放的过程

* 遇到数据库死锁。之前遇到事后端存储过程作了锁表操做，致使前台集群中链接池全都被block住，后续的业务处理由于拿不到连接全部都处理失败了。

聊聊 c3p0 配置

还有咱们配置的c3p0所谓的自动重连的３个参数，

<prop key="breakAfterAcquireFailure">false</prop>

我的以为就是一个误导，这几个配置只是在从链接池获取连接时，获取失败多尝试几回，由于咱们从pool从获取连接最多只会等待固定timeout时间。

若是要达到自动重连的效果，必需要c3p0支持请求探雷或者是sql心跳检查功能，能自动的剔除无效的连接。　

可见c3p0官方文档描述：http://www.mchange.com/projects/c3p0/index.html#configuring_recovery

最后：

Dbcp 将是咱们之后数据库驱动选择的趋势，最后咱们如何选择如何自动重连，这个也得根据咱们的应用场景而定。好比只读的web系统，后台业务系统，任务系统可能处理方式就不一样。

只读Web系统：可采起请求探雷的策略，也就失败链接池个数的请求，失败了页面刷新一次就好。

后台业务系统：通常业务都涉及数据库的写操做，不少数据不可重入，一次处理失败后就只能靠手工干预处理。这时候得考虑是否须要使用sql心跳检查，好比testOnBorrow或者testWhileIdle.