• 1
  • 2
  • 3
  • 4
  • 5
mysql数据库问题 首 页  »  帮助中心  »  数据库  »  mysql数据库问题
支持连接池与结果集缓存的MySQL数据库JDBC通用框架的轻量级封装(一)
发布日期:2016-4-22 19:4:44

  支持连接池与结果集缓存的MySQL数据库JDBC通用框架的轻量级封装(一)

  

图1  结构图

  一、数据库连接池构建方法

   下面介绍了3种方法:

  1、通过继承BasePooledObjectFactory类,利用Apache的Commons Pool实现了一个PoolableConnectionFactory类,实现了将JDBC数据库连接Connection对象包裹为一个PooledObject,并且通过create()方法实现创建Connection对象,利用重载passivateObject、destroyObject等方法来控制Connection对象在从连接池取出、到返回连接池、再到最终被销毁的整个生命周期的一些细节。代码片段已给出,如图1所示:

图1

  2、通过继承GenericObjectPool类实现一个ConnectionPool类,构造函数中的工厂类参数指向上述所构建的PoolableConnectionFactory对象;

  3、提供一个单例模式的管理类ConnectionPoolManager,使得获取到的连接池对象唯一,代码片段已给出,如图2所示:



图2

  二、通用方法的封装方式

以下给出了2中封装方式:

  1、为了使最终利用该框架进行MySQL数据库开发的开发者在使用该框架时,只需通过简洁配置后,便可透明地使用数据库连接池和结果集缓存特性,需要对JDBC相关方法进行进一步封装,封装采用类装饰器的模式的方式,如建立PoolableConnection类,在构造函数中从连接池中取得一个Connection对象,代码片段已给出,如图3所示:


 图3

  其他主要的方法与Connection类保持一致,这样可以保证对开发者透明,代码片段已给出,如图4所示:

 图4

  另外,重点关注点是需要进行装饰的方法,如close()方法,当使用该方法时并不是要关闭Connection对象,而是需要将其返回到连接池中,代码片段已给出,如图5所示:


 图5

  2、为了实现结果集缓存,需要按上述封装思路,进一步构建如PoolableStatement和PoolablePreparedStatement类,以PoolableStatement类举例,PoolableStatement对象由PoolableConnection类中的createStatement方法产生,但实际的Statement对象是在PoolableStatement类的构造函数中由真正的Connection对象产生的,代码片段已给出,如图6所示: 


图6

  同样重点关注需要进行装饰的方法,如executeQuery(String sql)方法,当使用该方法时需要先通过sql参数生成key,利用key搜索缓存中是否已经缓存了对应的查询结果集,如果存在,就不需要对数据库进行物理查询,只需要从缓存中返回该结果集;如果不存,再进行物理查询,并对返回结果集创建新的缓存,代码片段已给出,如图7所示:


图7

   以此类推,实现execute相关的各类方法,另外需要特别说明的一点是在进行非查询SQL时,当涉及的表格存在于缓存中时,需要锁住缓存,并刷新结果集,刷新策略可以采用立即方式或惰性方式。

  三、结果集缓存设计和实现

  1.结果集缓存实际是一个ConcurrentHashMap对象,ByteBuffer在JVM堆外空间申请了一片内存存储着被序列化的ResultSet对象,这是一种非常有效的内存利用方式,但需要对MySQL JDBC驱动的源代码进行修改,从而实现ResultSet对象及其内部需要被序列化的复杂对象支持序列化(Serializable),但是这种序列化是有策略的,为了节省内存空间,也将对ResultSet对象内部无需序列化的对象前添加transient关键字,一个典型的结果集缓存创建,代码片段已给出,如图8所示:


  图8

  2、接下来需要构建ResultSetCache类,对缓存实现控制方法,典型的包括增加一条缓存、取出一条缓存、清空缓存,当缓存达到容量和条数限制时的策略方法等,增加一条缓存代码片段已给出,如图9所示:


  图9

  取出一条缓存的参考代码片段已给出,如图10所示:


 图10

  四、框架的使用

  框架使用代码片段已给出,如图11所示:



  图11

  从使用中可以看到达到了对开发者的框架内部实现细节的透明,开发者几乎不用了解任何数据库连接池和结果集缓存的细节。

  五、该框架需要关注的技术细节

以下给出了2种技术细节:

  1、ResultSet序列化问题:MySQL JDBC驱动中的ResultSet类以及相关复杂对象都是不支持序列化的,导致无法实现将ResultSet对象保持状态地序列化到一个JVM堆外内存空间中;解决方案是修改MySQL JDBC驱动源代码,对相关对象进行了序列化处理,但目前的处理细致性还不够,需要进一步分析进行精细控制;

  2、非查询操作锁缓存问题:为了保持数据库的事务完整性要求,需要在处理非查询操作的SQL执行时锁住缓存,在处理完操作后,删除原来带有脏数据的缓存,并根据策略更新缓存;解决方案是目前在任何非查询操作的SQL执行时都会对整个缓存加锁,且全部查询操作都会等待解锁通知后才可以完成操作,当前的处理比较粗糙,需要进行对被操作表的提取,只对涉及到的表的查询进行锁等待。