基于动态连接池的数据集成中间件的研究与实现

摘要

随着计算机技术的迅猛发展，大多数企事业单位都逐步实现了与业务相关的管理信息系统。这些系统在开发时往往没有考虑和其他系统的交互，并且由于开发时期不同、所用技术不同等原因，使得这些系统中的信息和数据是孤立的、相互隔离的，同时在存储方式、访问方式等方面也存在很大的差异，因而这些系统间很难实现数据共享。随着企事业单位信息化建设的开展，现在的企事业单位比以往任何时候都需要实现数据集成，不仅现有系统间的数据需要集成，而且以后开发的新系统的数据也需要集成，因此迫切需要数据集成系统，以实现新系统或旧系统之间的数据共享与交换。在研制数据集成系统时，首先碰到的难题是数据库的异构问题，其次是数据集成的效率问题。如何提高数据集成系统的异构性和效率，成为当前数据集成领域研究的热点，也是实际应用迫切需要解决的问题。 现有的数据集成系统可以归纳为虚拟集成系统和实体化集成系统。虚拟集成系统一般使用XML 和中间件技术构造虚拟全局模式，对每次查询都要访问底层数据源，所以能够实现数据源的完全异构并且保证数据一致性，但效率问题是该类系统的瓶颈。实体化集成系统一般使用数据复制技术，可以直接在中心数据库上实现查询，所以能够提高数据访问效率，但在实现完全异构性和数据一致性方面有所欠缺。为了突破以上两种方案各自的局限性，人们开始研究如何将这两种方案结合起来使用，也就是综合集成方案，但这方面的研究还比较少，一般注重于整体模型的设计与复制路径的选择，没有考虑具体实现。 在分析现有数据集成系统优势与劣势的基础上，将异构问题与效率问题结合在一起考虑，设计并实现了一个基于动态连接池的数据集成中间件。该中间件是一种综合集成方案，将虚拟集成系统和实体化集成系统的优势有机结合在一起，并应用数据库连接池技术，使系统不仅可以实现数据源的完全异构，还可以获得比较高的数据访问性能。 主要研究工作如下： 1、研究数据库连接池技术，并在现有的数据库连接池基础上，设计了动态数据库连接池模型。动态连接池可以在运行中动态加载、修改、删除连接池，而且能在运行中监控连接池的运行状态，自动调整相关参数及连接对象，以使连接池运行性能达到最优。 2、使用JavaBean 技术实现动态数据库连接池，并将其集成到web 应用服务器，实现基于浏览器的可视化工具，以方便用户远程管理连接池。 3、在现有异构数据库复制技术的基础上，设计一种基于中间数据库和变化日志表的异构数据复制模式。该模式为每个源数据库建立一个变化日志表，对源数据库的性能影响较小；在中间数据库中存放发布表与订阅表的映射信息，将中间件数据库作为数据集成中心，存放用户常用的数据，以简化流程和组织，从根本上预防复制冲突的发生，并且给用户提供比较高的数据查询效率；以订阅表为导向，实现单表、视图、用户自定义多表连接、虚拟字段等对象的复制，从而扩展现有复制工具的功能。 4、以虚拟订阅表的方式构建全局查询模式。该模式提供全局SQL 作为统一查询语言，而不是Xquery，使用户可以简单、透明地访问全局数据，满足全局数据信息共享的要求，保证数据的一致性和准确性，方便全局应用的开发。 5、在动态连接池基础上扩展复制组件和查询转换组件，提出一个基于动态连接池的数据集成中间件模型。复制组件实现了本文所设计的复制模式，查询转换组件用于实现本文设计的全局查询模式，两者结合以实现完全异构数据源的高效集成。 6、在动态连接池基础上，采用Java 组件技术实现上述数据集成中间件模型的业务逻辑，并且使用JSP 页面实现该中间件的图形化操作界面。 7、将基于动态连接池的数据集成中间件应用到广西师范大学财务管理信息系统，以解决财务处各内部系统间、财务处系统与学校其他部门系统间的数据共享与交换问题。实践证明，本系统兼顾了查询效率与异构性，操作方便简单，具有良好的兼容性、可维护性与可扩展性等特性，达到了预期效果。 本课题提出的基于动态连接池的数据集成中间件为异构数据集成技术的扩充进行了大胆有益的尝试，并在实际应用中取得了良好效果。