异构异源异平台数据的整合方法及交换方法

摘要

本发明公开了一种异构异源异平台数据的整合方法，包括步骤：1.设置一本体库，本体库包括部门名称域，部门数据表名称域，部门数据表位置域，数据项域，行业知识与数据表项关系域；2.设置一本体库编辑器，本体库编辑器包括概念类编辑器，属性编辑器及关系编辑器；3.利用概念类编辑器将数据分别输入本体库中；4.利用属性编辑器将属性输入本体库中的数据项域；5.利用关系编辑器将关系数据分别输入本体库中的数据项关系域和数据项与数据表关系域；从而完成异构异源异平台数据的整合。本发明还公开了一种异构异源异平台数据的交换方法。本发明的方法解决了异构异源异平台数据的有效整合、协同操作、共享、控制与管理等问题。

说明书

技术领域

本发明涉及数字信息的传输领域，尤其涉及一种实现对异构异源平台数据进行整合适配的技术。

技术背景

随着网络技术以及局域网技术的发展，作为资源的网络数据的来源、格式等也日益繁杂。在应用领域，目前较多地是通过CORBA、Web Services等技术，采用远程调用和服务分布式调用的方法，将数据交换及共享等服务发布出来，供用户和应用系统查询和使用，其中每一项服务都需要进行相应的代码编写，并采用一定的描述方式予以发布。

由于分布式异源异构平台数据的交换与共享服务具有多样性和复杂性特点，采用这种数据整合方式会使开发工作非常巨大和复杂，并有如下缺点：

(1)数据整合难

各应用系统由不同主体独立建设，其技术实现不一致，不同的应用系统采用的技术路线不一致，采用的数据库类型不一致，数据格式不一致，每开发一种业务都要针对具体的数据源开发应用，造成了整合数据应用开发非常复杂，很难在实际中推广实施。

(2)数据共享难

数据位于不同的应用系统，数据库结构不一致，需要经过采集、转换和集中才能够共享，但是针对类型不一的数据库，很难做好数据采集，更难做到数据共享。

(3)数据协同难

办理某项业务时，是由各主体通过各自的信息系统来处理的，各主体的数据自己独立维护，都保存有业务对象的信息，部分信息项在各应用系统中重复保存，一旦业务对象的信息发生变动，各主体的系统无法知道变动发生，会造成系统间的数据不一致，给网上业务开展带来很大的困难。

(4)数据控制难

在现有的系统中都是由共享应用直接访问各主体的业务数据源，其中没有权限的控制，不能由主体自己控制管理自己的数据。

因此，需要开发一种能克服上述缺点，实现对来自不同数据库平台，格式及描述各异的数据资源进行整合适配的技术。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的在于提供一种解决异源异构异平台数据的有效整合的适配技术。

本发明的另一目的在于提供一种解决异源异构异平台数据的交换的适配技术。

为实现上述目的，本发明提供了一种异构异源异平台数据的整合方法，包括以下步骤：

1)设置一本体库，所述本体库包括：

部门名称域，用于存放部门名称数据；

部门数据表名称域，用于存放部门数据表名称数据；

部门数据表位置域，用于存放部门数据表电子地址的地址信息数据；

数据项域，用于存放所述部门数据表中的数据项数据、该数据项的数据类型、以及该数据项的索引属性；

行业知识与数据表项关系域，用于存放行业知识、术语与数据表项间的对应关系、以及同义词的匹配关系；

2)设置一本体库编辑器，用于向所述本体库进行数据输入和编辑，所述本体库编辑器包括概念类编辑器，属性编辑器，以及关系编辑器；其中，

所述概念类编辑器用于向所述本体库输入和编辑所述部门名称数据、所述部门数据表名称数据、以及所述地址信息数据；

所述属性编辑器用于向所述本体库输入和编辑所述数据项数据、所述数据类型、以及所述索引属性；

所述关系编辑器用于向所述本体库输入和编辑所述行业知识、术语与数据表项间的对应关系，以及所述同义词的匹配关系；

3)利用所述概念类编辑器，将所述部门名称数据、所述部门数据表名称数据以及所述地址信息数据分别输入所述本体库中的所述部门名称域、所述部门数据表名称域以及所述部门数据表位置域；

4)利用所述属性编辑器，将所述数据项数据、所述数据类型和所述索引属性输入所述本体库中的所述数据项域；

5)利用所述关系编辑器，将所述行业知识、术语与数据表项间的对应关系数据、以及同义词的匹配关系分别输入所述本体库中的所述行业知识与数据表项关系域；

从而完成异构异源异平台数据的整合。

较佳地，利用所述概念类编辑器，对已存放在所述部门名称域、所述部门数据表名称域以及所述部门数据表位置域中的所述部门名称数据、所述部门数据表名称数据以及所述地址信息数据进行编辑。

较佳地，利用所述属性编辑器，对已存放在所述数据项域中的所述数据项数据、所述数据类型和所述索引属性进行编辑。

较佳地，利用所述关系编辑器，对行业知识、术语与已存放在所述数据项关系域中的所述关系数据进行编辑。

较佳地，所述本体库编辑器还包括一语法检查器，所述语法检查器用于验证所述各输入步骤和数据及/或各编辑步骤及数据的正确性。

为实现本发明的另一目的，本发明还提供了一种异构异源异平台数据的交换方法，包括以下步骤：

1)设置一整合查询服务器，所述整合查询服务器上存放所述本体库；

在各部门设置本地查询服务器，所述本地查询服务器通过连接池等方式与各部门的本地数据库建立连接；

2)在各所述本地查询服务器上设置一本地查询模块，所述本地查询模块用于接受由所述整合查询服务器向所述本地查询服务器发出的本地查询指令；

3)由用户向所述整合查询服务器发出一数据查询指令，所述数据查询指令包括内容信息和操作信息，所述操作信息为查询运算式；

4)所述整合查询服务器将所述信息查询指令进行解析，取出所述内容信息和所述操作信息；

5)所述整合查询服务器将所述内容信息与所述本体库中的所述数据项域中的数据项数据进行匹配运算，得到一基本数据项集，所述基本数据项集至少包括所述数据项数据、所述数据类型、所述索引属性、和所述部门数据表电子地址的所述地址信息数据；

6)所述整合查询服务器根据所述基本数据项集中的数据，在所述本体库中的所述行业知识术语和所述数据表项关系域中取出相应的所述项间关系数据和所述项表间关系数据，并根据行业知识术语和所述数据表项关系数据所指向的数据项数据，形成查询数据项集，所述查询数据项集至少包括所述数据项数据、所述数据类型、所述索引属性、和所述部门数据表电子地址的所述地址信息数据；

7)所述整合查询服务器根据所述操作信息和所述查询数据项集中的数据，形成一个或一个以上的所述本地查询指令，并将所述本地查询指令按所述地址信息数据发往对应的所述本地查询服务器上的所述本地查询模块；

8)根据所述本地查询指令在所述本地查询服务器上的所述部门数据表中进行查询，并生成一数据集合；

9)所述本地查询代理服务器中的查询模块将所述数据集合发送到用户地址，或将所述数据集合发送到所述整合查询服务器后由所述整合查询服务器发送到用户地址。

本发明对来自不同数据库平台，格式及描述各异的数据资源进行统一标注，并描述了各类数据资源之间的关系，形成本体库，并通过本地查询服务器代理各类应用及数据库系统对数据资源进行封装、发送、接收、解析和处理的方法，实现异构异源异平台数据的适配，完成要求的各类业务。

本发明的有益效果在于：

一、采用了语义网技术来解决各业务系统的共享与信息交换的问题；

二、建设本体库来定义信息资源以及信息资源间的关系，形成了虚拟的数据中心，实现数据逻辑上的整合与共享；

三、采用本地查询服务器访问各种异构的数据，解决异构数据库与应用间的互操作问题；

四、应用系统直接调用平台提供的统一接口访问共享数据，不需要考虑各种异构数据源，方便应用开发；

五、以支撑平台形式实现信息共享与交换，应用系统通过简易的开发接口就能够进行访问交互；

六、在平台的实施部署上，在仅仅通过配置，不需编程或仅需要简单的编程就可以实现各种数据源信息共享与交换功能。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的整合方法的流程框图，即构造本体库的流程框图；

图2是本发明的数据交换方法的流程框图，即进行查询的流程框图；

图3是图2所示查询流程框图中SQL指令形成过程的流程框图；

图4是本发明的数据交换方法中由多个本地查询服务器(即智能代理)进行协同查询的流程框图；

图5是本发明的整合方法和数据交换方法中对本地查询服务器的权限进行访问控制的流程框图；

图6是本发明一个实例中各平台分布示意图。

具体实施方式

由于信息化发展水平的差异，使得各地各部门的信息资源建设采用了不同的数据库平台，不同的数据格式，并且信息资源分散在不同的位置，行业信息资源处于一种异构异源异平台的状态。

对异源异构异平台信息资源的整合是指对各类信息资源进行统一的抽象、定义和标注，并且定义资源之间的关系，使原来松散的，没有相关性的信息资源在逻辑上整合起来，形成了一个行业知识库，而在物理上，数据仍然分布在原来的数据库平台中。

对于异源异构异平台信息资源的共享是指用户或者应用系统在不需要关心后台数据库的位置、数据格式、数据库平台类型的情况下，提交数据查询请求，由智能代理来完成对查询请求的解析，数据的分布式搜索、查询，最终返回用户所需要的结果。

对于异源异构异平台信息资源的协同是指应用系统之间在不需要管理人员或用户干涉的情况下，由智能代理间配合完成系统间的信息交换与业务处理。

对于异源异构异平台信息资源的数据控制是指在智能代理上配置应用系统对于信息资源的访问策略，只有具有相应信息资源访问权限的应用或用户才能够访问它所要求的信息资源。

语义网是能够根据语义进行判断的网络。在目前的万维网中，网页仅仅是一个单调的内容显示，计算机只负责将一个网页链接到另一个网页，网络不能按照用户的要求自动搜寻和检索网页，直至找到所需要的内容。而语义网则是希望计算机能“看懂”网页的内容，使计算机成为“智能”的导航工具。

语义网的主要开发任务是使数据更加便于电脑进行处理和查找。计算机可以在这些资源中找到你所需要的信息，从而将万维网中一个个现存的信息孤岛，发展成一个巨大的数据库。

语义网技术的实现关键在于层次化的标记和描述。在XML编码的基础上对资源采用RDF和RDFSchema进行语义化描述，包括对元素类型名称、属性名称和某些情况下内容术语的解释；对事务处理规则的描述；对一个文档中的结构化元素与另一个文档中的结构化元素之间的关系的描述等。然后根据这些定义和关系的描述，可以进行进一步的逻辑推理，使计算机可以自动对这些资源进行识别和理解，最终实现信息资源的智能化处理。

本发明的目的在于提出一种方法，即采用本地查询服务器，在不对数据库平台进行改造，不对数据进行大集中，不对业务应用系统进行改造的情况下，实现异构异源异平台信息资源的有效整合、共享、协同及控制。

本地查询服务器是在用户没有明确具体要求的情况下，根据用户需要，代替用户进行各种复杂的工作，如信息查询、筛选及管理，并能推测用户的意图，自主制定、调整和执行工作计划，它是具有智能性，可进行高级、复杂自动处理的代理软件。本地查询服务器具有以下特点：

(1)智能性。具有一定的推理能力，能揣测用户的意图，并能处理复杂的难度高的任务，对用户的需求能分析地接收，自动拒绝一些不合理或可能给用户带来危害的要求，而且具有从经验中不断学习的能力，适当地进行自我调节，提高处理问题能力。

(2)代理性。在功能上是用户的某种代理，它可以代替用户完成一些任务，并将结果主动反馈给用户。

(3)主动性。能根据用户的需求和环境的变化，主动向用户报告并提供服务。

(4)协作性。能通过各种通信协议和其他智能体进行信息交流，并可以相互协调共同完成复杂的任务。

以下结合附图通过本发明的一种异源异构异平台数据的整合方法的一实施例具体说明本方法的实施。

在该实施例中，设置一本体库，本体库是利用语义网技术，对数据源信息、数据项信息、数据属性进行统一抽象、定义、分类和标注，并且定义数据源之间的关系、数据项的关系、同义数据的关系后，形成的行业信息资源目录。

本体库中主要定义资源及资源间的关系，在逻辑上把信息资源整合起来，形成一个虚拟的数据中心。而本体的实例数据仍然保存在原数据库中。图1所示为一种异构异源异平台数据的整合方法流程框图。

本体库的构建工具是本体编辑器，它是一个可视化的本体库维护工具，包括本体的增、删、改、查询功能和本体之间关系的增、删、改、查询功能。

其中，利用概念类编辑器，对已存放在部门名称域、部门数据表名称域以及部门数据表位置域中的部门名称数据、部门数据表名称数据以及地址信息数据进行编辑。

利用属性编辑器，对已存放在数据项域中的数据项数据、数据类型和索引属性进行编辑。

利用关系编辑器，对已存放在数据项关系域中的项间关系数据、以及对已存放在数据项与数据表关系域中的表间关系数据进行编辑。

本体库编辑器还包括一语法检查器，语法检查器用于验证各输入步骤和数据及/或各编辑步骤及数据的正确性。

图2为本发明的一种异构异源异平台数据的交换方法、即进行数据查询的流程框图。其中，各智能代理即为前述本地查询服务器。同时，图3为图2所示过程中形成SQL指令集的详细过程。

本发明的整合方法还用于对异源异构异平台数据在数据交换、查询中多个智能代理间的协同，和涉及多个数据库间的数据交换处理，其过程如图4所示。其步骤如下：

(1)应用系统发出一条数据查询指令；

(2)服务端接收后，先对该指令进行解析，分别解析出指令中要查询的内容信息和操作信息；

(3)根据请求查找的内容，在本体库中定义的数据关系以及数据源信息，查找到相应数据所在的关联数据源的位置以及数据源的类型，同时找到关联数据源对应本地查询服务器A、B的位置。

(4)根据请求查找的内容和操作信息，利用本体库中定义数据项信息、数据属性、数据关系，形成SQL操作指令集，由本地查询服务器A处理完毕后将其结果作为参数，由本地查询服务器B完成最后的处理工作；

(5)操作指令发送给本地查询服务器A；

(6)本地查询服务器A执行操作，获得需要的数据；

(7)本地查询服务器A将数据以及操作指令发送到本地查询服务器B；

(8)本地查询服务器B根据SQL操作指令和参数进行相应的数据库操作，并返回最终结果。

本发明的整合方法还适用于对异源异构异平台数据的访问控制，如图5所示，包括以下步骤：

(1)管理员在本地查询服务器上配置应用对于数据的访问控制策略；

(2)本地查询服务器即各智能代理接收到操作指令后，根据访问控制策略判断发出指令的应用是否有访问所请求资源的权限；

(3)如果应用拥有访问权限，则本地查询服务器执行操作指令。

以下再结合图6通过一个实例说明本发明的数据整合方法和数据交换方法。

该实例提供了一种基于异源异构异平台数据整合方法及交换方法的公文系统。如图6所示，公文系统应用范围覆盖了某部委办公厅及各省级直属部门办公厅等多家单位，数据分布在各办公厅的数据库中，其中部委办公厅数据库存放国家部委下发的各类文件资料，各省级办公厅数据库存放各省下发的各类文件资料。

在本实例中，设置的本体库对于各数据库中的数据源信息进行编辑与整合，支持对于查询请求的分析、转换和发送，最终由各个单位数据库对应的智能代理执行查询请求并返回结果。

在数据整合方法中，对本体库的设置与数据编辑如下：

1、概念编辑

(1)单位：某部委办公厅

数据表：部委来文登记表

代理标识：智能代理1，172.147.2.1

(2)单位：浙江省部门办公厅

数据表：浙江来文登记表

代理标识：智能代理2，172.136.10.1

(3)单位：广东省部门办公厅

数据表：广东来文登记表

代理标识：智能代理3，192.147.3.1

2、属性编辑(每一个数据项的具体定义略)

(1)部委来文登记表结构

DocID、DocNum、KeyWord、AcceptData、SendDepartment、

ReceNum、SignPerson、SignData；

(2)浙江来文登记表结构

文件ID、文件Num、主题词、来文Data、来文Department、

来文SerialNum、签收Person、签收Data；

(3)广东来文登记表结构

文件标题、文号、主题词、收文日期、发文单位、

收文流水号、签收登记人、签收日期；

3、关系编辑

●同义数据匹配

(1)文件主题＝文件题目＝文件标题

(2)文件号＝文号

(3)关键词＝主题词

(4)来文单位＝发文单位

(5)来文流水号＝收文流水号

(6)签收登记者＝签收登记人

●数据表/项匹配(领域术语与数据表项的对应匹配)

文件标题——>部委来文登记表.DocID；浙江来文登记表.文件ID；广东来文登记表.文件标题；

文件字号——>部委来文登记表.DocNum；浙江来文登记表.文件Num；广东来文登记表.文号；

主题词——>部委来文登记表.KeyWord；浙江来文登记表.主题词文件ID；广东来文登记表.主题词；

收文日期——>部委来文登记表.AcceptData；浙江来文登记表.来文Data；广东来文登记表.收文日期；

发文单位——>部委来文登记表.SendDepartment；浙江来文登记表.来文Department；广东来文登记表.发文单位；

收文流水号——>部委来文登记表.ReceNum；浙江来文登记表.来文SerialNum；广东来文登记表.收文流水号；

签收登记者——>部委来文登记表.SignPerson；浙江来文登记表.签收Person；广东来文登记表.签收登记人；

签收日期——>部委来文登记表.SignData；浙江来文登记表.签收Data；广东来文登记表.签收日期。

基于上述方法，完成本体库中的数据组织。

利用该本体库以及各部门的本地查询服务器(即图中所示智能代理)，进行数据交换、即数据查询的示例如下：

部委要求查询浙江和广东省在2003年8月关于“非典”问题下发的所有文件登记。

(1)部委办公厅公文系统向本体库发出了查询请求；

<查询请求>

<数据源>浙江省|广东省</数据源>

<查询内容>来文登记</查询内容>

<收文时间>2003年8月</收文时间>

<关键词>非典</关键词>

</查询请求>

(2)本体库对查询请求进行分析(需要通过数据关系匹配)；

数据源：浙江省——>浙江省部门办公厅

——>智能代理2，172.136.10.1

广东省——>广东省部门办公厅

——>智能代理3，192.147.3.1

查询内容：来文登记——>浙江来文登记表广东来文登记表

收文时间：收文时间——>浙江来文登记表.来文Data|广东来文登记表.收文日期

关键词：关键词——>浙江来文登记表.KeyWord|广东来文登记表.主题词

(3)判断需要依次从浙江和广东的数据源中查询数据；

(4)判断此次查询为条件查询方式；

(5)将查询请求转换为SQL语句；

Select*from浙江来文登记表where浙江来文登记表.来文Data＝“2003年8月”and浙江来文登记表.KeyWord＝“非典”；

Select*from广东来文登记表where广东来文登记表.收文日期＝“2003年8月”and广东来文登记表.主题词＝“非典”；

(6)将SQL语句发送给浙江和广东的智能代理；

(7)智能代理查询后，将数据返回给部委的公文系统，(智能代理与当地数据库的连接已经预先根据数据库的类型进行了预先配置，既可以选择每次建立连接的方式，也可以采用连接池的方式)。

综上所述，本发明的方法解决了以下问题：

1、解决了异源异构平台数据的有效整合问题。通过建立起行业的本体库，对行业的信息化资源进行统一标注，并对资源间的关系进行统一定义，把原来松散的数据在逻辑上进行知识化整合，形成一个行业的知识库。

2、解决了异源异构平台数据的协同操作问题。通过建设本地查询服务器来代理应用执行数据处理指令，包括对于数据的封装、发送、接收、解析和处理等，并由本地查询服务器来代替应用完成与其他应用的数据交换。

3、解决了异源异构平台数据的共享问题。在不对数据进行大集中的情况下，通过向本地查询服务器发出指令，由本地查询服务器去进行指令解析以及数据的检索，而用户不必关心究竟数据以什么样的格式，存在什么地方。

4、解决了对于共享数据信息的控制与管理问题。本地查询服务器能够对于来自应用的指令进行验证，判断该应用是否有权限访问所要求的数据，实现对共享数据信息的有效控制与保护。

综上所述，本说明书中所述的只是本发明的几种较佳具体实施例。凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明的权利要求保护范围内。