一种实现分布式异构数据共享的云平台及其数据共享方法

摘要

本发明涉及多源数据处理技术领域，具体涉及一种实现分布式异构数据共享的云平台及其数据共享方法。所述系统由共享数据云应用层、云共享数据服务层、系统桥接层和业务系统层组成；采用三层数据共享访问控制技术，数据拥有者利用运行在前置机中的适配器软件和云端运行的数据资源管理软件分别对共享数据的同步方式和共享方式进行设置，并通过设置一定的操作流程，对共享数据的交换进行二次确认的方法；同时，对共享的数据通过转换格式进行云端备份。本发明解决了异构数据的共享问题；可以应用于多源异构数据的共享处理上。

说明书

技术领域

本发明涉及多源数据处理技术领域，具体涉及一种实现分布式异构数据共 享的云平台及其数据共享方法。

背景技术

当前，各电子政务应用平台都是各自建设，数据系统的实现方法和采用的 标准均不统一，因此形成了一个个信息孤岛，为信息的共享和充分利用带来了 极大的难度。

当前发展是大数据时代，信息的融合和挖掘将为数据带来增量价值；因此 迫切需要在保证数据安全的情况下，将各种数据汇集起来。由于应用的需求， 各种信息交换系统随着建立起来，但由于不同的应用系统，所采用的数据不同， 需要联合的各分系统也不同，导致一个分系统可能要连接很多数据交换系统， 各数据交换系统间，又重新形成了新的信息孤岛。

发明内容

本发发明解决的技术问题之一在于提供一种实现分布式异构数据共享的云 平台，实现在充分保障用户对数据访问权限控制的情况下，对数据进行云端存 储、格式转换；使得共享数据访问的安全性、高效性和数据交换接口的一致性 均得到一定程度的保证。

本发发明解决的技术问题之二在于提供一种实现分布式异构数据共享的云 平台的数据共享方法，实现在充分保障用户对数据访问权限控制的情况下，对 数据进行云端存储、格式转换；使得共享数据访问的安全性、高效性和数据交 换接口的一致性均得到一定程度的保证。

本发明解决上述技术问题之一的技术方案是：

所述系统由共享数据云应用层、云共享数据服务层、系统桥接层和业务系 统层组成，

所述的云共享服务层负责对共享数据库进行数据注册管理、数据标准检测、 数据的转换管理、数据质量管理、数据分发管理和数据运行监控；负责对交换 的数据进行云存储，及其相关管理；是系统的核心层，部署在云计算服务器上；

所述的系统桥接层完成各分布式子系统与云中心共享系统间的数据交换， 实现各分布式子系统与云中心共享系统间的数据一致性；包括前置机和安装在 前置机上适配器；其中前置机也可以由原有的系统硬件代替。

本发明解决上述技术问题之二的技术方案是：

主要步骤是：

1)为分布式异构系统布置前置机，前置机也可以由原系统中的某台空闲机 器代替；

2)在前置机上部署适配器软件，根据现有系统的数据提供方法，对适配器 软件进行设置，并进行连通性测试；适配器软件除了包含保证数据通信和连通 的设置外，还有数据更新方法，数据读、写、修改权限的设置，数据使用用户 限制等；

3)利用数据共享云平台提供的数据接入账户，完成数据的接入工作；

4)数据拥有者通过云端账户进行登陆，对共享的数据进行维护，重要的维 护包括为数据分享指定用户、设置数据的分享方式等；

5)共享数据使用方，通过共享云平台账户进行登陆，查询到分享给自己的 数据共享目录；对需要获取的共享数据向数据拥有者提出数据分享请求；

6)数据拥有者对数据共享请求进行审核、确认，并设置共享权限有效时间 范围；

7)共享数据使用方在共享权限有效时间范围内应用共享数据。

适配器支持的数据格式分为：关系数据库，包括Oracle、DB2、MS SQL Server、 Sybase、MySQL等主流数据库；非关系型数据源，如文本文件、XML、Excel、消 息等；

数据采集支持对各种异构数据的抽取，提供实时、定时，批量、增量的灵 活抽取策略，支持多表联合抽取，并能够设置抽取过滤条件；

可以对数据使用权限设置，如读取权限、写入权限、删除权限、修改权限 进行设置；可以对数据的使用指定用户，并指定使用权限；

数据经过采集、加工、转换、传输等一系列处理过程后，最终装载入库或 以文件的形式保存在数据共享云平台共享库中；

提供数据库数据装载和文件的目录存储两种数据装载机制；文件传输到中 心后，文件的目录存储分为以文件方式继续保存，或者把文件数据解析装载入 口：

支持将数据装载到数据库，也支持将数据存储成相应的XML、Excel、文本、 或二进制文件，也可以将数据转给其他应用系统。

数据共享云平台基于数据访问控制权限数据和已同步的数据情况，进行数 据访问；数据之间的交换采用消息中间件技术实现。

所述的消息中间件处理是：

消息由消息描述头和消息内容组成，消息描述头设计为(优先级、消息类 型、消息名称、接收队列名、目的节点名、生命周期、发送消息可靠性标识)； 消息描述头为消息长度等消息属性信息；消息内容为用户需要真正传输的数据 信息，它的格式由该消息的提供者及接收者协商而定；

消息内容包括字符流和文件两种消息格式，用户可根据应用系统的需要选 择任何一种方式；用户使用字符流消息格式时，将消息的内容、标识、长度等 信息传递给消息中间件；用户使用文件消息时，将文件名(包含路径)告知消 息中间件即可，消息中间件将根据用户提交的文件名对文件内容进行处理和传 输，最终提交到云存储空间中。

所述的数据访问控制权限是具有时间有效性的三层数据共享访问控制机 制，

三层数据共享权限控制包括：数据出站数据权限控制、数据可使用用户权 限分配，以及，数据使用方使用数据时，需要得到数据拥有者对数据访问权限 的再次确认；

数据访问权限的时间有效性是：数据拥有者对数据访问者申请数据访问请 求进行确认时，对数据访问者数据访问有效时间范围进行设置，只有在规定的 时间内，数据访问申请者对数据访问权限才有效，超出了数据访问权限控制时 间，则访问权限自动消失；如果再需要访问数据，则需要重新进行访问权限的 申请，并得到数据拥有者的权限确认过程。

每个数据拥有者至少对应两个数据权限表，分别为本地数据出站控制表和 云端数据访问控制表和执行一次完整的数据访问权限请求确认过程；

本地数据出站控制表由{共享的数据名、访问权限类别、数据交换方式} 等字段组成；其中共享的数据名指要共享的数据及其存储位置，访问权限类别 包括{读取、写入、修改、删除}，数据交换方式包括{实时、定时、手动}；

云端数据访问控制表由{共享的数据名、访问权限类别，共享用户列表、 数据使用申请列表、数据使用确认信息、数据使用有效性时间}等字段组成； 其中共享的数据指要共享的数据及其存储位置；访问权限类别指针对该共享数 据，开放给数据使用者的访问权限{读取、写入、修改、删除}，该权限的开放 程度不应高于数据出站控制表中针对该数据设置的访问权限；共享用户列表是 指该数据由用户拥有者主动开放给的数据用户；数据交换申请列表是指对该数 据要求访问的用户列表；数据使用者确认信息指数据拥有者对数据访问者的数 据访问请求的确认情况{已确认、未确认、拒绝}；数据使用有效时间指数据访 问申请者的申请，在得到数据拥有者可以访问确认的情况下，数据可以访问的 时间段；

并且，设定：

1)其他数据共享用户只有在数据拥有者对其开放某项数据的访问权限的情 况下，才能看到该数据的名称信息，进而才能提出数据访问申请。

2)数据拥有者即使赋予某个其他数据共享用户设置了可以访问权限，其也 仅能看到共享数据名，并不能真正的访问数据；如果要真正的访问数据，必须 经过提出访问申请，数据拥有者对数据申请进行确认的过程；

然后，按如下步骤进行数据访问权限请求确认：

用户利用适配器软件，配置用户数据共享权限，形成数据出站控制表，该 表存储在前置机中；

适配器软件按照数据拥有者用数据权限表数据存取策略，将数据同步到云 端数据共享中心；

数据云端共享中心经过对数据的转换处理，存放在用户私人存储空间中； 此时的数据存放态势根据云端的数据要求会发生变化；

数据拥有者登录云端个人分享维护系统，对自己分享的数据进行权限维护， 包括数据分享的人员，形成云端数据访问控制表；

其他数据访问者依照云端数据访问控制表，获取自己可以访问的共享数据 项；

其他数据访问者如果需要访问该数据的具体内容，则需要向数据拥有者提 交数据访问申请；

数据拥有者审核数据获取请求，然后确认并分配权限，分配数据的访问权 限具有时间特性，只有在有效的时间范围内，数据访问才有效，否则就无效；

数据访问者在数据访问权限有效时间内对数据进行正常访问。如果数据访 问超出了有效时间，则需要重新申请访问权限。

有益效果：

本发明采用三层数据共享访问控制技术，数据拥有者利用运行在前置机中 的适配器软件和云端运行的数据资源管理软件分别对共享数据的同步方式和共 享方式进行设置，并通过设置一定的操作流程，对共享数据的交换进行二次确 认的方法，从根本上保证数据拥有者对共享数据享有绝对的、全流程、全生命 周期的控制权，充分保证了数据的安全性。

同时，对共享的数据通过转换格式进行云端备份，避免了数据的丢失和损 害，不同的数据用户之间进行的数据交换，均是基于统一的数据存储格式和接 口，减少了各分布式系统异构数据间的交叉访问，提高了数据的访问效率，进 而增强了系统的稳定性和效率。

本发明数据共享云平台系统在功能上相当于一个共享资源池、数据云端备 份空间，通过数据共享权限管理和为各异构系统数据的接入提供连接渠道，增 强了系统的灵活性、稳定性、安全性，提高了系统的应用效率，降低了后续应 用系统数据共享的难度和建设成本。

附图说明

下面结合附图对本发明进一步说明：

附图是本发明云平台总体框架图。

具体实施方式

如图所示，本发明系统采用先进的分布式面向服务的架构(SOA)、基于标 准的可重用服务组件库，以及开放式体系结构，使新建立的系统能够最大限度 地适应今后业务发展变化需要。

数据共享云平台系统由共享数据云应用层、云共享数据服务层、系统桥接 层和业务系统层组成。

应用层提供用户对共享数据管理、数据搜索、订阅服务、下载服务等应用 界面和系统间数据交换访问接口。

云共享服务层负责对共享数据库进行数据注册管理、数据标准检测、数据 的转换管理、数据质量管理、数据分发管理和数据运行监控；负责对交换的数 据进行云存储，及其相关管理。该层是系统的核心层，部署在云计算服务器上。

系统桥接层完成各分布式子系统与云中心共享系统间的数据交换，实现各 分布式子系统与云中心共享系统间的数据一致性。系统桥接层包括前置机和安 装在前置机上适配器。其中前置机也可以由原有的系统硬件来代替。

其中针对某个分布式异构系统A，对其进行数据共享的应用过程为：

1)为分布式异构系统A布置前置机A1，当然前置机也可以由原系统中的 某台空闲机器代替。

2)在前置机上部署适配器软件，根据现有系统的数据提供方法，对适配器 软件进行设置，并进行连通性测试。适配器软件除了包含保证数据通信和连通 的设置外，还有数据更新方法、数据读、写、修改权限的设置、数据使用用户 限制等。

3)利用数据共享云平台提供的数据接入账户，完成数据的接入工作。

4)数据拥有者通过云端账户进行登陆，对共享的数据进行维护，重要的维 护包括为数据分享指定用户、设置数据的分享方式等。

5)共享数据使用方，通过共享云平台账户进行登陆，查询到分享给自己的 数据共享目录。对需要获取的共享数据向数据拥有者提出数据分享请求。

6)数据拥有者对数据共享请求进行审核、确认，并设置共享权限有效时间 范围。

7)共享数据使用方在共享权限有效时间范围内应用共享数据。

数据共享云平台基于数据访问控制权限数据和已同步的数据情况，进行数 据访问。数据之间的交换采用消息中间件技术实现。

针对上述适配器的更详细说明：

1)适配器支持的数据格式分为：关系数据库：Oracle、DB2、MS SQL Server、 Sybase、MySQL等主流数据库。

非关系型数据源：如文本文件、XML、Excel、消息等。

2)数据采集(也叫数据抽取)支持对各种异构数据的抽取。数据抽取提供 实时、定时，批量、增量的灵活抽取策略，支持多表联合抽取，并能够设置抽 取过滤条件。

3)支持数据使用权限设置，可以对数据的使用方式：如读取权限、写入权 限、删除权限、修改权限进行设置。可以对数据的使用指定用户，并指定使用 权限。

4)数据经过采集(抽取)、加工、转换、传输等一系列处理过程后，最终 装载入库或以文件的形式保存在数据共享云平台共享库中。

5)提供数据库数据装载和文件的目录存储两种数据装载机制。文件传输到 中心后，文件的目录存储分为以文件方式继续保存，或者把文件数据解析装载 入口。

6)支持将数据装载到数据库，也支持将数据存储成相应的XML、Excel、 文本、或二进制文件，也可以将数据转给其他应用系统。

针对上述数据链路中关键技术消息中间件的详细说明：

消息由消息描述和消息的内容组成，消息描述头设计为：(优先级、消息类 型、消息名称、接收队列名、目的节点名、生命周期、发送消息可靠性标识)。 消息描述为消息长度等消息属性信息；消息内容为用户需要真正传输的数据信 息，它的格式由该消息的提供者及接收者协商而定。

消息内容包括字符流和文件两种消息格式，用户可根据应用系统的需要选 择任何一种方式。用户使用字符流消息格式时，需要将消息的内容、标识、长 度等信息传递给消息中间件；用户使用文件消息时，则只需要将文件名(包含 路径)告知消息中间件即可，消息中间件将根据用户提交的文件名对文件内容 进行处理和传输，最终提交到云存储空间中。

消息中间件作为一个消息传递的可靠平台，应用系统可以借助于它轻松地 交换和处理消息，而无需考虑消息传递的具体细节，能够大大降低开发难度， 缩短开发周期，节约开发成本。

具有时间有效性三层数据共享访问控制技术：

三层数据共享权限控制机制：一是数据出站数据权限控制。二是数据可使 用用户权限分配。三是数据使用方使用数据时，需要得到数据拥有者对数据访 问权限的再次确认。

数据访问权限的时间有效性：数据拥有者对数据访问者申请数据访问请求 进行确认时，对数据访问者数据访问有效时间范围进行设置，只有在规定的时 间内，数据访问申请者对数据访问权限才有效，超出了数据访问权限控制时间， 则访问权限自动消失；如果再需要访问数据，则需要重新进行访问权限的申请， 并得到数据拥有者的权限确认过程。

为了实现上述效果，每个数据拥有者至少对应两个数据权限表，分别为本 地数据出站控制表和云端数据访问控制表和执行一次完整的数据访问权限请求 确认过程。

本地数据出站控制表由{共享的数据名、访问权限类别、数据交换方式} 等字段组成。其中共享的数据名指要共享的数据及其存储位置，访问权限类别 包括{读取、写入、修改、删除}，数据交换方式包括{实时、定时、手动}。

云端数据访问控制表由{共享的数据名、访问权限类别，共享用户列表、 数据使用申请列表、数据使用确认信息、数据使用有效性时间}等字段组成。 其中共享的数据指要共享的数据及其存储位置；访问权限类别指针对该共享数 据，开放给数据使用者的访问权限{读取、写入、修改、删除}，该权限的开放 程度不应高于数据出站控制表中针对该数据设置的访问权限；共享用户列表是 指该数据由用户拥有者主动开放给的数据用户；数据交换申请列表是指对该数 据要求访问的用户列表；数据使用者确认信息指数据拥有者对数据访问者的数 据访问请求的确认情况{已确认、未确认、拒绝}；数据使用有效时间指数据访 问申请者的申请，在得到数据拥有者可以访问确认的情况下，数据可以访问的 时间段。

为了更清楚的表达，需要做如下说明：

1)其他数据共享用户只有在数据拥有者对其开放某项数据的访问权限的 情况下，才能看到该数据的名称信息，进而才能提出数据访问申请。

2)数据拥有者即使赋予某个其他数据共享用户设置了可以访问权限，其也 仅能看到共享数据名，并不能真正的访问数据。如果要做到真正的访问数据， 必须经过提出访问申请，数据拥有者对数据申请进行确认的过程。

3)这种冗余繁琐的设计，就是最大限度的保证数据共享的安全性，防止误 操作导致数据的泄密或不当访问。

数据访问权限请求确认过程：

用户利用适配器软件，配置用户数据共享权限，形成数据出站控制表，该 表存储在前置机中。

适配器软件按照数据拥有者用数据权限表数据存取策略，将数据同步到云 端数据共享中心。

数据云端共享中心经过对数据的转换处理，存放在用户私人存储空间中。 此时的数据存放态势根据云端的数据要求，会发生变化，比如用户方采用的是 oracle数据库，在云端采用的mysql数据库。

数据拥有者登录云端个人分享维护系统，对自己分享的数据进行权限维护， 包括数据分享的人员，形成云端数据访问控制表。

其他数据访问者依照云端数据访问控制表，获取自己可以访问的共享数据 项。

其他数据访问者如果需要访问该数据的具体内容，则需要向数据拥有者提 交数据访问申请。

数据拥有者审核数据获取请求，然后确认并分配权限，分配数据的访问权 限具有时间特性，只有在有效的时间范围内，数据访问才有效，否则就无效。

数据访问者在数据访问权限有效时间内对数据进行正常访问。如果数据访 问超出了有效时间，则需要重新申请访问权限。

数据的每次有实效的共享操作，需要数据拥有方和数据使用方共同操作完成。 防止数据拥有者独自操作造成的数据共享错误，增强的数据访问权限控制可以 极大的提高用户数据的安全性，进而增加用户数据分享的意愿。