数字化政府项目的全周期管理方法、系统及可读存储介质

摘要

本发明公开了一种数字化政府项目的全周期管理方法、系统及可读存储介质。该全周期管理方法基于对象属性创建用于执行目标项目的NoSQL中心；然后根据登录日志、修改日志和第一访问规范生成同步事件表中第一项目数据的一致性参数，并根据该一致性参数排列同步事件表；根据同步事件表读取第一项目数据并生成XML数据，再根据XML文档生成第二项目数据并存储至部门子系统j的SQL中心。本发明可以在不同的部门子系统之间同步目标项目，便于项目数据的管理，并且降低对代理端和网络服务器的需求。在目标项目同步过程中，用户端可以持续访问项目数据，避免影响项目的运营。

说明书

技术领域

本发明涉及政务数据处理技术，尤其涉及一种数字化政府项目的全周期管理方法、系统及可读存储介质。

背景技术

现有的政务数字化系统参照CN202010879993.X。这种政务项目管理方法用于管理多级项目任务，根据项目任务的行政归属信息获取与项目任务匹配的职能部门总表，向目标职能部门对应的行政端口派发项目任务。该方法适用于固定行政端口（部门子系统）的项目管理，不同端口之间的数据访问比较困难。本申请人的在先发明CN113407760B公开了一种用于共享平台的政务数据分析系统，该系统的数据库存储于独立的服务器，任意政务端可以通过平台访问数据。该系统主要的数据分析和处理工作集中在平台上，该平台的并行线程多，访问量大。

在现有技术中，为了项目部门管理数据中心，需要将数据中心存储于该项目部门的计算机系统，项目管辖发生变化时，相应的数据数据同步至新的部门。例如在水利项目中，数据中心可以依次存储于水务建设部门、水利工程使用部门等等。现有技术这种政务数据数据同步的方案主要通过XML实现，例如《基于Java和XML跨平台数据迁移的设计与实现》（计算机工程.华东师范大学计算机科学技术系. 黄萍等）以及CN201510817110.1的那种关系型数据库与非关系型数据库的同步系统。这些系统在数据迁移与数据库同步更新过程中，需要关闭外部用户的访问端口。对于全周期不停运的政务项目，用户端需要经常性访问项目数据，系统更新会影响用户使用。

发明内容

针对上述问题，本发明提供了一种数字化政府项目的全周期管理方法、系统及可读存储介质，通过迁移项目数据，实现不同部门之间数据中心的同步，在项目数据迁移过程中提供访问路径，避免影响项目正常运行。

本申请的发明目的可通过以下技术方案实现：

一种数字化政府项目的全周期管理方法，包括以下步骤：

步骤1：业主端生成一目标项目的立项文件，该立项文件包括目标项目的多个对象属性；

步骤2：代理端根据所述立项文件生成地址文档{X

步骤3：部门子系统i基于对象属性创建用于执行目标项目的NoSQL中心，NoSQL中心包括多个第一项目数据，部门子系统i提供该NoSQL中心的第一访问规范；

步骤4：用户端通过网络服务器访问所述NoSQL中心的第一项目数据，网络服务器生成用户端的登录日志，部门子系统i生成第一项目数据的修改日志；

步骤5：若条件参数X

步骤6：代理端根据登录日志、修改日志和第一访问规范生成同步事件表中第一项目数据的一致性参数，并根据该一致性参数排列所述索引标识；

步骤7：代理端读取同步事件表的第一项目数据并生成XML数据，再根据XML数据生成第二项目数据并存储至部门子系统j的SQL中心；

步骤8： 代理端根据第一项目数据的读写操作增减同步事件表的第二项目数据对应的索引标识；

步骤9：若同步事件表的索引标识为空，代理端关闭NoSQL中心并进入步骤10，否则返回步骤6；

步骤10：部门子系统j提供该SQL中心的第二访问规范，用户端根据第二访问规范读写所述SQL中心的第二项目数据。

在本发明中，在步骤2中，所述条件参数X

在本发明中，在步骤3中，第一访问规范为{A

在本发明中，在步骤4中，登录日志为{L

在本发明中，在步骤5中，采用基于周期t的迭代算法生成第一项目数据k的一致性参数N

在本发明中，在步骤6中，代理端定义至少一个的第一映射关系和第二映射关系，根据第一映射关系抽取第一项目数据并转换为XML数据，根据第二映射关系抽取XML数据并转换为第二项目数据。

在本发明中，在步骤8中，当第二项目数据存入SQL中心时，代理端根据第一映射关系和第二映射关系查找对应的索引标识，并删除同步事件表中该索引标识。

在本发明中，在步骤8中，当用户端上传指向任意第一项目数据的文档时，在同步事件表中增加对应的索引标识。

一种用于实现所述的数字化政府项目的全周期管理方法的全周期管理系统，该全周期管理系统主要由用户端、业主端、网络服务器、代理端以及多个部门子系统组成，业主端经网络服务器访问部门子系统，代理端读取网络服务器与部门子系统的历史记录并向至少一个部门子系统提供数据同步环境。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数字化政府项目的全周期管理方法。

本发明提供的数字化政府项目的全周期管理方法、系统及可读存储介质，可以在不同的部门子系统之间同步目标项目的数据，部门子系统可以控制用户端对目标项目的访问与读写，便于项目数据的管理，降低对代理端和网络服务器的需求。在目标项目同步过程中，用户端可以持续访问项目数据，避免影响项目的运营。代理端可以控制数据迁移顺序，通过XML设置映射关系，确定索引标识的对应关系，使得同步事件表的持续更新为可能，并避免重复迁移的数据过多，提高系统同步效率。进一步的，在同步过程中代理端提供原NoSQL中心的持续访问路径，系统可以在必要时刻暂停数据迁移并在后续时刻恢复数据迁移。

在以下附图和描述中解释本申请的一个或多个实施例的细节，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明的数字化政府项目的全周期管理方法的流程图；

图2为部门子系统i与部门子系统j同步过程中的工作时间对比图；

图3为本发明的数字化政府项目的全周期管理方法的同步事件表的更新流程图；

图4为本发明的同步事件表的优选数据结构示意图；

图5为本发明的数字化政府项目的全周期管理系统的框图；

图6为本发明的数字化政府项目的全周期管理系统的部分结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

实施例一

参照图1至图2所示的本发明优选的数字化政府项目的全周期管理方法，主要由10个步骤组成。该方法可以保证在目标项目的同步过程中，用户端可以访问项目数据并修改，避免影响项目的运营。

步骤1：业主端生成一目标项目的立项文件，该立项文件包括目标项目的多个对象属性。立项文件例如包括目标项目的格式要求和规范性要求，对象属性定义完成该目标项目的文件名称和类型。借助该对象属性可以生成目标项目在不同部门子系统中存储的语义字典，便于后续SAX 解析器通过该语义字典快速解析目标项目的数据，也有利于预先定义索引标识。

步骤2：代理端根据所述立项文件生成地址文档{X

步骤3：部门子系统i基于对象属性创建用于执行目标项目的NoSQL中心，NoSQL中心包括多个第一项目数据，部门子系统i提供该NoSQL中心的第一访问规范。部门子系统i接收用户端的数据。NoSQL中心（Not Only SQL）为非关系型数据库，采用面向文档的存储结构，对应的第一项目数据为非关系型数据。该数据结构便于多样灵活的数据扩展，支持用户端的高并发访问，适用于目标项目的新建过程。第一访问规范为{A

步骤4：用户端通过网络服务器访问所述NoSQL中心的第一项目数据，网络服务器生成用户端的登录日志，部门子系统i生成第一项目数据的修改日志。登录日志记录用户端通过网络服务器访问NoSQL中心的过程。在本实施例中，网络服务器在用户端的访问路径插入JavaScript日志收集脚本，按照预定的日志格式收集并切分日志文件，获得不同用户端的访问日志。修改日志参照例如init-connect语句追踪第一项目数据的修改记录并保存在部门子系统i的数据库表中。

登录日志包含用户端标识、登录时间等参数信息，修改日志包含用户端标识、项目数据、修改时间等参数信息。为了简化日志文件，定义查询周期，将登录记录和修改记录定义为t周期的离散函数。在本实施例中，登录日志为{L

步骤5：若条件参数X

步骤6：代理端根据登录日志、修改日志和第一访问规范生成同步事件表中第一项目数据的一致性参数，并根据该一致性参数排列所述索引标识。一致性参数为第一项目数据被重复读写的预测值，由修改记录、登录记录、访问权限、修改权限生成。本发明按照一致性参数从大到小的顺序排列生成数据同步方案，一致性参数较大的第一项目数据修改可能性较小，首先迁移到部门子系统j，一致性参数小的第一项目数据经常会被修改，延后迁移到部门子系统j。

结合前述步骤，由于本发明不记录访问日志，虽然避免了日志文件的累赘，但是访问日志是确定访问对象的较佳数据源。因此，本发明通过登录日志和相关访问权限，预测用户端的访问对象。虽然在无规则网络环境下，用户的访问对象和登录时间无相关性，但是在政务项目运营中，用户的登录记录与系统设置的访问权限呈正相关性，给访问预测带来便利。

在本实施例中，修改记录、登录记录为取值0或1的离散函数。若t周期内第一项目数据k被修改，则修改记录R

具体来说，先计算所有用户端在t周期内对第一项目数据k的影响系数H

其中，n为用户端的数量，

步骤7：代理端根据同步事件表读取第一项目数据并生成XML数据，再根据XML文档生成第二项目数据并存储至部门子系统j的SQL中心。代理端定义至少一个的第一映射关系和第二映射关系，根据第一映射关系抽取第一项目数据并转换为XML数据，根据第二映射关系抽取XML数据并转换为第二项目数据。第一映射关系例如是“表→元素，”索引→子元素，表中数据→文本节点，索引内容→文本节点”。

在具体实施方式中，首先保存NoSQL中心的状态信息并在服务器j创建SQL中心并接收状态信息。然后对NoSQL中心存储的数据进行抽取，获取由数据表定义的非关系型文档，对文档进行解析并采用Xerces XML语法分析器将这些数据映射到一个XML数据中，并将XML数据写入指定的文件。再解析生成的XML数据，抽取表及索引信息并进行数据类型等的转换后在SQL中心重建表及索引，生成第二项目数据。另外，在本发明中，“迁移”是指数据从一个数据库复制到另一个数据库。“同步”是指通过多次数据迁移实现两个系统中间的数据一致。

步骤8：代理端根据第一项目数据的读写操作增减同步事件表的第二项目数据对应的索引标识。数据同步过程中第一项目数据被修改的，需要校验并重新数据同步数据。现有技术需要在数据校验过程中重新扫描原数据库，校验确认被修改的数据重新迁移并覆盖原有数据。在本实施例在代理端设置同步事件表，在用户端上传文件的同时记录文件的索引标识，通过该索引标识完成数据的查找和再次迁移。

步骤9：若同步事件表的索引标识为空，代理端关闭NoSQL中心并进入步骤10，否则返回步骤6。在数据迁移过程中，NoSQL中心每迁出一项第一项目数据，同步事件表删除该第一项目数据的索引标识。NoSQL中心每修改一项第一项目数据，同步事件表增加该第一项目数据的索引标识。同步事件表为空时，代理端关闭用户端对NoSQL中心的访问。

如图2所示，剖面线部分为目标项目同步的区间，实线为服务器的实际运行时间。在数据迁移的过程中，部门子系统i保持NoSQL中心的运行。本发明的数据同步过程可暂停执行，并在后续时刻恢复执行。恢复过程后更新同步事件表，将暂停时间段内被修改的数据重新覆盖至SQL中心。

步骤10：部门子系统j提供该SQL中心的第二访问规范，用户端根据第二访问规范读写所述SQL中心的第二项目数据。与第一访问规范类似，第二访问规范由服务器j定义，服务器j可以实现对目标项目的完全控制，并最大限度降低代理端的负担。

实施例二

本实施例的数字化政府项目的全周期管理方法用于水利项目全周期管理，实施例中未描述的步骤结合实施例一来理解。

本实施例的代理端为监管部门，用户端为工程施工单位，部门子系统i位于市级水利建设部门，部门子系统j位于县区级水文管理部门。第一项目数据包括但不限于水文报告、可行性研究报告、项目施工方案等。本实施例中，NoSQL中心例如是文档型的 MongoDB数据库。第一项目数据被分组存储在数据集中的，每一个数据集称为一个集合(Collenction)，并且每一个集合在当前数据库中都有唯一标识。集合中以 Key-Value 的形式存储文档。NoSQL中心通过自动分片的机制来实现分布式存储，存储大容量数据集的时候，根据系统的均衡策略将数据集切割成无数个数据块，并且将这些数据块分配至不同的片(shard)中。

此外关闭NoSQL中心前可以补充数据校验，例如校验数据类型、非空值及主外键约束等。根据实际需求，可以制定更多的约束或语义方面的校验，例如目标项目的历史材料晚于目标项目的立项日期，政务审批日期晚于材料递交日期等，或者基于相关知识校验水利项目地址信息等。

实施例三

与实施例一不同的是，本实施例进一步改进了同步事件表。参照图3、图4，具体包括如下步骤。步骤81：根据数据类型和格式将NoSQL中心的数据分为多组第一项目数据。例如用户身份证明文件、历史水文文件、项目建设文件等分别存储为不同组别的第一项目数据。步骤82：根据对象属性和语义词典定义索引标识。步骤83：迁移开始前，代理端扫描NoSQL中心，将NoSQL中心的第一项目数据的索引标识存储至同步事件表。步骤84：迁移开始后计算一致性参数，按照一致性参数从大到小的顺序排列同步事件表的索引标识。步骤85：用户端通过代理端向服务器i上传文件时，代理端将该文件存储至NoSQL中心的第一项目数据，并将该文件所在第一项目数据的索引标识存储至同步事件表。步骤86：第二项目数据存入SQL中心时，代理端根据第一映射关系和第二映射关系查找对应的索引标识，并删除同步事件表中该索引标识。步骤87：当同步事件表≠null时，返回至步骤84。步骤88：当同步事件表=null时，代理端删除用户端访问NoSQL中心的的链接，关闭NoSQL中心。因本发明通过XML设置的映射关系确定索引标识，使得记录数据迁移过程更为简便。参照图4，例如第一项目数据k对应的第二项目数据存入SQL中心时，删除同步事件表中第一项目数据k 的索引标识。第一项目数据k+1被修改时，将第一项目数据k+1的索引标识补入同步事件表中。

实施例四

参照图5、图6，本实施例描述一种用于实现所述的数字化政府项目的全周期管理方法的全周期管理系统。该全周期管理系统主要由用户端、业主端、网络服务器、代理端以及多个部门子系统组成，业主端经网络服务器访问部门子系统，代理端读取网络服务器与部门子系统的历史记录并向至少一个部门子系统提供同步环境。

代理端包括控制单元、映射单元、第一SAX 单元、第二SAX 单元、存储单元以及语义词典。控制单元用于存储地址文档并在条件参数X

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

实施例五

本实施例描述一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数字化政府项目的全周期管理方法。

就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或装置或结合这些指令执行系统、装置或装置而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。