一种产业园区开发建设数字孪生数据分布式存储方法

摘要

本发明公开了一种产业园区开发建设数字孪生数据分布式存储方法，涉及数据存储技术领域，用于解决现有技术现有存储系统针对数据出现问题的处理方式过于单一，导致问题无法解决使系统造成崩溃的问题，本发明包括以下步骤：步骤S1：接收园区建设数字孪生数据经过分类得到的实时更新数据、短暂保存数据和长期保存数据三类数据组并进行分布式存储；本发明将产业园区建设产生的数字孪生数据通过分布式存储方法进行储存，有效地加强数据的安全性，减少单一服务器的单点故障，可以有效地防止数据泄露或篡改，通过优化模块，可针对系统存储数据时产生的不同类型的问题进行实施不同的优化措施，针对性及应急性较强。

说明书

技术领域

本发明涉及数据存储技术领域，具体为一种产业园区开发建设数字孪生数据分布式存储方法。

背景技术

数字孪生技术广泛应用在数字城市、工业、制造业之中，是用于推动智能制造发展的关键要素之一，而数字孪生系统中存在着异构类型的数据，包括物理实体数据、虚拟模型数据、物理模型数据、传感器更新数据、运行历史数据等；

通过构建数字孪生系统，利用该系统收集数字孪生数据并对其进行标记，将标记后的数字孪生数据进行存储并记录存储时间，以使系统可以对数字孪生数据进行后台管理。

但是，上述方式缺乏对数字孪生系统的安全运行进行监测，即数字孪生系统在进行数据存储以及数据交互时，极易出现多种不同类型的存储问题，而现有存储系统针对数据出现问题的处理方式过于单一，导致问题无法解决使系统造成崩溃，因此，设计一种产业园区开发建设数字孪生数据分布式存储方法。

为了解决上述缺陷，现提供一种技术方案。

发明内容

本发明的目的就在于为了解决现有技术缺乏对数字孪生系统的安全运行进行监测，即数字孪生系统在进行数据存储以及数据交互时，极易出现多种不同类型的存储问题，而现有存储系统针对数据出现问题的处理方式过于单一，导致问题无法解决使系统造成崩溃问题，而提出一种产业园区开发建设数字孪生数据分布式存储方法。

本发明的目的可以通过以下技术方案实现：

一种产业园区开发建设数字孪生数据分布式存储方法，包括以下步骤：

步骤S1：接收园区建设数字孪生数据经过分类得到的实时更新数据、短暂保存数据和长期保存数据三类数据组并进行分布式存储；

步骤S2：再对存储后的数据出现的问题进行检测，并对问题类型进行定义；

步骤S3：通过对多个不同类型的数据存储问题出现的情况进行分析并计算得到问风值，当问风值大于预设问风值时，则对未达标的不同问题类型生成不同的优化信令；

步骤S4：针对分布式存储数据产生的不同的问题进行不同的优化操作；

其中针对分布式存储数据产生不同的问题进行不同的优化操作过程如下：

步骤S401：针对分布式存储数据产生数据不一致的解决办法通过增加节点副本的方式来解决：首先对检测单元中对数据不一致的问题检测得到的数据进行筛选，得到不一致数据的发生点所在的节点；将存在不一致数据发生点的节点进行标记，分别将多个标记的节点中的不一致数据发生点数量进行计算，得到一个均值，即标记的节点中不一致数据发点数量均值，并将多个标记节点不一致数据发生点数量与均值进行比对，得到高于均值的节点，并将此类节点标定为增副节点；对增副节点的空间和性能进行验证，判断是否能够存储和处理新增的副本数据，并对达到要求的增幅节点内的数据向新增的副本节点进行复制，并测试新增副本数据与增幅节点内数据的一致性；

步骤S402：针对分布式存储数据安全性及完整性问题的解决办法通过数据追源的方式来解决：首先将存储模块中多个节点进行审计监控，确定审计的事件类型，对数据的复制、粘贴、裁剪、压缩或转移的操作均向日志中进行记录；将记录的日志存储至存储模块中并进行加密防护；对日志上记录的多项操作与多个节点数据变换进行分析比对，判断是否存在异常情况，当出现异常情况时，追寻异常点及时间并第一时间向管理人发送预警，同时对出现的漏洞进行修复，确保数据的来源和去向；

步骤S403：针对分布式存储数据扩展性差的解决办法通过交错处理的方式来解决：首先建立异步线程，然后对数据的不同的处理需求进行收集，当收集到大范围数据备份或同步操作时，对操作的预计用时进行收集，并设置一个用时阈值与多个预计用时进行比对，当超过用时阈值时，则对超过用时的操作进行向新建立的异步线程进行发送操作请求，异步线程则执行此操作，而对于超过用时阈值的操作移交至异步线程后；针对分布式存储数据成本过高的解决办法可分别对系统的部署成本、运维成本及存储管理成本进行分别减少。

进一步的，在所述步骤S1之前还包括：

步骤S001：对园区开发形成的数字孪生数据进行收集，并利用缓冲空间提高接收的缓冲数据量；

其中缓冲空间提高接收的缓冲数据量的具体过程如下：

步骤a：首先建立数据收集的缓冲空间，缓冲空间的内存通过历史收集的每波数据量大小进行定义；

步骤b：对历史收集的每波数字孪生数据量进行记录，并对收集的每波数字孪生数据的时间点进行比对，设置若干个时间段，将每波数字孪生数据的时间点分别与若干个时间点进行匹配，得到每个时间段所含括的若干波数字孪生数据收集时间点：

步骤c：将若干个时间段含括的数字孪生数据收集时间点进行比对，得到一个含括量最多的数字孪生数据收集时间点的时间段，并将此时间段标记为收集高峰段，对此时间段所收集的若干波数字孪生数据量总和进行计算，得到数据量阈值；将得到的数据量阈值加上此阈值的20％作为缓冲空间的预设内存，其中阈值的20％为意外数据留有空间；

步骤S002：将接收的数据按照园区项目的不同阶段分为实时更新数据、短暂保存数据和长期保存数据三类数据组；将经过分类的三类数据组进行存储。

进一步的，对存储数据出现的问题进行检测具体操作步骤如下：

针对数据不一致问题类型的检测，首先将孪生数据分别发送到不同的存储节点，并在接收到数据后首先比较数据是否一致，即对每个存储节点上的孪生数据分别与源数据进行逐一校验，并定期对比不同节点上的孪生数据，如果有出现不一致的情况，则追寻不一致数据的发生点，并将不一致数据发生点的数量进行标记，同时在孪生数据发生改变时，重新进行检测，检查新的数据是否一致；针对数据安全性及完整性问题的检测，通过检测数据在多个节点中存储环境中的可疑活动，并捕捉对存储环境具有潜在风险的异常行为，同时检测运行网络中的安全漏洞，以及对网络安全构成威胁的活动，将检测的可疑活动次数、潜在风险的异常行为次数、运行网络中的安全漏洞数量及对网络安全构成威胁的活动数量分别进行记录，利用公式计算得到安整值；对扩展性差问题的检测，根据园区建设的特定要求，对孪生数据中的每一项进行分析，确定存储扩展性的类型，并对扩展性无法达到园区建设的特定要求的数据进行标记，得到标记的数据量；针对使用成本过高问题的检测，通过对园区建设形成的数字孪生数据进行分布式存储产生的使用成本进行计算，分别由部署成本、运维成本及存储管理成本，计算上述成本之和即为使用成本，并与预算成本总和进行比对，当使用成本大于预算成本总和时，计算差值；当使用成本未超过预算成本总和，则不予统计。

进一步的，对三类数据组进行分布式存储的具体操作步骤如下：

当接收到三类数据组时，为园区建设的数字孪生数据建立一个数据库，再将数据组切割成不同的数据块，并将数据块分布到不同的数据节点；同时在数据库中建立记录表，记录每个节点所输入的所有数据块；然后将后续不同的数据块分别根据记录表记录的内容向各个节点进行上传存储；在每个节点中均设置有快照备份节点，将相匹配的节点数据向快照备份节点中进行复制，并将复制的数据进行校验。

与现有技术相比，本发明的有益效果是：

(1)本发明，将产业园区建设产生的数字孪生数据通过分布式存储方法进行储存，可以实现数据的更加灵活的管理，可以根据不同的业务需求来更加灵活地进行存储、检索和分析；并利用分布式存储的方式可以有效地加强数据的安全性，减少单一服务器的单点故障，可以有效地防止数据泄露或篡改，同时可以支持多客户端同时访问，可以提高数据的实时交互性，可以更加有效地提高系统的处理能力。

(2)本发明，通过优化模块，可针对系统存储数据时产生的不同类型的问题进行实施不同的优化措施，针对性及应急性较强。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明；

图1为本发明的流程图；

图2为本发明的系统框图；

图3为本发明中问风曲线示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

应当理解，本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如图1-图3所示，一种产业园区开发建设数字孪生数据分布式存储方法，包括存储优化系统，存储优化系统由数据收集模块、数据处理模块、存储模块及优化模块组成；

数据收集模块用于收集产业园区开发形成的数字孪生数据，并建立数据收集的缓冲空间，缓冲空间的内存可通过历史收集的每波数据量大小进行定义；对历史收集的每波数字孪生数据量进行记录，并对收集的每波数字孪生数据的时间点进行比对，设置若干个时间段，将每波数字孪生数据的时间点分别与若干个时间点进行匹配，得到每个时间段所含括的若干波数字孪生数据收集时间点，将若干个时间段含括的数字孪生数据收集时间点进行比对，得到一个含括量最多的数字孪生数据收集时间点的时间段，并将此时间段标记为收集高峰段，并将此时间段所收集的若干波数字孪生数据量总和进行计算，得到数据量阈值，并将得到的数据量阈值加上此阈值的20％作为缓冲空间的预设内存，其中阈值的百分之二十为意外数据留有空间，缓冲空间在对数据的接收时减少网络延时和阻塞，也能缓冲较大的数据量，确保数据的及时收集，缓冲空间预设内存的设置也能避免不必要的内存浪费；

数据整理模块用于接收数据收集模块中位于缓冲空间内的数字孪生数据，将数字孪生数据通过园区项目的不同阶段进行分类，分为实时更新数据、短暂保存数据和长期保存数据三类数据组，其中实时更新数据包括用于实施园区建设的实时监测数据，以及用于控制园区建设的实时调度数据；短暂保存数据主要用于记录园区建设项目的进度及质量情况，可以根据园区建设的进展情况定期更新；长期保存数据主要用于持久记录园区建设项目的历史数据，一般不会发生变化，需要长期保存；

数据处理模块用于将数据整理模块中整理的三类数据进行存储；对实时更新数据进行格式的转换，转换为可储存的数据格式，如XML、JSON、CSV、SQL、YAML等，将转换后的存储数据上传至存储模块中，并根据实时更新数据对已存储的存储数据进行覆盖及更新，确保存储模块中存储的数据与实时数据保持一致；设置审核周期，定期对存储模块中的存储数据进行审核，确保存储数据与实时数据相符合；

对短暂保存数据进行二进制格式的转换，并在存储模块中创建表，并将短暂保存数据向存储模块的表中进行上传，为创建的表设置有效期，有效期为可自定义的时间段，以便在有效期结束后对短暂保存的数据进行删除，优化内存使用，并将更新的短暂保存数据向已保存相匹配的数据进行覆盖；

对长期保存数据提取后进行预处理，预处理即对长期保存数据进行元数据的解析及存储格式的转换；并将长期保存数据上传至存储模块中，使用现有的数据管理系统对长期保存数据进行索引、检索、统计等一系列的管理操作；通过数据挖掘等技术，对存储的长期保存数据进行分析，提取有价值的信息；再利用可视化工具，将分析后的结果图形化显示出来；同时需定期更新存储的长期保存数据，以确保数据的准确性和可用性；

存储模块用于接收数据处理模块中处理的实时更新数据、短暂保存数据和长期保存数据三类数据组并进行分布式存储；当接收到三类数据组时，则为园区建设的数字孪生数据建立一个数据库，用于对这三类数据组进行数据的存储；再将数据组切割成不同的数据块，并将数据块分布到不同的数据节点；同时在数据库中建立记录表，记录每个节点所记录的所有数据块；再将后续不同的数据块分别根据记录表记录的内容向各个节点进行上传存储；在每个节点中均设置有快照备份节点，并将相匹配的节点数据向快照备份节点中进行复制，并将复制的数据进行校验，确定数据的安全性及完整性；利用此种备份节点的数据容错策略，可保护数据不受破坏或丢失，当系统发生故障或主机受到攻击时，备份服务可以提供备份数据，保护系统中的数据不受破坏或丢失；

其中对数据组进行分割成不同的数据块时，具体的分割算法可根据数据的具体类型进行定制；分割算法包括基于属性的分割、基于类别的分割、基于聚类的分割和基于熵的分割等实现；基于属性的分割是通过比较数据属性的值，将数据划分为不同的子集；基于类别的分割是通过将数据按照类别划分，将每一类的数据划分为一个子集；基于聚类的分割是通过聚类分析，将数据划分为不同的子集；基于熵的分割是通过计算数据属性的熵，将数据划分为不同的子集；利用上述分割算法可将大量数据划分为更小的数据块，以提高传输和存储效率；

存储模块中还设置有管理单元和检索单元；

管理单元用于对多个节点中的数据分布情况进行管理；通过创建控制器，利用控制器对存储模块中的多个节点数据进行管理；在控制器中再建立一个节点库，用于记录多个节点的数据分布情况；将每个节点上的数据进行统计，并将统计结果更新至管理器中的节点库中；设置一个检查频率，定期对各个节点上的数据库进行检查，检查数据分布情况是否符合要求，如存在不符合要求的情况，则对需要调整的节点数据进行重新分布；同时对控制器中的节点库进行更新，从而保持数据分布的最新情况；管理单元可对多个节点的数据分布情况管理更加便捷，保证了数据的一致性和安全性；

检索单元用于对多个节点中数据进行检索；在存储模块中建立可以跨多个节点的检索器，用来检索储存在多个节点上的数据，并接收检索后的结果，得到反馈；并实时对检索器进行更新，以确保可以正确的检索到储存在多个节点上的最新数据；同时在检索器上添加缓存服务，以加快检索效率；检索单元的设置可以实现对多个节点上的数据进行快速的检索和查询；

优化模块用于对存储模块中存储的数据出现问题后进行优化；优化模块中设置有检测单元、分析单元及优化单元；

检测单元用于对存储模块中存储数据出现的问题进行检测，并对问题类型进行定义；存储模块中存储数据出现问题的类型包括数据不一致问题、数据安全性和完整性问题、扩展性差问题及使用成本过高的问题；

针对数据不一致问题类型的检测，首先将孪生数据分别发送到不同的存储节点，并在接收到数据后首先比较数据是否一致，即对每个存储节点上的孪生数据分别与源数据进行逐一校验，并定期对比不同节点上的孪生数据，如果有出现不一致的情况，则追寻不一致数据的发生点，并将不一致数据发生点的数量标记为BY，同时在孪生数据发生改变时，重新进行检测，检查新的数据是否一致；

针对数据安全性及完整性问题的检测可通过检测单元检测数据在多个节点中存储环境中的可疑活动，并对可能对存储环境具有潜在风险的异常行为进行捕捉，同时检测系统运行网络中的安全漏洞，以及可能对网络安全构成威胁的活动，将检测的可疑活动次数、潜在风险的异常行为次数、运行网络中的安全漏洞数量及可能对网络安全构成威胁的活动数量分别标定H、F、L及G，并将四个数值归一化处理代入公式：

针对扩展性差问题的检测，可根据园区建设的特定要求，对孪生数据中的每一项进行分析，确定其存储扩展性的类型，并对扩展性无法达到园区建设的特定要求的数据进行标记，得到标记的数据量，标定为KZ；

针对使用成本过高问题的检测，通过对园区建设形成的数字孪生数据进行分布式存储产生的使用成本进行计算，分别包括部署成本(分布式存储经过环境配置、设备安装和软件安装等部署产生的成本)、运维成本(分布式存储需要定期进行维护，包括硬件更换、软件升级等成本)及存储管理成本(分布式存储对存储空间进行管理，包括文件的存取、权限设置等成本)，计算上述成本之和即为使用成本，并与预算成本总和进行比对，当使用成本大于预算成本总和时，计算差值，并标定为CB，当使用成本未超过预算成本总和，则不予统计；

分析单元用于接收检测单元得到的不一致数据发生点数量BY、通过检测的可疑活动次数、潜在风险的异常行为次数、运行网络中的安全漏洞数量及可能对网络安全构成威胁的活动数量H、F、L及G计算得到的安整值HZ、扩展性无法达到园区建设的特定要求的数据量KZ及使用成本大于预算成本总和差值CB，并进行归一化处理，并利用公式：

优化单元用于接收分析单元生成的优化信令，并针对不同的优化信令进行不同优化操作；当接收到第一优化信令时，则对分布式存储数据不一致问题类型进行优化，针对分布式存储数据产生数据不一致的解决办法通过增加节点副本的方式来解决：首先对检测单元中对数据不一致的问题检测得到的数据进行筛选，得到不一致数据的发生点所在的节点；将存在不一致数据发生点的节点进行标记，分别将多个标记的节点中的不一致数据发生点数量进行计算，得到一个均值，即标记的节点中不一致数据发点数量均值，并将多个标记节点不一致数据发生点数量与均值进行比对，得到高于均值的节点，并将此类节点标定为增副节点；对增副节点的空间和性能进行验证，判断是否能够存储和处理新增的副本数据，并对达到要求的增幅节点内的数据向新增的副本节点进行复制，并测试新增副本数据与增幅节点内数据的一致性，实施上述优化措施后，使得到的BY小于预设值；

当接收到第二优化信令时，则对分布式存储数据的安全性及完整性进行优化，针对分布式存储数据安全性及完整性问题的解决办法通过数据追源的方式来解决：首先将存储模块中多个节点进行审计监控，确定审计的事件类型，对数据的复制、粘贴、裁剪、压缩或转移的操作均向日志中进行记录；将记录的日志存储至存储模块中并进行加密防护；对日志上记录的多项操作与多个节点数据变换进行分析比对，判断是否存在异常情况，当出现异常情况时，追寻异常点及时间并第一时间向管理人发送预警，同时对出现的漏洞进行修复，从而确保数据的来源和去向；以上优化措施确保HZ小于预设值；

当接收到第三优化信令时，则对分布式存储扩展性差的问题进行优化，针对分布式存储数据扩展性差的解决办法通过交错处理的方式来解决：首先建立异步线程，然后对数据的不同的处理需求进行收集，当收集到大范围数据备份或同步操作时，对操作的预计用时进行收集，并设置一个用时阈值与多个预计用时进行比对，当超过用时阈值时，则对超过用时的操作进行向新建立的异步线程进行发送操作请求，异步线程则执行此操作，而对于超过用时阈值的操作移交至异步线程后，同时可进行下一步操作，避免了操作堵塞和时间的浪费，进而使数据的扩展性更佳；通过上述扩展性优化措施，使KZ值小于预设值；

当接收到第四优化信令时，则对分布式存储使用成本过高的问题进行优化，针对部署成本的优化可采用云计算技术，有效降低部署和维护成本；利用自动化技术，实现更快速的部署；针对运维成本的优化可使用自动化运维工具，如自动化部署、自动管理、自动监控等工具，可以有效减少运维成本，并采用云计算技术，可以快速构建可扩展的分布式系统，而且可以实现资源共享，减少运维成本，同时使用容错技术，可以更加高效地部署和管理，从而减少运维成本，并采用面向服务的架构，可以有效管理数据，提高数据的可用性，同时降低运维成本；针对存储管理成本的优化，可低存储媒介成本：通过智能存储设备的技术创新和硬件成本的降低，可以降低存储媒介成本；提高存储空间的使用效率：有效地管理存储空间，能够有效地提高存储空间的使用效率，减少存储管理成本；利用虚拟存储解决方案，引入虚拟存储解决方案，可以有效地减少存储管理成本；优化存储管理过程，提高存储效率，减少存储管理成本；通过上述成本优化措施，将使用成本降低至预算成本总和以下。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。