流程工业分布式实时数据库研究与应用

摘要

随着产业结构优化和集中度提升，流程工业企业的生产规模不断扩大，传统的集中式实时数据库由于数据吞吐量不足、投资成本过高、容错能力较低、难以弹性扩展等问题，已无法满足实际应用需求。
　　针对上述问题，本论文将大规模分布式系统设计思想与实时性、可靠性技术相结合，建立流程工业分布式实时数据库的服务模型，研究海量数据的动态存储索引机制、事务建模与并行处理、高可用性网络实时通信等技术，并实现研究成果在实际工业项目中的应用验证。具体理论研究和技术应用成果如下:
　　(1)在对流程工业应用场景的需求特点进行深入分析的基础上，提出了分布式实时数据库的服务模型作为系统的基础架构，以及基于中心化组织结构和中心节点主从机制的实时数据库分布式自组织理论。提出了基于Raft协议的主从中心节点选举策略，结合服务发现模型、服务部署策略的研究与设计，实现了实时数据库服务内部与系统整体两个层级的自组织。
　　(2)针对流程工业的存储应用场景特点，提出了基于工厂逻辑模型的动态全局索引机制，以及基于二级分页和多版本管理的本地索引机制。重点对数据分区分片策略、节点增删处理方案、数据多重副本机制和存档文件压缩方案进行了研究，解决了异常状态下数据拟合错误和历史数据占用磁盘空间过高的问题，实现了存储系统的可靠性和扩展能力。
　　(3)深入分析流程工业分布式任务请求的特点，建立了分布式实时数据库的事务模型。基于该模型，研究并实现了相应的分布式并行查询模型和分布式并行计算服务，用于解决分布式事务处理面临的事务分解、并行调度、资源管理等问题。提出了分布式实时混合并发控制算法，综合利用多版本并发控制与乐观并发控制的无阻塞特性，能够优化分布式事务执行的实时性。
　　(4)提出了高可用性网络实时通信服务的层次结构，通过冗余连接会话、数据转发通道、网络服务自组织等多种机制和策略，提高了流程工业网络的可用性。设计了针对流程工业网络的时钟同步机制，能够有效处理网络时延抖动和服务器单点失效问题。同时，提出了网络传输数据加密保护方案和基于数字证书的用户身份认证机制，提升了网络信息安全水平。
　　本论文完成的研究成果有效地解决了流程工业实时数据库的基础架构、大容量、实时性、可用性、并发访问等难点问题，并通过系统测试和实际应用案例验证了其功能和性能指标项，应用结果表明本论文的研究成果能够满足大规模流程工业生产的实际需求。

目录

声明

致谢

摘要

第一章 绪论

1．1 引言

1．1．1 流程工业实时数据库系统

1．1．2 NoSQL与分布式集群系统

1．2 研究目标

1．2．1 整体目标

1．2．2 具体目标

1．2．3 性能指标

1．3 研究现状

1．3．1 海量数据的存储索引机制

1．3．2 实时事务的管理策略

1．3．3 分布式并行处理技术

1．3．4 智能网络通信与信息安全

1．4 本论文的主要内容

1．5 本论文的创新点

第二章 实时数据库服务模型与分布式自组织理论

2．2．1 应用场景特点

2．2．2 系统角色定位

2．2．3 核心功能分析

2．3 分布式实时数据库的服务模型

2．3．1 单机实时数据库的服务模型

2．3．2 分布式服务的功能划分

2．3．3 分布式服务的接口设计

2．3．4 分布式服务的组织结构

2．4 实时数据库的分布式自组织理论

2．4．1 分布式实时数据库的状态分析

2．4．2 中心节点主从机制

2．4．3 主从中心节点选举策略

2．4．4 分布式实时数据库的服务管理

2．5 本章小结

第三章 基于工厂模型的分布式动态存储索引机制

3．1 引言

3．2 流程工业数据特点与存储应用场景研究

3．2．1 流程工业数据业务特点分析

3．2．2 流程工业数据存储需求分析

3．3 基于工厂模型的动态全局索引机制

3．3．1 现有全局索引方法的优缺点分析

3．3．2 基于工厂模型的索引树及其分布式存储

3．3．3 基于全局索引的过程数据多重副本机制

3．4 基于二级分页和多版本管理的本地索引机制

3．4．1 数据记录的多版本管理机制

3．4．2 基于二级分页的本地索引机制设计

3．4．3 本地索引和记录数据压缩方案设计

3．5 本章小结

第四章 流程工业分布式并行处理模型与框架研究

4．1 引言

4．2 流程工业实时数据库的事务模型

4．2．1 分布式实时事务的定义

4．2．2 流程工业实时事务的特征分析

4．2．3 流程工业实时事务属性的设置

4．3 分布式并行查询模型

4．3．1 分布式查询事务特征分析

4．3．2 分布式主动查询模型

4．3．3 分布式实时订阅模型

4．4 分布式并行计算服务

4．4．1 实时并行计算框架设计

4．4．2 非实时并行计算框架设计

4．4．3 分布式计算任务管理服务

4．4．4 分布式计算任务执行服务

4．5 分布式实时混合并发控制

4．5．1 事务并发一致性分析

4．5．2 分布式并发控制算法设计

4．6 本章小结

第五章 流程工业高可用性网络实时通信服务设计

5．1 引言

5．2 流程工业网络通信应用需求分析

5．3 流程工业网络通信服务层次结构

5．3．1 网络通信传输层

5．3．2 网络业务会话层

5．3．3 网络应用服务层

5．4 流程工业网络自组织与自诊断过程

5．5 流程工业网络节点时钟同步机制设计

5．5．1 基本原理

5．5．2 流程工业网络节点时钟同步机制

5．6 网络信患安全与访问认证技术研究

5．6．1 流程工业实时数据库的信息安全需求分析

5．6．2 实时数据库网络传输信息安全机制研究

5．6．3 实时数据库用户访问认证技术研究

5．7 本章小节

第六章 系统测试验证与工厂应用案例分析

6．1 引言

6．2 系统测试验证

6．2．1 测试环境

6．2．2 分布式自组织理论的测试验证

6．2．3 动态存储索引机制的测试验证

6．2．4 分布式查询与计算框架的测试验证

6．2．5 分布式网络通信框架的测试验证

6．3 工厂应用案例分析

6．3．1 应用背景描述

6．3．2 用户需求分析

6．3．3 系统结构设计

6．3．4 案例实施效果

6．4 本章小结

第七章 总结与展望

7．1 研究总结

7．2 研究展望

参考文献

攻读博士期间科研成果

作者简历