流程工业分布式实时数据库智能索引系统的设计与开发

摘要

实时数据库系统是大型流程工业企业生产信息化的基础数据平台。随着流程工业的迅速发展，传统实时数据库索引技术由于数据规模相对固定、性能难以扩展、灵活性不足，在系统容量、可靠性、可扩展性等方面已无法满足实际应用需求。研究可支持海量数据存储、分布式冗余备份、规模动态调整的智能索引技术，对实时数据库的分布式化具有重要的理论意义和显著的实际应用价值。
　　 本文针对流程工业数据特点与组织方式，提出一种分布式实时数据库智能索引技术，将现有的流程工业单体实时数据库索引技术与NoSQL海量数据存储索引技术相结合，实现了工业测点数据在分布式环境中的自索引与自调整功能，使用户无须关心测点数据具体的存储位置、各测点的负载等情况，并有效解决了网络带宽的性能瓶颈及测点存储位置的动态维护等问题，提高了系统的易用性、安全性和可扩展性。
　　 本文基于已有的实时数据库高性能存储索引技术，创造性地提出一种适用于流程工业测点类数据的分布式智能索引机制，主要由索引存储查询、负载均衡、多重副本三项技术构成。索引存储查询技术通过建立一个虚拟化的Token域，根据Hash算法将每个测点（组）映射到域中的某个Token，然后根据集群负载情况，为各服务器动态分配所管辖的Token范围，并设计高效的数据结构，保证集群状态发生变化后，可支持查询分散在各个服务器上的测点历史数据，并支持测点订阅。负载均衡技术采用双回路反馈机制，在各服务器负载有失衡的趋势时，通过动态调整测点数据写入流向，预先调整各服务器的负载，避免了大量数据迁移操作。多重副本技术实现了流程工业测点数据的并发查询及智能备份功能，在服务器宕机时可以不中断服务，在数据丢失时可以恢复，并且可以为数据的并发查询提供支持，保证了其实时性和可靠性要求。该设计作为分布式数据读写机制的核心，为满足整个系统的功能性和非功能性指标提供了保证。
　　 本文基于以上机制实现了分布式智能索引原型系统，并使用4台通用服务器搭建测试平台，对存储、查询、负载均衡功能、10万测点推送压力下的性能进行了全面的测试验证。测试结果表明，原型系统的各项功能与整体性能符合设计要求和应用需求。

目录

声明

摘要

致谢

1 绪论

1．1 引言

1．2 课题背景及意义

1．3 国内外研究现状

1．3．1 流程工业实时数据库索引技术

1．3．2 分布式NoSQL数据库索引技术

1．4 课题研究内容

1．5 本文内容

2 分布式实时数据库智能索引机制设计

2．1 分布式实时数据库系统总体设计

2．1．1 分布式实时数据库总体架构

2．1．2 单体实时数据库系统设计

2．1．3 分布式基础通讯平台设计

2．2 分布式智能索引系统需求分析

2．2．1 功能需求

2．2．2 非功能性需求

2．3 分布式智能索引系统总体设计

2．4 本章小结

3 基于索引信息的智能存储和查询技术

3．1 yizhixing面向测点类数据的智能索引结构设计

3．2 索引信息的动态存储机制

3．2．1 状态监测组件的设计与实现

3．2．2 集群状态变化时索引信息的动态存储机制

3．3 基于智能索引的查询技术

3．3．1 分布式实时查询任务调度机制

3．3．2 测点数据写入和订阅的位置查询

3．3．3 测点数据的历史数据的位置查询

3．3．4 数据迁移操作流程及查询结果的修正

3．4 本章小结

4 双回路反馈负载均衡技术

4．1 基于双回路反馈的负载均衡技术

4．2 内回路反馈的设计与实现

4．2．1 内回路机制的作用与意义

4．2．2 不均衡度算法

4．2．3 内回路反馈的触发机制

4．3 外回路反馈的设计与实现

4．3．1 节点宕机时的处理策略

4．3．2 新节点动态加入服务时的策略

4．3．3 节点满载时的处理策略及数据迁移指令的生成策略

4．4 本章小结

5 智能索引多重副本管理技术

5．1 多重副本模块的设计

5．1．1 副本位置在智能索引系统中的记录

5．1．2 副本位置的选择与副本的生成策略

5．2 基于多重副本的数据读写流程

5．2．1 副本写入流程

5．2．2 基于多重副本的查询流程

5．3 基于多重副本的数据恢复机制

5．4 本章小结

6 验证与测试

6．1 测试环境说明

6．2 测试项目

6．3 归纳总结

7 总结与展望

7．1 工作总结

7．2 工作展望

参考文献