制造物联海量数据流处理方法研究

摘要

制造物联技术是当代制造业中出现的一种新型的制造和服务模式，它可以极大提高我国制造业信息服务化水平，提升我国制造企业的市场竞争力和影响力。在制造物联环境中，由于制造过程复杂，大量的感知设备被部署到制造现场去监测生产情况，产生海量制造数据流。然而由于这些产生海量制造数据流存在如下特征:巨大的数据容量，多源的数据内容、复杂的数据结构、大的数据乱序排列、强的不确定数据值、多样化的数据表现形式、小价值数据信息值、高的响应需求等，使得现有的海量数据流处理方法难于直接支撑上述海量制造数据流的完全处理，导致现有的制造企业难于直接从上述产生海量信息流中去获取自己所需信息，从而严重影响企业的生产管理与控制水平。
　　本论文在分析制造物联海量数据流存在的数据特征，当前处理面临挑战和现有研究成果基础上，对制造物联环境下海量数据流处理关键技术进行了深入研究，提出并设计出一系列面向制造物联这个特定环境下海量数据流高效检测和处理方法。总结本文开展相关工作并取得主要成果有如下:
　　1)针对制造物联海量数据流因具有大的海量数据量而难于及时处理问题，提出并设计了一种面向制造物联海量多源数据流哈希结构复杂事件检测方法。解决了当前复杂事件检测方法在检测海量多源数据流时因存在大量的回溯操作和重复查找操作而导致的难于及时处理问题，为解决制造物联海量多源数据流高效检测问题提供了新方法。仿真结果表明，相比现有的检测方法，在检测相同海量数据流条件本文所提方法在检测时间，内存消耗和吞吐量方面有着显著提高。
　　2)针对制造物联海量数据流因具有高的乱序性而难于及时判定的问题，提出并设计了一种面向制造物联海量乱序数据流改进自动机与哈希结构的复杂事件检测方法。解决了当前的复杂事件检测方法在检测乱序数据流时因存在乱序事件间内在关联关系难于确定和内在组成结构难于构成而导致的难于及时判定的问题，为解决制造物联海量乱序数据流高效检测问题提供了新途径。仿真结果表明，所提方法能够比较高效地在制造物联海量乱序数据流上完成事件的检测。
　　3)针对制造物联海量数据流因具有强不确定性难于及时检测问题，发明了一种面向制造物联海量不确定性数据流有向无环图结构复杂事件检测方法。可以有效改善当前复杂事件检测方在检测不确定数据流时因组合数量太大而难于及时检测问题，为解决制造物联海量不确定性数据流高效检测问题提供了新思路。仿真结果表明，所提方法在减少海量不确定性数据流时检测时间，降低消耗内存和提高事件吞吐量方面比现有方法有效。
　　4)针对现有方法在解码制造物联中大容量和小价值密度海量视频数据流过程中由于需要频繁地查找可变长码表而导致视频解码性能不高问题，首次提出并设计了一种面向制造物联海量视频数据哈希表和索引查找处理方法。通过在视频解码CAVLC查表中引进哈希表和索引查找技术，利用哈希表和索引查找技术减少CAVLC码表查找过程中码长，码字后缀长度和码字的查找和判断次数，进而减少访问查找可变长码表次数，从而提高海量视流整体解码性能。实验结果表明，我们建议的基于哈希表和索引查找方法由于减少访问查找可变长码表次数可以分别可以节约25％、35％查表内存消耗，约20％、40％查找时间和1056、923节字码字存储空间，可以极大提高了制造物联海量视频数据流解码性能。
　　5)针对上一章改进的基于哈希表和索引查找方法由于仍旧采用有码表查找方式而占用一定的内存，查表时间和码表存储空间，从而限制了CAVLC解码性能完全提高问题，首次提出并设计了一种基于程序代码执行CAVLC无码表查找处理方法。通过采用程序代码执行代替了改进的基于哈希表和索引查找中查表方式，实现了CAVLC无码表高效查找处理方法，为实现制造物联海量视频数据流高性能解码查表问题提供了新思路。实验结果表明，我们建议的新方法由于不用查找码表而可以节约100％查表内存消耗，约45％查找时间和2320节码字存储空间，可以在制造物联环境下更好地完成海量视频数据流的高效解码要求。

目录

摘要

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 数据流上复杂事件检测方法

1．2．2 视频流上编解码查表处理方法

1．3 课题来源和主要研究内容

1．3．1 课题来源

1．3．2 主要研究内容

1．3．3 论文结构

第二章 海量多源数据流上哈希结构复杂事件检测方法

2．1 问题提出

2．2 基于哈希结构复杂事件检测方法

2．2．1 哈希检测方法组成结构

2．2．2 哈希检测方法检测原理及工作过程

2．2．3 哈希检测方法实现步骤

2．2．4 哈希检测方法应用过程

2．3 仿真实验及结果分析

2．3．1 仿真实验环境及参数设置

2．3．2 测试算法检测时间

2．3．3 测试算法内存消耗

2．3．4 测试算法吞吐量

2．4 本章小结

第三章 海量乱序数据流上改进自动机和哈希结构复杂事件检测方法

3．1 问题提出

3．2 基于改进自动机与哈希结构复杂事件检测方法

3．2．1 INFA-HTS检测方法组成结构

3．2．2 INFA-HTS工作原理及检测过程

3．2．3 INFA-HTS方法实现步聚

3．2．4 INFA-HTS方法应用过程

3．3 仿真实验及结果分析

3．3．1 设置实验仿真环境及参数

3．3．2 算法在检测时间比较

3．3．3 算法在内存消耗比较

3．3．4 算法在吞吐量比较

3．4 本章小结

第四章 海量不确定数据流上有向无环图结构复杂事件检测方法

4．1 问题提出

4．2 基于有向无环图结构复杂事件检测方法

4．2．1 有向无环图检测方法组成结构

4．2．2 有向无环图检测方法检测原理及过程

4．2．3 有向无环图检测方法实现步骤

4．2．4 有向无环图检测方法应用过程

4．3 仿真实验与结果分析

4．3．1 仿真实验环境设置及参数选择

4．3．2 算法检测时间测试

4．3．3 算法内存消耗测试

4．3．4 算法吞吐量测试

4．4 本章小结

第五章 海量视频数据流上哈希与索引查找理处方法

5．1 问题提出

5．2 观察码表结构

5．3 发现对应关系

5．4 基于哈希表查找处理方法

5．4．1 哈希表建立

5．4．2 哈希查找工作原理

5．4．3 哈希表查找步骤

5．4．4 哈希表查找算法应用过程

5．5 基于索引表查找处理方法

5．5．1 索引表结构建立

5．5．2 索引查找工作原理

5．5．3 索引查找实现步骤

5．5．4 索引查找算法应用过程

5．6 哈希与索引查找方法比较

5．7 仿真实验及结果分析

5．7．1 仿真实验环境设置及参数选择

5．7．2 算法在查表时间方面测试

5．7．3 算法在内存消耗方面测试

5．7．4 算法在存储空间方面测试

5．8 本章小结

第六章 海量视频数据流上程序代码执行处理方法

6．1 问题提出

6．2 基于程序代码执行的查找处理方法

6．2．1 方法来源

6．2．2 工作原理

6．2．3 实现步骤

6．2．4 算法应用过程

6．2．5 三种方法比较

6．3 仿真实验及结果分析

6．3．1 设置实验仿真环境及选择参数

6．3．2 测试算法查表时间

6．3．3 测试算法内存消耗

6．3．4 测试算法存储空间

6．4 本章小结

总结

参考文献

攻读博士期间发表或完成的论文及专利

科研经历

声明

致谢