基于MapReduce解析二进制文件的设计与实现

摘要

随着航天航空领域的快速发展,传统的数据存储与分析方法已经不能满足于目前的庞大数据量,而云计算技术的出现和发展,很好的解决了这一问题。本文主要研究使用云计算技术中的并行计算框架MapReduce来解决航天航空领域中的大容量二进制总线数据文件的解析问题,MapReduce框架实现了将用户程序自动分布到一个由多台普通计算机组成的集群中来并发执行的功能。
　　本文通过对航天航空领域中的试验数据格式进行分析,提出了适合于该领域二进制总线数据文件的解析方法。针对航天航空领域中总线类型多及总线消息格式不一致的问题,本文采用了显式动态加载的方式来分别解析不同类型的二进制总线数据,并设计了统一的解析接口。同时,本文实现了将具体的解析算法应用于MapReduce并行计算框架中以提高解析性能,并设计了在Map阶段生成的中间值中加入当前数据分片的起始位置,在Reduce阶段按照起始位置从小到大的顺序输出解析结果,从而保证了写入的解析结果顺序与原始二进制文件中的消息顺序一致。
　　本文最后通过实验验证了本文提出的方法可以对总线消息的二进制文件进行正确的解析,并通过对两种解析方式的性能对比,证明了在二进制文件容量比较大的情况下,使用基于MapReduce并行计算框架的解析方式可以有效的提高解析效率。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 论文主要工作

1.4 论文结构

第二章 相关技术概述

2.1 云计算相关技术

2.2 JAVA动态加载机制

2.3 本章小结

第三章 平台总体框架设计

3.1 平台总体需求分析

3.2 平台框架设计

3.3 平台功能模块划分

3.4 本章小结

第四章 解析二进制文件的设计与实现

4.1 解析二进制文件的需求分析

4.2 动态加载的设计与实现

4.3 1553B总线数据解析的设计与实现

4.4 基于MapReduce解析算法的设计与实现

第五章 测试与验证

5.1 实验环境介绍

5.2 实验参数设定

5.3 解析结果展示

5.4 性能比较与分析

第六章 总结与进一步工作

6.1 本文工作总结

6.2 进一步研究工作

致谢

参考文献

作者在读期间的研究成果