基于MapReduce编程模型的遗留代码重构研究

摘要

随着大数据时代的到来，传统遗留系统的响应速度已无法满足用户的需求，但其承载着大量领域知识和关键资源，简单丢弃重新开发会造成极大的资源浪费。作为一种商业计算模型，云计算具有虚拟化、资源弹性扩展、按需服务等优势，吸引着众多组织将遗留系统迁移到云平台上，以便重用遗留系统并提高大数据处理的效率。MapReduce是云计算中以并行方式处理海量数据的有效编程模型，将可并行化的遗留代码自动化地映射到MapReduce模型是一项有意义的工作。 目前，在基于MapReduce的代码重构研究中，针对程序设计语言到MapReduce的重构研究较少，现有重构方法及工具不够成熟。为实现云移植中Java遗留代码的有效重构，本文提出了一种将特定串行代码重构到MapReduce模型的重构方法，使得重构后的MapReduce代码在处理大数据集时更加高效。 本文工作主要包括以下几部分：首先，完成可重构循环的数据处理类型划分与判定。将涉及大数据处理的遗留代码按照业务逻辑划分为四种类型，利用字符串匹配算法计算抽象语法树序列间的相似度，根据得到的最大相似值判断可并行循环的数据处理类型。然后，为每种类型提出相应的重构算法以指导重构过程。重构过程包括两部分，一是通过分析可并行循环所对应的抽象语法树，判断出原循环代码中每条语句的类型，二是根据重构算法将语句重构到MapReduce代码模板的对应部分。最后，基于文中提出的重构方法开发了重构支持工具。该工具实现了可并行循环定位、抽象语法树转换、可并行代码的数据处理类型判定、遗留代码重构四项功能。实验结果表明，本文提出的重构方法有效，能够正确的将串行代码重构为MapReduce代码，而且重构后的目标代码在处理大数据集时比原串行代码更为高效。重构方法的使用有助于实现企业对遗留系统资源的重用，同时提升大数据业务的处理效率。

目录

声明

中英文缩写词对照表

第一章 绪论

1.1 研究背景及意义

1.2 研究内容及创新点

1.3 论文组织结构

第二章 相关研究现状

2.1 多线程重构

2.2 MapReduce代码重构

2.3 本章小结

第三章 数据处理类型的划分与判定

3.1 数据处理类型的划分

3.2 基于AST的代码类型判定

3.3 本章小结

第四章 代码重构

4.1 目标代码模板

4.2 重构算法

4.3 本章小结

第五章 重构工具和实验评估

5.1 JMR的设计与实现

5.2 实验验证及分析

5.3 本章小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

攻读硕士期间发表的学术论文

参加项目