面向大数据平台的程序分析优化方法研究

摘要

在大数据处理系统中，通过大数据分析技术来得到有用的信息，需要同时保证可靠性与及时性。因此，数据并行应用的性能变的越来越重要，这些应用的性能和代码逻辑与在运行时的资源利用有关。程序分析技术是一种常用的优化应用的方法，而且这项技术已经被运用到数据并行应用中，但是目前还没有一个能够高效的分析整体数据并行应用的方法。 通过对数据并行应用进行观察和分析，我们得到数据并行应用的特点，即数据并行应用的运行过程具有阶段性，每个数据并行应用的作业会划分为阶段。在每个阶段中会运行多个独立的任务，任务的数目和数据分区的数目相同，每个任务会计算一个分区的数据，且每个任务对分区中的数据进行同样的操作。根据这个特点，提出了基于阶段划分的程序分析(Stage-Divided Program Analysis)，称之为SDPA，来简化和加速数据并行应用的程序分析。对于每个阶段，对其进行重新划分为一个或多个运行周期。对于每个周期内的用户定义函数，将其抽取出来并融合为一个方便分析的函数。这样避免了过程间分析且规避开不必要分析的复杂数据处理系统框架代码。 我们将SDPA实现在Spark上面，并且做了大量的实验来评测此方法的性能。实验结果表明，基于阶段划分的程序分析方法相较于直接分析数据并行应用的程序分析方法可以减少96.4%到98.8%的预处理时间和99.8的分析时间；SDPA对不同敏感度的程序分析都有很好的性能；SDPA可以覆盖Spark机器学习库中大部分应用。

目录

第一个书签之前

绪论

研究背景

国内外研究现状

研究内容

论文框架结构

系统架构与设计

Spark概述

问题分析

系统体系结构与功能模块

系统关键问题与难点分析

小结

系统关键技术

周期划分

用户定义函数融合

用户定义函数融合机制

算子处理

代码处理与分析

静态分析基础

指针分析

闭包处理与分析过程加速

闭包处理

增量加载

缓存分析结果

小结

系统测试和性能分析

测试环境与测试应用

测试性能分析

SDPA整体性能

不同敏感度下程序分析性能

SDPA对应用的覆盖程度

小结

总结与展望

致 谢

参考文献