高精度的程序日志解析技术研究

摘要

应用程序日志中记录了程序运行过程中的一些关键事件以及异常警告等信息,它对于程序的故障诊断具有很大的价值。然而在大规模系统中,由于模块数量庞大,日志理解困难,日志很少能对故障诊断起到帮助。
　　针对这一问题,研究者们将程序日志和程序源代码结合起来进行分析,做出了各种尝试。在所有这些研究中,日志解析是最重要的一项技术,它将纯文本的程序日志解析成结构化的信息,并建立其与源代码的关联。它贯穿所有和日志相关的研究工作,为后续分析提供数据基础。然而,日志解析技术的实现方法没有公认的标准,研究者们在各自工作中实现的都相对简单,导致解析的准确率不高。由于这些工作的后续分析都建立在日志解析的基础之上,日志解析的低准确率会严重降低整个工作的质量。
　　本文致力于提供一套高精度的日志解析方法。作者针对现有的日志解析技术在模板生成算法中存在的问题进行研究,用静态分析的方法对程序进行控制流和数据流分析,在流分析的基础上为每个日志点建立有限状态自动机以表示它的语言,并用自动机进行日志匹配,以达到提高日志匹配成功率的目的。与现有技术的对比实验表明,本文提出的新技术能有效提高日志解析的准确率。
　　论文的主要研究工作和成果包括:
　　(1)分析总结了现有的日志解析技术,并综合各研究工作的长处,提出了一套合理的日志解析基本框架。该框架由日志点检测、日志模板生成和日志匹配三个主要模块构成。
　　(2)提出一种基于静态分析的日志模板生成算法。该算法基于程序的控制流和数据流分析,为程序中的每个日志点生成一个有限状态自动机,用来表示这个日志点的语言。它结合了过程内和过程间的程序分析,可以解析出极为精确的日志模板。
　　(3)通过和现有技术的对比实验,验证了新的日志解析技术在准确率方面的提高。实验表明,新技术在可接受的额外运行时间开销下,将现有技术的匹配成功率大幅提高。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景和意义

1.2国内外研究现状

1.3 研究内容

1.4 本文的组织结构

第二章 日志解析技术概述

2.1日志解析的相关概念

2.2 日志解析技术综述

2.3 本章小结

第三章 非面向对象语言和面向对象语言的日志解析

3.1 非面向对象语言的日志解析

3.2 面向对象语言的日志解析

3.3 本章小结

第四章 基于静态分析的日志解析

4.1 现有日志解析技术的缺陷

4.2 基于Java字符串解析的日志模板生成

4.3 日志解析工具架构

4.4 本章小结

第五章 对比实验结果分析

5.1 实验基准程序和数据来源

5.2 实验方法和指标

5.3 匹配成功率对比实验结果

5.4 算法效率对比实验结果

5.5本章小结

第六章 总结与展望

6.1 本文工作总结

6.2 进一步展望

参 考 文 献

致谢

攻读硕士学位期间已发表或录用的论文