基于偶然正确测试用例识别的错误定位方法

摘要

随着软件规模的不断增大，软件的复杂性也在日益提高，这使得软件的测试和调试变得越来越困难。软件的调试通常分为错误定位和错误修复两个阶段。其中，错误定位旨在帮助开发人员和测试人员尽快地检测到程序中包含错误的位置。基于覆盖错误定位技术(CBFL)使用测试用例执行过程中搜集到的覆盖信息和执行结果来定位错误。CBFL首先赋予每个语句一个怀疑度值，表示这个语句包含错误的概率，然后根据怀疑度值的大小得到一个可疑语句的排序。错误语句在可疑语句列表中的位置通常可以被用来评价错误定位方法的性能，好的错误定位方法能将错误语句排在一个较高的位置，也就是说测试人员只需要检查少量的代码就能找到程序中包含错误的位置。
　　近年来已经有很多关于CBFL的研究，也有一些研究人员提出了一些提高CBFL效果的方法，例如Gong Dandan等将测试用例集约简技术应用于错误定位中，Vidroha Debroy等提出了一种基于语句分组的策略来改进现有CBFL的效率。实验证明这些方法都有助于改进错误定位的效果，然而上述研究都忽略了偶然正确测试用例对CBFL的影响。即测试用例执行了错误语句，但是其输出结果与预期结果一致。近年来有一些研究已经表明，偶然正确测试用例广泛存在于测试用例集合中且它们的存在对错误定位有负面影响。
　　本文致力于通过识别并去除偶然正确测试用例来改进错误定位的效果。具体来讲，给定一个包含执行成功和执行失败的测试用例集合，本文的偶然正确测试用例识别方法分为以下三步:首先，根据执行结果将测试用例分为两个子集，执行通过测试用例子集和执行失败测试用例子集;其次，通过K-means将执行成功的测试用例聚类为两个簇;最后，应用本文定义的识别准则识别偶然正确测试用例集合。本文提出了两种处理偶然正确测试用例的方法，并通过理论研究分析了这两种方法的可行性。实验过程中，本文从两个方面评估了提出方法的性能:定位识别偶然正确测试用例的准确性和对错误定位效果的提升。实验结果表明，本文的方法具有较高的准确率和召回率，且本文的两个偶然正确测试用例处理策略能够提高CBFL的效果。

目录

声明

摘要

第一章 绪论

1．1 课题研究目的及意义

1．2 国内外研究现状

1．2．1 错误定位的研究现状

1．2．2 偶然正确测试用例的研究现状

1．2．3 聚类算法在回归测试中的应用

1．3 本文的主要贡献及组织结构

第二章 基于覆盖错误定位与偶然正确测试用例

2．1 基于覆盖的错误定位CBFL

2．1．1 定义

2．1．2 方法

2．2 偶然正确测试用例

2．3 偶然正确测试用例与错误定位

2．3．1 偶然正确测试用例对基于覆盖错误定位的影响

2．3．2 偶然正确测试用例的识别方法

第三章 基于偶然正确测试用例识别的错误定位

3．1 基于覆盖错误定位的方法框架

3．1．1 测试用例覆盖信息和执行结果搜集模块

3．1．2 错误定位与方法评估模块

3．2 基于偶然正确测试用倒识别的错误定位的方法框架

3．2．1 偶然正确测试用例识别模块

3．2．2 偶然正确测试用例处理模块

第四章 基于pass测试用例聚类的偶然正确测试用例识别

4．1 基于K-means的测试用例聚类算法

4．1．1 K-means聚类算法简介

4．1．2 聚类个体的表示及相似度计算方法

4．1．3 基于K-means的pass测试用例聚类方法

4．2 偶然正确测试用例簇的识别准则

第五章 偶然正确测试用例簇的使用策略

5．1 两种使用策略

5．1．1 剔除策略

5．1．2 修正策略

5．2 两种策略对错误定位的影响

第六章 实验设计和分析

6．1 实验对象

6．2 实验数据准备

6．3 评价准则

6．3．1 偶然正确测试用例识别效果的评价准则

6．3．2 错误定位效果的评价标准

6．4 实验结果与分析

6．4．1 偶然正确测试用例簇识别策略的有效性验证

6．4．2 基于pass测试用例聚类的偶然正确测试用例识别方法的识别效果分析

6．4．3 偶然正确测试用例处理策略对错误定位的影响分析

6．4．4 基于偶然正确测试用例识的错误定位效果分析

第七章 结论与展望

7．1 本文的主要成果

7．2 展望

参考文献

附录

致谢

作者简介