测试集规模、测试覆盖率和测试有效性之间关联性研究

摘要

软件测试技术是保障软件质量的重要途径之一。测试覆盖率主要用来度量源代码被覆盖的程度，测试覆盖率越高表示更多的源代码在测试期间被执行。之前的研究人员主要将测试覆盖率作为评价测试质量的标准，认为测试覆盖率和测试集缺陷检错能力呈正相关。然而，最新的研究在表明覆盖率不能客观地评估测试集缺陷检测能力的同时，发现测试集规模和覆盖率之间存在高度的相关性。 由此，衍生的研究问题是：测试集规模、测试覆盖率和测试有效性之间存在什么关系？为了研究这三者之间的关系，本文提出了一种新的测试用例选取算法，使得每个测试用例被选中的概率几乎相同。并且将Defects4j数据集中6个使用率高且开源的项目作为实验对象，通过编程来生成以测试方法和断言两种粒度的测试用例集，对三者关系进行大量、深入的实证研究。本文主要研究工作包括： （1）研究测试覆盖率是否受到测试集中测试用例数量的影响，实验结果表明测试集规模越大，测试覆盖率越高，即两者在统计学上是正相关的。 （2）研究测试有效性是否受到测试集中测试用例数量的影响，实验结果表明测试集规模越大，测试有效性越高，即两者在统计学上是正相关的。 （3）研究测试覆盖率和测试有效性的关系，利用基于线性回归的混和效应模型来刻画三者之间的关系，本文发现在不排除测试集规模的混合效应情况下，测试覆盖率和测试有效性高度相关；在排除测试集规模的混合效应情况下，测试覆盖率和测试有效性之间已无显著关联。

目录

第一个书签之前