病灶大小对肺结节辅助检测产品测试结果的影响

摘要

目的分析同一产品在不同样本上的性能差异,比较不同大小病灶的测试结果,对肺结节辅助检测产品算法性能的泛化能力进行测试。方法将独立测试集导入肺结节辅助检测软件中,然后对产品全体输出结果和全体测试集参考标准进行匹配,以召回率、精确度为主要的检出指标,以Dice系数作为主要的分割指标,按照3种方式(方法1:全体产品输出结果与某大小范围内的参考标准进行匹配,计算检出指标;方法2:某大小范围内的产品输出结果与该大小范围内的参考标准进行匹配,计算检出指标;方法3:使用方法1计算召回率,某大小范围内的产品输出结果与全体参考标准进行匹配,计算精确度)对产品输出、参考标准进行筛选后重新计算指标,并比较不同大小范围病灶的召回率、精确度和Dice系数的测试结果。结果采用方法2计算的召回率结果最低,采用方法3计算的精确度结果最高,召回率和Dice系数随着结节大小的变化结果存在明显差异。结论对于肺结节辅助检测产品,当产品的预期用途与结节大小相关时,测试规则对测试结果有显著影响,有必要明确描述。