基于AC1系数的二分类结局的一致性评价方法

摘要

在医学研究中，经常需要对不同测量方法或者不同测量者对同一个测量对象的评价结果进行组内一致性评价，或对同一测量方法或同一测量者对同一个测量对象进行多次评价结果进行组间一致性评价，自1955年Scott提出了π系数至今，已有多种一致性评价方法被提出，如1960年Cohen and Fleiss提出的kappa系数，Holley and Guilford(1964)提出了G系数，Gwet(2008)提出的first-order agreement coefficient(AC1)及Isabella Locatelli(2016)提出的intraclass odds ratio，但是目前常用的组内一致性评价方法和组间一致性评价方法都有各自的限制条件及缺陷，最为熟知的是kappa悖论。
　　目的：
　　为了克服以上缺陷并获得更高的准确性，本文基于AC1提出了一种新的组间一致性评价方法一致性估计系数（coefficient of evaluating agreement，CEA），其校正了偶然一致性的估计，使其不受阳性事件率及评价方法边际分布的影响，为组间一致性的评价提供了更多的选择。
　　方法：
　　基于AC1的理论基础，本文通过探究灵敏度、特异度及不同测量者（或不同测量方法）的阳性事件率之间的关系来估计阳性事件率及偶然一致性，并通过探究阳性事件率和偶然一致性对整体一致性的影响，利用各个概率之间的关系式及取值范围来估计整体一致性。为了验证所提出方法的准确性与稳定性，本文进行了三部分的模拟工作，首先，对于不同的阳性事件率以及不同的随机评判概率，CEA对真实一致性T的估计偏差进行了模拟;其次，分别对kappa、AC1、CEA系数与真实一致性的偏差及其方差进行了Monte-Carlo模拟，并进行了结果说明及比较，之后进行了实例验证;最后模拟了在不同敏感度和特异度的组合条件下，kappa、AC1、CEA系数以及敏感度、特异度和阳性事件率的关系。最后模拟了在不同敏感度和特异度的组合条件下，不同阳性事件率下的kappa、AC1和CEA系数。
　　结果：
　　第一部分的模拟结果图显示，随着阳性事件率以0.5为中心向两端靠近时，对于评价者A和评价者B不同组合下的随机评判概率ra和rb，CEA对真实一致性T的偏差持续减小且恒小于0.1。第二部分的模拟结果所示，随着阳性事件率接近1，kappa系数与真实一致性的偏差逐渐增大，而AC1、CEA系数与真实一致性的偏差逐渐减小，在不同的模拟条件下，CEA的准确性均高于kappa和AC1;随着阳性事件率接近1，AC1、CEA系数与真实一致性的偏差的方差逐渐减小，虽然在阳性事件率为0.55时，CEA的偏差的方差偶尔略大于kappa和AC1，但CEA总体的稳定性表现良好。第三部分的模拟结果表显示了在不同敏感度及特异度的组合条件下，kappa系数以阳性事件率为0.5为中心而发生变化，AC1、CEA系数不受阳性事件率的影响，当评价者敏感度和特异度相等时，CEA系数的结果更符合真实一致性(T)的结果。
　　结论：
　　CEA与已有的方法kappa和AC1相比，本研究提出的CEA是一种更为稳定、可靠的一致性评价方法。

目录

摘要

1．1 一致性系数背景

1．2 一致性估计系数的偏倚

第二章 一致性系数

2．1 Kappa系数

2．2 AC1系数

2．3 一致性估计系数CEA

2．4 一致性系数和敏感度特异度的关系

2．5 模拟设计及结果

2．6 实例分析

第三章 讨论与结论

第四章 研究展望

参考文献

致谢

声明