基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法

摘要

本发明公开了基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法：S1：先验知识总结与规则抽取；S2：基于先验知识的XAI算法原型进行模糊标记；S3：基于先验知识与prototype的可解释性评价指标设定；S4：基于XAI构件建立像素分类模型；S5：基于像素分类结果的图片级分类；S6：优化像素分类模型结果和AMD识别结果。本发明所述的基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法，本方法通过对Prototype的分割任务，包括阳性的prototype1分割和阴性的prototype2分割，实现了以IOU指标为主要参考标准，实现了模型从可解释性方向的优化和矫正，根据基于上述的像素分割权重相加，实现图片级别的分类，完成了精准AMD的诊断任务。

说明书

技术领域

本发明涉及老年性黄斑病变的诊断领域，特别涉及基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法。

背景技术

老年性黄斑变性又称年龄相关性黄斑变性，为黄斑区结构的衰老性改变，主要表现为视网膜色素上皮细胞对视细胞外节盘膜吞噬消化能力下降，结果使未被完全消化的盘膜残余小体潴留于基底部细胞原浆中，并向细胞外排出，沉积于Bruch膜，形成玻璃膜疣，由于黄斑部结构与功能上的特殊性，此种改变更为明显，玻璃膜疣也见于正常视力的老年人，但由此继发的种种病理改变后，则导致黄斑部变性发生，或者引起Bruch膜本断裂，脉络膜毛细血管通过破裂的Bruch膜进入RPE下及视网膜神经上皮下，形成脉络膜新生血管，由于新生血管壁的结构异常，导致血管的渗漏和出血，进而引发一系列的继发性病理改变，老年性黄斑变性大多发生于四十五岁以上，其患病率随年龄增长而增高，是当前老年人致盲的重要疾病。

因此，提出基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法来解决上述问题很有必要。

发明内容

本发明的主要目的在于提供基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法。所述包括以下操作步骤：

S1：先验知识总结与规则抽取：先验知识整合：将先验医学知识和领域专业知识纳入诊断过程。

S2：基于先验知识的XAI算法原型进行模糊标记：基于先验知识的感兴趣区域，在可解释性人工智能中，可以作爲原型标记，标记为prototype，以此用来衡量模型的可解释性水平，其阳性数据的感兴趣屈居即为病竈坐在区域，其中prototype是指用于解释人工智能模型的行为或决策的代表性或示例性实例，XAI中通常使用原型来对复杂机器学习模型的内部工作提供可解释的解释和见解，帮助跨领域用户理解模型预测或分类背后的推理的有形示例，XAI中的原型可以采用不同的形式，这取决于所使用的特定方法或方法，其特定方法包括：

A：基于实例的解释：原型可以是数据集中的单个数据实例，这些实例被选择来表示某些特征或决策结果，这些实例通常是根据它们与决策边界的接近程度来选择的，或者是为了突出显示影响模型预测的特定特征；

B：基于特征的解释：原型可以通过选择具有不同值或特征组合的实例来创建，这些原型展示了某些特征的变化如何影响模型的预测或决策过程；

C：基于规则的解释：原型可以从提取的规则或解释模型行为的逻辑条件中派生出来，这些规则捕获了模型的决策逻辑，并通过展示做出特定预测的条件来提供可解释的解释；

D：视觉解释：原型可以是视觉表示或热图，突出显示对模型预测贡献最大的图像区域，这些可视化帮助用户了解模型在做出决策时关注的特征或区域；

S3：基于先验知识与prototype的可解释性评价指标设定：对可解释人工智能算法的评估涉及评估模型如何有效地对其决策过程提供可理解的解释，是XAI算法的比较和进步的重要环节，目前有几种针对XAI算法的评估方法，包括使用者研究、性能指标、特定模型的评估方法以及基准和挑战，使用者研究需要向人类专家或终端使用者展示XAI生成的解释，并通过各种形式的调查、访谈或互动任务来衡量他们对模型的理解和信心，除了准确性之外，XAI算法的质量还可以根据量化其解释质量的性能指标进行评估，如覆盖率、一致性和相关性，这些指标评估模型的解释与人类理解和领域知识的匹配程度，交叉-联合得分和一致性得分是用来评估基于类启动图的解释质量的指标，它们分别测量预测热图和地面真实分割屏蔽之间的重叠以及热图反映物体显著性的程度，是XAI算法的常用评估方法，其中XAI为对可解释人工智能，交叉-联合标为IntersectionoverUnion，记为IOU，类启动图表为CAM；

S4：基于XAI构件建立像素分类模型：其中包括：基于DeepLabV3建立底层像素分类模型和基于SHAP可解释性机制优化像素分类模型；

其中基于DeepLabV3建立底层像素分类模型：其中DeepLabV3基于ASPP，基于空洞卷积原理，实现特征批次处理下采样，此外，全域平均池被应用于最后的特征提取，得到的图像层级特征最终传输到具有256个过滤器的1×1卷积中，然后乘以所需的空间维度，DeepLabV3放弃DeepLab中原本的有条件随机选取区域，取而代之的是串联和聚合得到的特征，并在计算最终逻辑之前通过另一个带有256个过滤器的1×1卷积，深度可分离卷积被应用于ASPP池和解码器模块，从而产生更快和更稳健的网络；

其中基于SHAP可解释性机制优化像素分类模型：基于SHAP可解释性机制优化像素分类模型，通过结合基于SHAP的注意力机制，增强的DeepLabV3模型可以提供注意力图，突出眼底图像中对AMD分类决策贡献最大的区域，这些注意力图可以帮助理解模型的决策过程，并提供对AMD诊断相关特征或区域的见解，主要包括如下几个步骤：

a：目标层确定：本研究对于每一层进行可解释性评价，对于具备可解释性的层设定为目标层；

b：计算像素贡献率：对目标层的像素进行贡献率计算，即应用SHAP框架计算DeepLabV3中目标层的SHAP值，这些值测量每个像素对AMD分类决策的贡献，生成注意力图：使用计算的SHAP值生成注意力图，该注意力图突出显示眼底图像中对AMD分类决策影响最大的区域，该注意力图指示了模型在分类过程中集中注意力的区域；

c：注意力集成：修改DeepLabV3架构以包含注意力图，一种方法是将注意力图与DeepLabV3的目标层中的特征图相乘，这种注意力机制强调了特征图中的重要区域，将模型的注意力引向与AMD分类相关的区域；

d：基于Attention的微调和评估：使用标记的数据集，使用注意力机制对修改后的DeepLabV3模型进行微调，微调有助于模型适应注意力机制，并学会有效地利用突出显示的区域，使用IOU、像素精度、并集上的平均交集、XAIindicator、Precision、Recall和F1Score指标评估增强模型的性能；

S5：基于像素分类结果的图片级分类：基于上述像素分类结果，实现图片AMD/非AMD识别，即图片级分类，将图片各像素点属于Prototype1和prototype2的possibility预测值分别相加并对比，改图片分类属于较大可能值所在类；

S6：优化像素分类模型结果和AMD识别结果：对于采样进行XAIindicator的计算和目标层选择，并对其数值进行准确率的观察。

优选的，所述先验知识整合可以通过审查临床指南、相关研究论文和咨询该领域的专家来实现，识别与AMD相关的关键特征、生物标志物或特征，并根据这些知识制定规则。

优选的，所述其中本方法采用两种方法来衡量XAI，第一种方法为采用用户研究评价方法，基础真理标签由三位眼科医生的共识投票决定，第二种是设定XAI指标，该指标是根据预测的基于CAM的原型和地面真相之间的准确率用公式进行计算，公式为：

有益效果

与现有技术相比，本发明提供了基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法，具备以下有益效果：

1、该基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法，基于像素的分类模型也可以理解爲图片分割模型，基于DeepLabV3分割方法建立底层结构，该方法是基于Unet开发的DeepLab后升级的方法，对全域特征学习较有优秀的性能，主要实现对医学图像特征提取中的扩大感受野以及捕获多尺度上下文信息，实现精准定位，该方法在医学图像分割中具有较好的应用。

2、该基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法，本方法通过对AMD多种数据源的实验，证明了可解释机制在模型优化上的优势，提出了基于先验知识和规则提取的prototype标记方法、基于SHAP和DeepLabV3的图片分割优化模型，和基于像素的图片级别分类模型，该模型具有高精准度和可解释性，对于其他疾病诊断具有较好的藉鉴价值，并且通过对Prototype的分割任务，包括阳性的prototype1分割和阴性的prototype2分割，实现了以IOU指标为主要参考标准，实现了模型从可解释性方向的优化和矫正，根据基于上述的像素分割权重相加，实现图片级别的分类，完成了精准AMD(老年性黄斑变性)的诊断任务。

附图说明

图1是本发明中基于DeepLabV3的像素分类模型图；

图2是本发明IOU阈值的计算示意图。

其中AMD、老年性黄斑病变；原型、prototype；黄斑区域有局灶性色素沉着、focalhyperpigmentation；视网膜色素上皮、RPE；环形暗点、RingScotoma；可解释人工智能、XAI；交叉-联合、IntersectionoverUnion，记为IOU；类启动图、CAM；有条件随机选取区域、ConditionalRandomField，CRF；像素精度、pixelaccuracy；并集上的平均交集、mIOU；并集交集、IOU；。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

具体实施例一：

基于先验知识规则抽取和SHAP的AMD可解释性精准诊断方法，包括以下操作步骤：

S1：先验知识总结与规则抽取：先验知识整合：将先验医学知识和领域专业知识纳入诊断过程，先验知识整合可以通过审查临床指南、相关研究论文和咨询该领域的专家来实现，识别与AMD相关的关键特征、生物标志物或特征，并根据这些知识制定规则。

S2：基于先验知识的XAI算法原型进行模糊标记：基于先验知识的感兴趣区域，在可解释性人工智能中，可以作爲原型标记，标记为prototype，以此用来衡量模型的可解释性水平，其阳性数据的感兴趣屈居即为病竈坐在区域，其中prototype是指用于解释人工智能模型的行为或决策的代表性或示例性实例，XAI中通常使用原型来对复杂机器学习模型的内部工作提供可解释的解释和见解，帮助跨领域用户理解模型预测或分类背后的推理的有形示例，XAI中的原型可以采用不同的形式，这取决于所使用的特定方法或方法，其特定方法包括：

A：基于实例的解释：原型可以是数据集中的单个数据实例，这些实例被选择来表示某些特征或决策结果，这些实例通常是根据它们与决策边界的接近程度来选择的，或者是为了突出显示影响模型预测的特定特征。

B：基于特征的解释：原型可以通过选择具有不同值或特征组合的实例来创建，这些原型展示了某些特征的变化如何影响模型的预测或决策过程。

C：基于规则的解释：原型可以从提取的规则或解释模型行为的逻辑条件中派生出来，这些规则捕获了模型的决策逻辑，并通过展示做出特定预测的条件来提供可解释的解释。

D：视觉解释：原型可以是视觉表示或热图，突出显示对模型预测贡献最大的图像区域，这些可视化帮助用户了解模型在做出决策时关注的特征或区域。

S3：基于先验知识与prototype的可解释性评价指标设定：对可解释人工智能算法的评估涉及评估模型如何有效地对其决策过程提供可理解的解释，是XAI算法的比较和进步的重要环节，目前有几种针对XAI算法的评估方法，包括使用者研究、性能指标、特定模型的评估方法以及基准和挑战，使用者研究需要向人类专家或终端使用者展示XAI生成的解释，并通过各种形式的调查、访谈或互动任务来衡量他们对模型的理解和信心，除了准确性之外，XAI算法的质量还可以根据量化其解释质量的性能指标进行评估，如覆盖率、一致性和相关性，这些指标评估模型的解释与人类理解和领域知识的匹配程度，交叉-联合得分和一致性得分是用来评估基于类启动图的解释质量的指标，它们分别测量预测热图和地面真实分割屏蔽之间的重叠以及热图反映物体显著性的程度，是XAI算法的常用评估方法，其中XAI为对可解释人工智能，交叉-联合标为IntersectionoverUnion，记为IOU，类启动图表为CAM，其中本方法采用两种方法来衡量XAI，第一种方法为采用用户研究评价方法，基础真理标签由三位眼科医生的共识投票决定，第二种是设定XAI指标，该指标是根据预测的基于CAM的原型和地面真相之间的准确率用公式进行计算，公式为：

S4：如图1所示：基于XAI构件建立像素分类模型：其中包括：基于DeepLabV3建立底层像素分类模型和基于SHAP可解释性机制优化像素分类模型；

其中基于DeepLabV3建立底层像素分类模型：其中DeepLabV3基于ASPP，基于空洞卷积原理，实现特征批次处理下采样，此外，全域平均池被应用于最后的特征提取，得到的图像层级特征最终传输到具有256个过滤器的1×1卷积中，然后乘以所需的空间维度，DeepLabV3放弃DeepLab中原本的有条件随机选取区域，取而代之的是串联和聚合得到的特征，并在计算最终逻辑之前通过另一个带有256个过滤器的1×1卷积，深度可分离卷积被应用于ASPP池和解码器模块，从而产生更快和更稳健的网络。

其中基于SHAP可解释性机制优化像素分类模型：基于SHAP可解释性机制优化像素分类模型，通过结合基于SHAP的注意力机制，增强的DeepLabV3模型可以提供注意力图，突出眼底图像中对AMD分类决策贡献最大的区域，这些注意力图可以帮助理解模型的决策过程，并提供对AMD诊断相关特征或区域的见解，主要包括如下几个步骤：

a：目标层确定：本研究对于每一层进行可解释性评价，对于具备可解释性的层设定为目标层；

b：计算像素贡献率：对目标层的像素进行贡献率计算，即应用SHAP框架计算DeepLabV3中目标层的SHAP值，这些值测量每个像素对AMD分类决策的贡献，生成注意力图：使用计算的SHAP值生成注意力图，该注意力图突出显示眼底图像中对AMD分类决策影响最大的区域，该注意力图指示了模型在分类过程中集中注意力的区域；

c：注意力集成：修改DeepLabV3架构以包含注意力图，一种方法是将注意力图与DeepLabV3的目标层中的特征图相乘，这种注意力机制强调了特征图中的重要区域，将模型的注意力引向与AMD分类相关的区域；

d：基于Attention的微调和评估：使用标记的数据集，使用注意力机制对修改后的DeepLabV3模型进行微调，微调有助于模型适应注意力机制，并学会有效地利用突出显示的区域，使用IOU、像素精度、并集上的平均交集、XAIindicator、Precision、Recall和F1Score指标评估增强模型的性能。

其中基于DeepLabV3建立底层像素分类模型的先验知识，总结AMD检测任务中感兴趣区域标记原则如下，针对于OCT眼底相片，阳性图片的标记原则为：1)视网膜内液堆积；2)视网膜下液体堆积；3)可疑息肉病变(视网膜下高反射物质/高反射灶)；4)玻璃疣；5)视网膜色素上皮脱离，OCT隐形数据的标记原则为，视网膜到脉络膜之间区域，以黄斑中心凹爲中心的6mm爲半径区域，对于彩色眼底照片(包括普通眼底相片和超广角眼底相片)，对于阳性数据为：1)黄斑区域有硬性/软性/钙化结晶玻璃疣；2)黄斑区域有局灶性色素沉着(focalhyperpigmentation)；3)黄斑区域可见已经融合的基底层玻璃疣；4)脉络膜新生血管膜；5)边界清晰的圆形或椭圆形色素减退的斑点，中心凹附近，可见大的脉络膜血管；6)视网膜色素上皮(RPE)脱离；7)视网膜下新生血管膜渗血；8)黄斑中心凹下出血；9)黄斑区域有较大脉络膜血管，且黄斑周围区域有胶质瘢痕组织；10)黄斑周围区域视网膜下出血伴有残留物；11)黄斑区域存储器在胶质瘢痕；12)黄斑区域存储器在颞缘出血残留物；13)黄斑区域中央小视野残留物周围存在完整的环形暗点(RingScotoma)，对于眼底彩照阴性数据主要爲：以黄斑中心凹为圆心，以视盘中心点到黄斑中心凹区域为半径，所在区域。

本研究从原始数据集中随机选择了2000张图像，包括1000张AMD图像和1000张正常图像，邀请3位眼科医生分别对OCT、普通CFP、FAF和UWF分别进行prototype模糊标记，标记规则如上，标记工具为labelme，采用画点连线的模式，阳性prototype标记区域为“prototype1”，阴性区域为“prototype2”阳性阴性均标记，通过标记prototype来标记模型并对比。

S5：基于像素分类结果的图片级分类：基于上述像素分类结果，实现图片AMD/非AMD识别，即图片级分类，将图片各像素点属于Prototype1和prototype2的possibility预测值分别相加并对比，改图片分类属于较大可能值所在类。

S6：优化像素分类模型结果和AMD识别结果：对于采样进行XAIindicator的计算和目标层选择，并对其数值进行准确率的观察。

具体实施例二：

如图1所示：进行实验：本实验的参数如下：训练反覆运算次数为1000次，研究使用2000张标记数据进行模型训练与测试，训练：测试＝4：1，选用10-folder交叉验证避免过拟合，使用验证数据或单独的测试数据集评估训练模型的性能，图像分割评估指标采用IOU、像素精度、并集上的平均交集、XAIindicator、Precision、Recall和F1Score，这些度量衡量像素分类的质量和整体分割精度，并集交集或Jaccard指数，主要指的是IOU测量预测的分割掩码和地面实况掩码之间的重叠，它被计算为相交面积除以两个屏蔽的并集面积，IOU值越高表示分割精度越高，像素精度主要指的是像素精度测量整个图像中正确分类的像素的百分比，它计算正确分类的像素与像素总数的比率，像素精度提供了模型分割性能的总体度量，并集上的平均交集主要指的是mIOU计算多个类的平均IOU，它分别考虑每个类的IOU值，然后计算它们的平均值，mIOU在处理多个类时提供了分段性能的综合度量，Precision、Recall和F1Score：通过将语义分割任务视为二元分类问题，即为像素是否被分类为类的一部分，可以为每个类单独计算这些度量，精确性衡量正确分类的阳性预测的比例，召回率衡量正确分类实际阳性的比例，F1分数是精确性和召回率的调和平均值。

对于四层下采样进行XAIindicator计算和目标层选择，这4层的XAIindicator分别爲：0.24、0.56、0.79、0.64，因此，选3层作爲目标层，如下表所示，优化后的DeepLabV3具有更强的性能，尤其是可解释性，IOU、像素精度、并集上的平均交集、XAIindicator、Precision和F1Score.相比于原始模型，比较所有数据类型的平均值，优化模型实现了0.736的IOU，这表明预测的分割掩模和地面实况掩模之间有较好的重叠，0.866的像素精度表明86.6％的像素被正确分类，0.83的mIOU证明了跨多个类的合理平均IOU，0.954的XAIindicator表示有95.4％的图片具有正确的可解释性，0.882的精度值表明88.2％的积极预测是正确的，而0.88的F1分数代表了精度和召回之间的平衡权衡，这些指标表明，该模型在分割精度方面表现良好，具有相对较高的精度和F1分数，其中需要对阈值进行计算，如图2，低于阈值后则需要一直优化，由医生判定有没有解释性，并对其进行标记，根据IOU解释进行计算，阈值计算采用k-means算法，k＝2，寻找阈值，使得两类到阈值之间的平均欧几里得距离相同。

分割模型和优化后的DeepLabV3模型参数

以此可见基于像素的AMD识别模型准确率为0.94，F1score为0.87，该结果对于AMD识别准确率较高。

本方法通过对AMD多种数据源的实验，证明了可解释机制在模型优化上的优势，提出了基于先验知识和规则提取的prototype标记方法、基于SHAP和DeepLabV3的图片分割优化模型，和基于像素的图片级别分类模型，该模型具有高精准度和可解释性，对于其他疾病诊断具有较好的藉鉴价值，并且通过对Prototype的分割任务，包括阳性的prototype1分割和阴性的prototype2分割，实现了以IOU指标为主要参考标准，实现了模型从可解释性方向的优化和矫正，根据基于上述的像素分割权重相加，实现图片级别的分类，完成了精准AMD(老年性黄斑变性)的诊断任务。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。