用于医疗保健应用中的机器学习定位模型的交互式阴性解释的系统、用户接口和方法

摘要

一种方法和系统，用于评估机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生疾病状态的预测。该方法涉及在工作站的显示器上呈现患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。提供工具，用户可通过该工具来突出图像中用户认为对于疾病状态而言可疑的一个或多个区域。由机器学习模型对用户突出的区域执行推理。经由显示器向用户呈现推理的结果。

说明书

优先权

本申请要求2019年1月11日递交的序列号为16/246,156的美国专利申请的优先权权益。

背景技术

本公开涉及一种用于机器学习定位模型生成的阴性预测的交互式评估的系统、用户接口和方法。本公开的教导在各种领域中有应用，包括在机器学习医疗保健应用中，例如检查显微镜切片，诊断乳房X光片中的乳腺癌，或者其他放射学形态(例如，X射线、CT、MRI)、摄影图像(皮肤科)以及其他中的其他类型的癌症。本教导也可应用于其他领域，例如冶金学、零件检查、半导体制造及其他，其中机器学习定位模型基于输入的图像数据集合进行预测，预测是阴性的，并且用户试图进一步查询该模型。

在专利和技术文献中描述了将机器学习模型用于若干医疗保健应用的情况。在一个示例中，开发这样的模型是为了协助病理学家识别患者或者从患者得到的标本的2D或3D体积图像中的疾病的存在。例如，病理学家可能试图确定肿瘤细胞(即，癌症)是否存在于组织的放大数字图像中，例如，从活检中获得的淋巴结组织、乳腺癌或前列腺癌组织。作为另一示例，机器学习模型可协助放射科医生检测乳房X光片或胸部X光片中的癌细胞。机器学习模型被训练为从训练数据的集合(图像集合)中识别癌细胞或组织，通常使用卷积神经网络或本领域已知的其他分类过程。

各种技术和工具是已知的，它们解决了“模型解释”的问题。模型解释是一个以人类可读的方式证明机器学习模型为何做出某种建议(例如，诊断出患者患有癌症)的过程。

深度学习模型预测是出了名地难以解释。这在诸如YouTube视频排名之类的用例中是可容忍的，但对于诸如医学之类的高影响力应用中的用例来说则是完全不可接受的。病理学家和其他医疗专业人员，不仅想要知道模型的预测是什么，还想要知道为什么会这样，以便对预测有信心。

本受让人的研究人员已经开发了一些解释模型预测的基本方法。例如，如果一样本或图像被诊断为“阳性”(例如，有癌症，或者癌症的可能性很高)，则已经使用了以下方法：(1)向用户呈现由检测模型产生并随后由分类模型分类的疑似病变周围的边界框，示例在图1A中示出；(2)呈现“热图”，通常有颜色编码来示出特定区域或像素为癌症的可能性的置信度，示例在图1B中示出，参见https://ai.googleblog.com/2017/03/assisting-pathologists-in-detecting.html；以及(3)向用户呈现注意力掩码(attention mask)，其示例在图1C中示出。

尽管有这些进展，关于解释没有发现(例如，没有癌症)的选项是有限的，因为证明阴性是很困难的。对于大多数计算机辅助检测系统，认为某个感兴趣的区域是可疑疾病的医学专家/病理学家/放射科医生，无法知道产生阴性预测的模型是否遗漏了该区域，或者该模型是否检查了该区域并且将其归类为正常/良性。由于计算资源有限，在本领域中的机器学习的一些实现方式中，最初使用检测模型来寻找可疑的癌症组织，随后只有被检测模型发现的那些区域才被用分类模型来进行分类。因此，存在一些风险，即检测模型可能遗漏了可能是癌症的区域，并且因此，总体上得到的“阴性”预测可能是不正确的。

在“阴性”预测的情境中，模型解释的这个问题导致了市场上现有的许多计算机辅助检测/诊断(Computer Aided Detection/Diagnosis，CAD)系统无法提供改善的结果。例如，乳房摄影CAD系统已被证明降低了特异性，部分原因是这种系统采用了这样的用户接口：这些用户接口虽然用大量的发现提醒放射科医生，但它们未能向放射科医生确保，放射科医生自己识别为可疑的发现被机器学习模型视为了良性。本公开解决了这个未满足的需求。

发明内容

在一个方面中，公开了一种方法，用于评估机器学习模型，该机器学习模型从患者或从其获得的样本的2D或3D影像，例如X光片、CT扫描、病理标本，提供关于患者的疾病状态的预测。机器学习模型被训练来从2D或3D影像做出预测，例如，癌变、良性、钙化、病变，等等。该方法包括以下步骤：a)呈现带有与预测相关联的风险得分或分类的图像，其中该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；b)提供用于突出图像的一个或多个区域的用户接口工具，c)接收突出图像的一个或多个区域的用户输入；d)让突出的一个或多个区域经历由机器学习模型进行的推理；并且e)经由显示器向用户呈现对一个或多个区域的推理的结果。

在另一方面中，描述了一种工作站，其被配置为评估从2D或3D影像提供患者的预测的机器学习模型。该工作站包括：a)显示器，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类，其中该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；以及b)用户接口工具，通过该工具，用户可在显示器上突出图像中用户认为对于疾病状态而言可疑的一个或多个区域，其中用户调用工具从而突出一个或多个区域。显示器还被配置为呈现由机器学习模型对用户突出的一个或多个区域执行的推理的结果。

附图说明

图1A是乳房X光片，其中在由检测模型产生并随后由分类模型分类的疑似病变周围有边界框。

图1B是CT扫描，其中有与形成指示癌症可能性高的区域的“热图”的彩色区域相对应的阴影。

图1C是视网膜照片，其中有指示出视网膜照片中有助于特定眼疾病的模型预测的那些部分的注意力掩码(用实线突出的区域)。

图2是乳房X光片，其中包含风险得分(癌症得分，＝0.6％，在本示例中可能是良性的)，同时还有矩形形式的覆盖，识别出影响了机器学习模型的诊断预测的区域。

图3是图2的乳房X光片的图示，但用户已在乳房X光片上绘出新的区域，用户发现该区域可疑并请求额外的发现。该区域可借助光标、手指或笔来绘出，如果乳房X光片是在触摸敏感显示器上呈现的话；识别该区域的方式并不特别重要。

图4是在机器学习模型对图3中用户突出的区域执行了推理后，图3的乳房X光片的图示。该显示示出了对用户识别的区域的分类以及局部区域风险得分，在这种情况下，是0.02％的癌症得分。推理的结果可包括局部区域得分、分类特性、回归值和其他有助于该区域的解读的特征。这样的结果可选地与整体病例的更新后风险得分一起被呈现给用户。用户根据图3识别和突出新的区域，执行推理并且根据图4呈现结果的过程可根据用户的需要继续进行。

图5A是组织图像的图示，其中包含风险得分以及矩形形式的覆盖，识别出影响了机器学习模型的诊断预测的细胞集群。

图5B是图5A的组织图像的图示，但用户在该组织图像上绘出了用户认为可疑并且请求额外发现的新区域。对用户所绘出的区域执行的推理的结果被呈现在显示器上。

图5C是图5A的组织图像的图示，其中用户在该图像上绘出了另一个被认为是可疑的新区域。对该新区域执行推理的结果被呈现在显示器上。

图6是其中可实现本公开的方法的计算环境的一个示例的图示。

图7是示出在图6的计算环境中为了执行该方法而执行的处理的一个实施例的流程图。

具体实施方式

在一个方面中，公开了一种方法，用于评估机器学习模型，即促进人类理解机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。2D图像的示例是放射学图像，例如胸部X光，或者乳房X光片，或者病理标本的放大数字图像。3D体积图像可采取CT扫描、核磁共振扫描或其他形式。在一个方面中，本公开涉及在机器学习模型从图像产生对疾病状态的阴性预测时的情形中的模型可解读性，例如对2D或3D图像中癌细胞的存在的“良性”或“低置信度”预测。预测被视为“阴性”的阈值不是特别重要，并且可根据诸如模型灵敏度或用户偏好之类的事项而变化。在下面的讨论中，癌症得分或局部区域得分的数值是假设性的，仅以举例的方式提供，以说明本公开的核心思想，并且可能反映也可能不反映给定患者样本和机器学习模型的实际评分制度。

该方法包括第一步，在工作站的显示器上呈现患者或者从其获得的样本的图像(例如，乳房X光片，或者放大的组织图像)，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域，例如细胞群。这方面的一个示例在图2中以图示而非限制的方式提供，这是一个患者的乳房X光片10，其中包含风险得分12(癌症得分，＝0.6％，在这个示例中可能是良性的)，以及矩形14形式的覆盖，识别出影响了机器学习模型的诊断预测的区域。在这个特定的示例中，机器学习模型包括检测模型，该检测模型被训练为检测可能的癌症候选，并且边界框或矩形14围绕着候选。机器学习模型对检测模型检测到的集群或细胞执行了推理，并且它们的得分是“低”，不太可能是癌症，因此对样本的总体评估是“阴性”，在这个示例中由0.65％的得分来指示。

该方法包括一个步骤，该步骤提供用户接口工具，用户可通过该工具来突出图像的一个或多个区域，例如，用户认为这些区域就疾病状态而言是可疑的或者希望查询机器学习模型，并且该步骤接收突出该一个或多个区域的输入。该工具可简单地包括与显示器相关联的鼠标。或者，显示器是触摸敏感的，并且工具采取已知的图形处理软件的形式，其记录用户触摸的显示器上的位置(直接或间接，例如用笔)，并且将这样的位置转化为图像内的位置。用户突出一个或多个区域的方式并不特别重要，可以有所不同。这个步骤的一个示例在图3中示出，该图是图2的乳房X光片的图示，但其中用户用鼠标在乳房X光片上绘出了区域20，用户发现该区域可疑并请求额外的发现。该区域可借助光标或手指来绘出，如果乳房X光片是在触摸敏感显示器上呈现的话；识别该区域的方式并不特别重要。在感兴趣的区域周围绘出边界框的一种可能的方法在美国专利10,013,781号中有描述，该专利由Christopher Gammage等人获得，转让给了本发明的受让人。

该方法继续进行一个步骤，即让突出的一个或多个区域(图3中的20)接受机器学习模型的推理。在这个步骤中，机器学习模型处理用户突出的区域中的像素数据，并且生成输出，通常是分类结果，或者预测，或者得分，这取决于模型的配置方式。在这个示例中，机器学习模型可采取卷积神经网络的形式，该卷积神经网络从数以千计的健康和癌症乳房X光片中训练出来，以便对新的(以前未见过的)示例进行正确分类或评分。这里所述类型的深度卷积神经网络模式识别器在模式识别和机器视觉领域广为人知，因此，为了简洁起见，省略了对其的详细描述。科学文献中描述了Inception-v3深度卷积神经网络体系结构，它是一种可能的实现方式。参见以下参考文献，其内容被通过引用并入在此：C.Szegedy等人，Going Deeper with Convolutions,arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy等人，Rethinking the Inception Architecture for Computer Vision,arXiv:1512.00567[cs.CV](2015年12月)；另见2015年8月28日递交的C.Szegedy等人的美国专利申请“Processing Images Using Deep Neural Networks”，序列号为14/839,452。第四代，被称为Inception-v4，被认为是一种替代体系结构。参见C.Szegedy等人，Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning,arXiv:1602.0761[cs.CV](2016年2月)。另见2016年12月30日递交的C.Vanhoucke的美国专利申请“Image Classification Neural Networks”，序列号为15/395,530。这些论文和专利申请中对卷积神经网络的描述被通过引用并入在此。在科学和专利文献中描述了“注意力”(attention)模型的使用，以及相关技术，例如积分梯度。D.Bahdanau等人，Neural MachineTranslation by Jointly Learning to Align and Translate，2014年1月，arXiv:1409.0473[cs.CL].Choi等人，GRAM:Graph-based attention model for HealthcareRepresentation Learning,arXiv:1611.07012v3[cs.LG]，2017年4月；Choi等人，RETAIN:an Interpretable Predictive Model for Healthcare using Reverse Time AttentionMechanism,arXiv:1608.05745v3[cs.GL]，2017年2月。M.Sundararajan等人，AxiomaticAttribution for Deep Networks,arXiv:1703.01365[cs.LG](2017年6月)。有几篇论文是针对使用深度学习从CT扫描中检测和诊断肺结节的，包括：Xiaojie Huang等人，LungNodule Detection in CT Using 3D Convolutional Neural Networks，2017IEEE生物医学成像国际研讨会，2017年4月；Francesco Ciompi等人，Towards automatic pulmonarynodule management in lung cancer screening with deep learning,ScientificReports 7，article no.46479，2017年4月17日；Wenqing Sun等人，Computer Aided lungcancer diagnosis with deep learning,Medical Imaging2016，SPIE期刊，9785卷(2016年3月)；Albert Chon等人，Deep Convolutional Neural Networks for Lung CancerDetection，斯坦福大学报道(2017)，www.cs231n.stanford.edu/reports/2017/pdfs/518.pdf，以及Wafaa Alakwaa等人，Lung Cancer Detection and Classification with3D Convolutional Neural Network(3D-CNN)，国际高级计算机科学与应用杂志，第8卷第8号409-417页(2017)。

该方法继续进行一个步骤，即经由显示器向用户呈现对一个或多个区域(图3中的20)推理的结果。其示例在图4中示出，图4是在机器学习模型对图3中用户突出的区域20执行了推理后，图3的乳房X光片的图示。该显示在22处示出了推理的结果，采取对用户识别的区域20的分类的形式(“良性分类”)，以及局部区域风险得分，在这种情况下是0.02％的癌症得分。推理的结果可包括局部区域得分、分类特性、回归值和/或有助于对区域20的解读的其他特征，这些被呈现给用户。可选地，结果22与在24处示出的整体病例的更新后风险得分一起被呈现。在这个特定实例中，整体病例风险得分从0.65％增大到0.67％。

注意：在这个示例中，每发现一个非零风险的病变，病例水平概率就会增大，而每检查一个区域，概率就会减小(我们可对已知的未知应用较低的惩罚)。这些影响哪个更强，取决于检查的区域有多大，以及发现的病变有多严重。图3和图4的另一个数值示例如下。

—模型发现了一个病变，癌症得分0.6％，整体病例得分1.1％(考虑到没有仔细检查的区域中的不确定性)

—操作者关注另一个病变，突出它，并且要求模型对其执行推理

—模型将该病变分类为良性，癌症得分为0.2％，并且将病例癌症得分增大到1.2％，因为该区域在早前没有被考虑，但该病例仍被认为是良性的。注意，病例得分的增大需要随着被检查的区域的数量而递减，这样才是直观的，因为否则有大量的区域被检查会导致每个病例都最终成为“阳性”。

用户按图3识别新区域、执行推理并且按图4呈现结果的过程可根据用户的需要继续进行。

如前所述，本公开的方法适合用于组织病理学样本，例如前列腺组织的放大数字图像形式的图像数据。在这种情境中，将结合图5A-5C来说明该方法。具体地，图5A是放大的组织图像的图示，其中包含风险得分(在这个示例中，癌症得分，＝0.40％，良性)，以及矩形30形式的覆盖，其识别出影响了机器学习模型的诊断预测的细胞集群。在这个示例中，机器学习模型预测整个标本是良性的，风险得分为0.40％。如图所示，这个风险得分和边界框30在工作站的显示器上被呈现给用户。

病理学家在病理工作站的显示器上查看切片的放大数字图像时，确定切片中还有其他可能感兴趣的区域不在边界框30内，因此可能希望知道这种其他区域是否可能是癌症。因此，如图5B所示，用户用用户接口工具(例如，鼠标和图形处理软件)在组织图像上绘出了新的区域40，用户认为该区域是可疑的，并且请求机器学习模型提供额外的发现。与该区域40相关联的像素数据被作为输入提供给机器学习模型。对用户绘出的区域40执行的推理的结果被呈现在显示器上，如42处所示。这些结果包括局部区域得分(0.20％)、分类结果(阴性)和可选的回归值或其他信息。生成并显示该样本的更新后总体癌症得分，在本示例中为0.42％。在这个示例中，对框40内的额外细胞集群的分类导致总体癌症得分从0.40％增大到0.42％。

在这个示例中，用户选择突出组织标本的另一个区域，以便由机器学习模型进一步评分/推理。在这个示例中，如图5C所示，用户在图像上绘出了另一个被认为是可疑的新区域50。对新区域执行的推理的结果如52所示被呈现在显示器上。

注意，在这个示例中，可能有一些中间步骤，例如缩放和平移到给定的组织图像内的新位置，但上文在图5A-5C中描述的过程基本上是不变的。如图5C所示，用户对新区域的选择当然可以继续，直到用户对组织标本的阴性模型预测感到满意为止。

现在参考图6，本公开的方法可实现在工作站100中，该工作站100被配置为促进人类理解机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生对疾病状态的阴性预测，例如，借由呈现给用户的分类结果或得分。工作站包括：a)显示器102，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型产生的阴性预测的一个或多个区域(见图3和图5B)。工作站包括用户接口工具，例如鼠标104，或者触摸敏感显示器，用户可通过它在显示器上突出用户认为对于疾病而言可疑的一个或多个图像区域。用户调用工具，例如鼠标，从而突出一个或多个区域。显示器被进一步配置为呈现由机器学习模型对用户突出的一个或多个区域执行的推理的结果，如前所述。一旦用户突出了感兴趣的区域，例如利用鼠标104，用户就可通过经由显示器上的适当菜单输入命令来调用机器学习模型，例如通过点击显示器上的“应用模型”图标或者使用键盘106输入适当的命令来调用。

机器学习模型110可驻留在工作站100中，或者更典型的是它可由计算机网络108上的计算资源106实现。在一个可能的配置中，有几个机器学习模型可用。在组织病理学的情形中，用户可在较高的放大率下查看标本，例如40X，并且在该放大率下指定新的区域(例如，图5B中的区域40)，并且调用特定的机器学习模型，该模型被训练为在该放大率下识别癌细胞，而他们也可查看标本并且在低放大率下突出细胞区域，例如10X，例如图5C的区域50，并且低放大率(10X)机器学习模型被用于该推理任务。

图7是示出在图6的计算环境中为了执行该方法而执行的处理的一个实施例的流程图。机器学习模型对患者或者从其获得的样本的2D或3D图像数据集执行推理。该模型提供关于患者的疾病状态的预测，并且在一个示例中是对疾病状态的阴性预测。在200处所示的方法包括以下步骤：

步骤202：在工作站的显示器上呈现患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。

步骤204：提供一个工具，用户可通过该工具来突出图像中用户认为对于疾病状态而言可疑的一个或多个区域。用户调用工具，从而突出一个或多个区域，并且这样的输入被工作站接收。

步骤206：用机器学习模型对突出的一个或多个区域执行推理。

步骤208：经由显示器向用户呈现对一个或多个区域的推理的结果。

可选的步骤210：为整个2D图像/3D体积呈现更新后的风险得分。

该过程可如步骤214所示循环回去，并且步骤204、206和208以及210可重复；该循环适用于用户指定额外区域的情形，如图5A-5C中所说明。

从图2-图6清楚可见，已经描述了工作站的接口，该接口被配置为促进人类理解机器学习模型，该机器学习模型从患者或者从其获得的样本的2D或3D图像提供关于患者的疾病状态的预测。机器学习模型从图像产生对疾病状态的预测，例如阴性预测，比如“良性”。该接口包括显示器(102，图6)，用于显示患者或者从其获得的样本的图像，以及与预测相关联的风险得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域。该接口包括工具(例如，鼠标104)，通过该工具，用户可在显示器上突出图像的一个或多个区域，例如，用户认为对于疾病状态而言可疑的区域，其中用户调用工具从而突出一个或多个区域，如结合图3、图4和图5A-5C所说明。

进一步考虑

该方法可用于进一步检查图像，甚至在机器学习模型已经将标本分类为阳性之后。操作者可能怀疑有另一个值得报告的病变(无论是更严重还是更不严重)，并且希望模型能明确地检查它。因此，该方法进行的步骤是突出额外的区域，启动模型推理，然后生成推理的结果并且在工作站显示器上呈现它。

以上描述的重点是分类+定位问题，但同样的方法也可用在其他方面，例如分割和回归问题。

A.分割

例如，在工作站上呈现超声图像，并且机器学习模型被用来识别超声图像上的前列腺。查看图像的操作者看到前列腺周围有分割掩码(segmentation mask)轮廓，并且可能怀疑没有被标记在掩码内的一些组织也属于前列腺。用户突出这个额外的区域，并且用键盘或鼠标动作启动模型推理。然后，模型或者解释说这个区域实际上例如是尿道，或者模型“同意”将该区域添加到分割掩码。

B.回归问题

例如，机器学习模型可被配置为回答回归问题，比如“用X射线成像的患者的骨龄是多少？”骨头的X射线与模型的预测一起被呈现在工作站显示器上。操作员怀疑某个区域指示出较高的年龄，将其突出，启动推理，并且模型相应地更新其预测。这个一般过程当然可以应用于其他类型的回归问题；骨龄示例是以说明而不是限制的方式提供的。

本教导也可应用于其他领域，例如冶金学、零件检查、半导体制造以及其他，其中机器学习定位模型基于输入的图像数据集作出关于物体的预测。例如，预测是阴性的(例如，没有缺陷存在，或者在冶金样品中没有不良杂质存在)，并且用户试图进一步查询该模型。该方法遵循如上所述的相同基本方法。

a)在工作站的显示器上呈现物体的图像以及与预测相关联的得分或分类。该图像被用突出来进一步增强，以指示出图像中影响了机器学习模型所产生的预测的一个或多个区域；

b)提供工具，用户可通过该工具突出图像中用户认为与预测有关的进一步感兴趣的一个或多个额外区域(例如，潜在的缺陷、杂质，等等)，其中用户调用工具，从而突出一个或多个区域；

c)让突出的一个或多个区域经历机器学习模型进行的推理；并且

d)经由显示器向用户呈现对一个或多个区域的推理的结果。

所附的权利要求是通过对公开的方法、工作站和用户接口的进一步描述而提供的。