用于数字X光影像软拷贝解读的方法

摘要

本发明描述了一种用于数字X光影像软拷贝解读的方法。该方法包括在图像中检测包含一个或多个具有预定类型的候选目标的一个区域；如果所述包含一个或多个候选的区域被检测到，则执行分析以针对每个候选确认或否认所述具有预定类型的目标的存在。

说明书

本申请是申请日为2005年1月5日、申请号为200580002905.1、名称为“用于数字X光影像软拷贝解读的智能化定性与定量分析的方法和系统”的发明专利申请的分案申请。

技术领域

这里公开的本发明涉及用于协助医疗的系统和方法。具体而言，本发明涉及诊断信息分析。

背景技术

鉴于三维解剖结构被投影在二维图像平面上这一事实，大多数X光影像都很复杂。例如，在胸部X光影像上，超过60％的肺区域被肋骨所遮挡。因此，感兴趣的目标，例如结节，可能与解剖结构(例如肋骨)重叠，处于阴影中，或者可能被其它类型的物体所遮挡。这些情况可能导致难以观察感兴趣的目标并且难以分辨这些目标的边界。现有系统在辅助和协助医生对数字/数字化X光影像的软拷贝解读方面具有某些共有缺陷或弱点。首先，大多数现有系统无法提供定量测量，这些定量测量通常被医生用于做出诊断决定。这种能力的缺乏通常与在由于例如上述困难而存在结构/解剖噪声时难以在图像中分割出结节和/或病变的情况有关。其次，现有系统无法遵循现有临床工作流程，并且仅能在这种工作流程的某些阶段提供协助。第三，现有系统通常采用黑盒方法，从而使医生无法实时地与这些系统交互。因此，这些系统仅能够基于在系统中建立的原有知识提供辅助，而无法基于特定于医生的知识和经验来提供辅助。

附图说明

本发明是按照示例性实施例来进一步描述的，随后将参考附图来详细描述这些示例性实施例。这些附图是非限制性的示例性实施例，其中遍及若干附图中的类似标号代表类似部件，其中：

图1(a)示出了用于检查X光影像的示例性临床工作流程；

图1(b)示出了所公开的数字/数字化X光影像软拷贝解读系统的示例性封装结构；

图2(a)示出了在竖屏监视器上显示的示例性GUI；

图2(b)示出了导航控制栏的放大图；

图2(c)示出了在常规监视器上显示的示例性GUI；

图3(a)示出了一幅原始图像，其中用箭头指向结节；

图3(b)示出了具有特定于结节的图像增强的图像；

图3(c)是通过突出可疑区域来表示自动肺结节检测结果的示例；

图3(d)是将特定于结节的图像增强应用到由计算机加亮的自动检测到的可疑结节区域的示例；

图4(a)是允许多个同时诊断操作的示例性GUI；

图4(b)示出了具有指示结节的标记的ROI的示例；

图5(a)示出了在竖屏监视器上显示的示例性诊断决策矩阵(MDD)平台；

图5(b)示出了在常规监视器上显示的示例性诊断决策矩阵(MDD)平台；

图6示出了示例性诊断相关信息卡；

图7示出了示例性封装的诊断信息表；

图8示出了在交互式结节分割过程中的示例性嵌入式一致性检查；

图9(a)示出了在竖屏监视器上显示的示例性临床报告平台；

图9(b)示出了在常规监视器上显示的示例性临床报告平台；

图10(a)示出了具有指导用户生成报告的弹出对话框的示例性GUI；

图10(b)示出了具有要求用户确认在临床报告中包括特定结节的弹出对话框的示例性GUI；

图10(c)是在生成报告方面指导用户的示例性对话框；

图10(d)是要求用户确认在临床报告中包括了特定结节的示例性对话框；

图11(a)是用于识别候选结节的示例性过程的流程图；

图11(b)是用于删除假阳性候选结节的示例性过程的流程图；

图11(c)是利用蜘蛛(Spider)技术删除假阳性候选结节的示例性过程的流程图；

图12示出了示例性昆虫网；

图13示出了在候选结节识别过程中的示例性保留的蜘蛛；

图14(a)示出了一个感兴趣区域的原始图像，该区域中有一个结节连在骨头上；

图14(b)示出了对应于一个结节的一系列提取的目标；

图15(a)示出了在利用蜘蛛技术删除假阳性候选结节过程中提取的目标；

图15(b)示出了最好地捕获目标结节的示例性模板；

图16示出了用于结节分割的蜘蛛技术的示例性框图；

图17(a)示出了包含结节的两个ROI；以及

图17(b)示出了利用蜘蛛技术分割的结节的示例。

具体实施方式

下述处理可以由被适当编程的通用计算机单独执行，或结合专用计算机来执行。这样的处理可以由单个平台或分布式处理平台来执行。另外，这样的处理和功能可以以专用硬件的形式或以由通用或网络处理器运行的软件或固件的形式来实现。在这种处理中被处理或作为这种处理的结果创建的数据可以象传统现有技术一样被存储在任意存储器中。例如，这种数据可以被存储在临时存储器中，例如存储在给定计算机系统或子系统的RAM中。另外(或在替换方式中)，这种数据可以被存储在长期存储设备中，例如存储在磁盘、可重写光盘等中。这里出于公开的目的，计算机可读介质可以包括任意形式的数据存储机构，包括这样的现有存储器技术，以及这种结构和这种数据的硬件或电路表示。

本发明公开了用于辅助能够辅助诊断信息提取和分析以支持作出诊断决定的集成平台的系统和方法。在某些实施例中，所公开的本发明被应用于数字/数字化X光影像软拷贝解读。辅助功能可以实时交互的方式提供，从而使辅助功能可以被嵌入在最优工作流程中。用于辅助数字/数字化X光影像软拷贝解读的功能可以包括例如图像显示、基于特定疾病的增强图像查看、注释、自动结节检测、实时交互结节检测和分割、自动的结构化临床报告生成等等。通过将高维度诊断信息封装成多个辅助工具并组织这些辅助工具以形成多个诊断方案平台，所公开的系统和方法有助于用户以与临床实践工作流程相一致的方式做出医疗诊断决定。所公开的系统可被用于不同目的，包括医疗的和非医疗的。例如，其全部或部分功能可作为标记工具用于教学。

在某些实施例中，所公开的本发明支持多个特征，例如用于支持以与现有临床工作流程相一致的方式进行数字/数字化X光影像的软拷贝解读的一个或多个平台和/或机制、具有诊断信息导向型封装分层结构的开放系统体系结构、允许用户与系统实时交互的辅助工具，以及能够向医疗诊断提供辅助的新算法。

在某些实施例中，该系统和方法可以以与现有医生的诊断工作流程相一致的方式被使用，所述现有医生的诊断工作流程包括解读图像以识别可疑病变/结节、基于定性和/或定量检查和特征来作出决定，和/或临床报告的生成。例如，所公开的系统可以经由不同平台支持不同组功能，所述平台例如是图像解读平台、诊断决策矩阵平台和临床报告平台。智能化辅助工具套件可以实时和交互的方式被提供，以辅助医生以与其自己的工作方式相一致的方式操纵系统组件。

在某些实施例中，该系统和方法可能具有开放式体系结构，该开放式体系结构具有诊断信息导向型封装层次结构，其中处于不同级别的不同类型的诊断信息可以被封装在适当的工具套件中。这样的分层式并封装的体系结构使系统可以扩展，以处理例如随着现代技术的快速发展而出现的信息。包含数据和工具的封装包可以在不同诊断工作站之间传递(本地或远程)，从而在不同地点的用户可以部署这样的工具来取得被封装在传递包中的数据。

在某些实施例中，系统和方法可以以实时且交互的方式提供自动分析方法以辅助用户对病人图像进行软拷贝检查。以实时且交互的方式执行的某些自动分析方法可以包括交互式目标分割和交互式目标检测。该系统对用户来说可以是开放式的或透明的，并且可以允许系统执行的客观定量分析与医生的特定知识和/或经验集成在一起，以例如提高做出诊断决定的性能。

在某些实施例中，该系统和方法可部署有多个能够仿真捕获食物的蜘蛛的技术，从而可以适应性地捕获并自动分割目标病变，以辅助医生的定性和定量分析。

在某些实施例中，该系统和方法可以提供其它功能，包括在整个图像上的智能化自动结节检测、智能化实时交互式结节检测、实时交互式智能化结节分割和量化、实时手动结节分割和测量、特定于结节的图像增强、自动临床报告生成。这些示例性功能可被应用于肺结节。这些示例性功能中的每一个在下文中被描述。

在某些实施例中，在整个图像上的智能化自动结节检测可通过按钮上或菜单中的单次鼠标点击来激活或触发。在被激活时，对应于该功能的功能组件可以自动识别目标区域(例如肺区域)并且扫描该区域以找到可能包含病变的每个可疑区域。这样的自动检测可以与用户(例如医生)利用其它工具对同一研究目标进行的手动和/或交互式检查同时进行，其中所述其它工具可能位于同一工作站，也可能位于远程的不同工作站。

在某些实施例中，用户可以与自动结节检测组件交互，从而无论用户指向图像中的哪个特定区域，系统都可以实时地提供其关于该指示的特定区域是否对应于结节的自动检查决定。另外，该系统还可以提供可信度测量，其结果标志在决定方面的可信度级别。

在某些实施例中，用户可能不需要描摹结节边界来得到结节的分割。替代地，用户可以在结节周围画一个矩形，系统随后可以自动提取出结节的边界。系统还可以自动计算出关于该分割出结节的具有临床意义的特征。这些有意义的特征的示例包括表征分割出的结节的测量结果，该测量结果可能对于协助用户作出诊断决定很重要或很有帮助。这样的测量结果可以包括结节的大小、形状、结节边界的平滑度以及结节内的灰度分布。在某些实施例中，用户可能被提供手动分割结节和测量的选项。在其它实施例中，用户可以执行某种手动测量，并且系统可以据此自动计算其它特征。

在某些实施例中，特定于结节的增强可能是一种实时的交互式辅助工具。在某些实施例中，特定于结节的增强可能被提供用于病变增强。特定于结节的增强可被即时应用到用户可能已移动光标所到的区域。这样执行的特定于疾病的增强可以提供特定于结节的可疑区域增强显示，并且增强显示可以被放大并被显示在大小和形状可调的窗口中。

在某些实施例中，所公开的系统和方法可以允许用户核实要被报告的每个识别出的可疑结节。被确认将报告的检测出的结节可以与其定量测量结果一起被自动传给临床报告，该临床报告在需要时可被读取、打印、存储和重载。

在某些实施例中，所公开的系统和方法可以自动地对其工作参数进行恰当的调整以能够合适地在动态环境中工作。例如，依赖于显示环境，在显示图形用户界面时使用的工作参数可能基于例如所使用的监视器的类型而被自动调整。在另一示例中，字体大小可以根据所使用的显示监视器的分辨率来自动调整。系统中的文本和图形目标显示也可被自动调整，例如在具有相对较高或相对较低亮度的显示图像中可以自动添加阴影以提供更好的对比度。

图1(a)是用于软拷贝解读的示例性过程的流程图。用户可以在101处读取数字/数字化X光影像，并在102处在利用(或不利用)计算机系统协助的情况下识别可疑区域。当在103处认为有必要进一步检查已检测出的可疑区域时，可以在104处执行详细的检查或分析(定性的或定量的)以表征可疑区域。这样的表征可以提供用于诊断的证据。基于这样的证据，可以在105处作出诊断决定，并生成临床报告。

在某些实施例中，可以将计算机辅助工具套件组合起来并封装到多个包中，从而使这样的工具可以以与现有临床工作流程相一致的方式被利用。另外，计算机辅助工具可以以实时且交互的方式被提供，以使它们能够被嵌入在优化的工作流程中。具有相应功能的封装体系结构的一个示例性实施例如图1(b)所示。在该示例性实施例中，可以组合出三个封装辅助包，包括使用户能够识别可疑结节的图像解读平台110、提供使用户能够基于从定性/定量测量/表征中导出的证据获得诊断决定的平台的诊断决策矩阵(MDD)平台120，以及能够生成与诊断相关的信息总结并保存诊断记录的临床报告平台130。这些示例性平台中的每一个将在下面详细描述。

图像解读平台

在工作中，用户可以触发图像解读平台110以开始软拷贝解读。用户可以激活封装在该平台中的任意辅助工具或其组合来读取与病人相关的图像和/或识别图像中的可疑区域。显示在竖屏监视器上的图像解读平台的示例性显示如图2(a)所示。该示例性图像解读平台包括多个区域(field)。所包括的区域的示例可以是：病人信息区202；导航控制栏204，其可在所有平台中访问以使用户可以在不同诊断阶段之间来回切换；显示/查看参数区206；光标位置和像素灰度区208；交互式辅助工具的工具栏210；具有功能和显示设置选择的弹出菜单220；用于在例如结节检测过程中显示图像的显示窗口230；以及可以在交互式检测图标218被激活时弹出的交互式检测可信度条形区域240，其中所述用于交互式辅助工具的工具栏210可以进一步包括病人文件选择和打开功能图标211、窗宽窗位设置调整功能图标212、用于控制用户标记显示的功能图标213、用于在多个图像上进行批量模式自动结节检测的功能图标214、取消按钮215、重做按钮216、用于在当前图像上进行自动结节检测的功能图标217、用于在当前图像上进行交互式结节检测的功能图标218以及特定于结节的图像增强工具图标219。图像解读平台可以根据可自动调整的显示参数来显示。例如，图2(c)示出在常规监视器上显示的图像解读平台的显示。用于在不同诊断阶段之间切换的导航控制栏204如图2(b)所示。

基于图像解读平台，用户可以加载病人图像并将加载的图像显示在显示窗口230中。一旦病人图像被加载和显示，用户就可以在不同工作模式下识别可疑结节区域，所述工作模式例如是手动检测模式、自动检测模式、交互式检测模式或组合模式。

在手动检测模式中，用户可以利用或不利用在图像解读平台中提供的辅助工具的帮助来识别结节。例如，用户可以通过例如在所显示图像上点击鼠标以手动指向某区域来指定一个可疑区域。当识别出候选结节时，用户可以将检测出的结节添加到下面将描述的诊断决策矩阵(MDD)平台诊断信息表中。在某些实施例中，用户可以利用系统的帮助来识别可疑区域。例如，实时交互式辅助工具“特定于结节的图像增强工具219”可被激活以首先执行特定于疾病的图像增强，该特定于疾病的图像增强可以在具有增强的感官效果的区域中成像，以帮助用户更好地理解增强区域中的复杂结构。在某些实施例中，这种增强可被应用在以动态光标位置为中心的感兴趣区域(ROI)上。动态光标位置周围的ROI的大小可以被预先确定、基于图像特征自动计算出，或手动调整。这种ROI的形状在不同实施例中可能不同。例如，用于增强的ROI可能是圆形的、椭圆形的或矩形的。在增强时可以应用放大。放大的程度可以通过例如拖拉鼠标(例如按下右按钮)来连续地调整。图3(a)示出胸部X光影像的一部分的示例，其中结节由箭头指示。图3(b)示出具有增强区域的同一图像，其中增强是利用特定于结节的图像增强工具来实现的。在该示例中，由特定于结节的图像增强工具使用的ROI的形状是圆形的。

在某些实施例中，自动结节检测可被利用。结节的一个示例可以是肺部结节。用于激活自动结节检测的不同方法可被实现。例如，这样的检测可以经由相应工具图标214上的单次鼠标点击或通过菜单选择来触发。一旦检测被激活，系统就可以自动扫描病人图像以检测结节/病变。结节检测的细节将在以下论述。如果可疑的结节结构被识别出，则与该可疑结节结构相关的信息可被存储以用于例如其它检查，该其它检查可以由用户手动执行、可以由计算机系统自动执行，也可以通过人机交互来交互式地执行。

识别出的可疑结节可经由不同方式来表述或显示。在某些实施例中，可在检测出的可疑结构附近显示指向可疑结节区域的标记。在某些实施例中，用户可被请求判断所指示的结构是否对应于可能的结节，判断检测出的可疑结构是否需要进一步检查，或者判断这两方面。在某些实施例中，当可疑结节可能是实际结节或者检测出的结节可能需要进一步检查时，关于检测出的候选结节的信息可以被自动添加到诊断信息表。关于诊断信息表的细节将在下面描述诊断决策矩阵平台时论述。

在某些实施例中，包含检测出的结节/病变的区域可被突出以提供增强的视觉效果。对可疑ROI突出可用于引起用户的注意。这种突出可以经由区分可疑区域和图像其余部分的亮度级别的不同方案来实现。例如，它可以通过在保持图像其余部分的亮度对比度不变的同时提高在可疑区域中显示的亮度对比度来实现。除此之外，这可以通过在保持可疑区域的亮度对比度不变的同时降低图像其余部分中显示的亮度对比度来实现。作为另一替换方式，这也可以通过同时增大可疑区域的亮度对比度并降低图像其余部分的亮度对比度来实现。突出效果也可以通过使可疑区域的亮度级别低于图像其余部分的亮度级别来实现。另外，给定窗口中的图像显示窗位可由用户优化，则也可能选择对可疑区域保持当前优化显示设置并使图像的其余部分变暗淡，从而可以从视觉上显得可疑区域被突出了。图3(c)示出自动识别出的结节的示例显示。在该示例中，自动识别出的可疑区域360被“突出”以吸引用户的注意。在某些实施例中，用户可以利用特定于结节的图像增强工具，再结合标记观察模式或区域突出观察模式来定位可疑结构。图3(d)示出特定于结节的图像增强被应用到已强调突出的检测出的可疑区域的显示。

在某些实施例中，可以在将检测出的多于一个结节组合在单个强调区域中，该强调区域覆盖所有这些结节。这可以在不同结节相互靠近时被采用，从而具有突出显示的单个突出区域可以从视觉上避免混乱显示。当窗宽窗位设置改变(例如被用户)时，可疑区域和基本图像的其余部分可能据此被调整，同时可疑区域和图像其余部分之间的对比度保持不变以维持“突出”效果。在某些实施例中，可以允许用户在常规图像观察模式和结节指示的观察模式之间自由切换。除了检测候选结节之外，突出某一区域以吸引观察者注意的方案也可被应用在其它情形中。例如，它可被用于其它类型的疾病或不同病人数据采集设备的信息。

在某些实施例中，可以针对多个预选图像以批量模式执行自动结节检测。例如，用户可以选择多个病人数据并提交一批量任务，以使得可以以批量方式对所有选中的图像执行检测，以自动识别出包含在这些图像中的结节。

在某些实施例中，用户可以以交互模式识别结节。在某些实施例中，该交互式结节检测模式可以经由例如相应的工具图标216上的单次鼠标点击来激活。在该模式下，用户可以指向图像中的一个区域，然后自动结节检测模块可以实时地工作以产生指示在该特定位置/区域附近是否存在结节的输出。这样的输出可被提供以某个可信度量度，该可信度量度可以以不同的视觉信息形式显示，例如条形或饼状图220。该可信度量度可在诊断决定方面向用户提供关于指定区域附近的当前结构是否对应于结节的参考。可疑区域可被保存以用于进一步的检查。在某些实施例中，结节检测也可以在作为上述三种检测模式的组合的工作模式中执行。其他可从图像解读平台获得的辅助工具也可以结合结节检测而被激活。

某些可被激活的操作可能很费时。在某些实施例中，为了满足临床实践中的速度需求和/或提高临床吞吐量，在其中任一平台下执行的操作都可能被优化。例如，可以在前台和后台同时执行多个进程。在某些安排中，费时的进程在后台执行，而实时功能在前台执行。费时的进程例如可以包括某些信息准备功能或批量自动结节检测。

在某些实施例中，在后台运行的进程的工作状态可以例如通过饼状图或其他的显示来从视觉上指示。这样的显示可能位于与原始工具图标相同的位置上。将工具图标和相应的处理状态放在同一位置上使用户更容易记住当前正在运行哪个任务。图2(c)示出一个示例性界面，该界面示出处于执行之中的后台和前台同时发生的进程。图2(c)显示，当病人图像被加载时，在后台运行用于提取可能有助于医生对图像进行交互式分析的某种信息的功能，而处理状态被显示在“打开”图标211上或附近。除此之外，用户可以在整个信息提取完成前，基于现有信息利用其它辅助工具来同时执行诊断。图4(a)示出另一示例，其中在前台运行交互式检测，而在后台同时运行批量自动结节检测进程。在该示例中，与自动结节检测图标217相关的处理状态被显示，其指示自动结节检测正在后台运行。交互式结节检测图标218指示正在同时运行交互式结节检测。范围例如从0.0到1.0的可信度条240可以指示在当前感兴趣的目标402中存在结节的可能性。图4(b)示出图4(a)中的块402的放大显示，其例如指示由交互式检测正在检查的当前感兴趣的目标可能对应于实际结节。

在某些实施例中，用户可以在任何时候取消费时进程。在某些实施例中，进度指示符可以充当取消按钮。用户可以点击进度指示符来终止正在运行的背景进程。

在某些实施例中，可以基于数据流的依赖性来自动配置不同的功能。例如，在一个或多个其它功能生成它们的输出之后，可以自动激活将这些其它功能的输出用作其输入的功能。作为一个示例，当信息准备功能仍旧在进行中时，在被预处理的图像上执行其进程的自动结节检测功能在前台被自动禁止，直到在后台运行的信息准备功能完成其操作为止。

诊断决策矩阵(MDD)平台

在某些实施例中，诊断决策矩阵(MDD)平台辅助与诊断相关特征有关的各种功能。例如，它可以提供这样一个平台，在该平台中，可以表述复杂的诊断相关信息，可以激活定性和定量分析，并且/或者可以针对在图像解读平台上识别出的每个可疑结节作出诊断决定。MDD平台可以被封装以各种类型的信息，包括不可视的信息和/或可视的信息。不可视信息可以包括病人信息、医疗历史、实验室报告、图像数据信息和/或基因型信息。可视信息可以包括图像数据和/或病理图像。MDD平台还可以包括封装有不同诊断信息的实时交互式工具套件。

在某些实施例中，不可视信息可以是特定于疾病的和/或特定于病人的信息，并且这样的信息可被用户用于作出诊断决定。例如，特定于病人的信息可被用于执行关于该病人具有特定类型疾病的风险级别的定性评估。某些关于病人的已有知识在被显示时可能被加亮以向用户提供警告信号，其中所述已有知识例如是指示病人具有指定疾病的风险很高和/或指示某些重要参数可能在正常范围以外的关键证据。除了不可视信息之外，关于图像的信息可以被分析以导出与作出诊断决定相关的信息。这样的分析可以是定性的或定量的，并且分析结果可以被可视化并被进一步从统计上分析。在某些实施例中，这样的诊断相关信息(可视的或不可视的)可以与用户可以调用来协助诊断操作的功能一起被封装在不同的交互式实时工具套件中。

图5(a)示出在竖屏监视器上显示的示例性MDD平台。图5(b)示出在传统显示器上显示的示例性MDD平台。MDD平台的显示可根据实际使用的监视器类型来自动调整。在所示示例性MDD平台中，MDD平台可以包括诊断相关信息卡502和病人图像显示域507，该病人图像显示域507具有相关的协助功能506。诊断相关信息卡502可以提供可被用来协助作出诊断决定的可视和不可视信息。这样的信息可通过各种封装的辅助工具被显示在工作区中或在工作区中调用。不同类型的可视和不可视信息可利用导航控制栏504来选择。与病人相关的信息可利用通过506中的封装辅助工具可获得的各种工具来查看和操纵。在所示示例性MDD平台中，当选择诊断信息时，相应的已封装的辅助工具被激活，这包括在其中显示包含检测到的结节的感兴趣的区域的显示区域509和相关的交互式协助功能511到518。

MDD平台可以提供各种诊断辅助工具。例如，它可以提供用于显示和可视化病人图像的工具506。这种病人图像数据的可视显示可以提供一个参考，基于该参考可做出诊断决定。基于这样显示的图像，用户可以获得与显示的图像相关的信息。例如，获得的信息可以指示可疑结节位于哪个肺叶中、可疑结节是否连接到其他解剖结构(例如血管或隔膜)、是否存在可能与检测到的结节相关的其他异常等等。这种信息对于执行诊断的用户来说可能很重要。在某些实施例中，与图像解读平台描述的那些辅助工具类似的辅助工具可以与病人图像封装在一起。例如，它可以包括特定于结节的图像增强工具、用于候选结节标记显示或隐藏的工具、用于窗宽窗位的工具或者用于图像缩放的工具(例如放大或缩小等)。

MDD平台中的诊断相关信息卡502可以与不同的辅助工具封装在一起。诊断相关信息卡502可以提供可视和不可视的信息，这样的信息可以与不同的操作工具(例如用于生成关于这样的信息的定性和定量测量结果的方法)封装在一起。针对诊断相关信息卡502的示例性GUI如图6所示。在该示例中，诊断相关信息卡502包括多个信息组，例如包括病人信息表、图像信息表和诊断信息表。这些表中的内容可以被动态更新或扩展。

在某些实施例中，诊断相关信息卡502可被配置以进一步处理不同特征。例如，诊断相关信息卡502可能是高维空间中的封装。它也可被配置以使得它可以按照需求包含很多信息类别并且按照需要具有很多诊断相关信息的级别。例如，诊断相关信息卡502可被扩展以包含一个另外的基因型信息类别，该基因型信息类别例如可使用基因型信息表来表述。此外，每个表还可以被扩展。例如，病人信息表可被扩展为包括新的子表，子表包含与先前的医疗历史相关的信息。

在某些实施例中，诊断相关信息卡502中的信息表可被实现为既具有诊断相关信息也具有可被用于操作相应信息的功能的封装。这样的封装可以基于相关信息来更有效地作出诊断。例如，如果病人信息表被选择，则可以自动获得关于所选病人的其他类型的信息，例如与病人可能具有的特定疾病相关的某些统计信息。封装的工具随后可以使用该获得的信息来例如进一步识别例如指示该病人患有某种疾病的风险很高的关键证据并突出超过正常范围的那些关键参数，以引起医疗人员的注意。在另一示例中，用户可以利用封装的工具来交互式地调整特定参数的参考范围。这样的操作可以在封装的病人信息表中执行。

在某些实施例中，无论在何时选择表，其相应的封装辅助工具都可被获得。例如，当选择诊断信息表(参见图6)时，对应于与所选表中的信息封装在一起的工具(例如用于协助对图像中的可疑结节的定性和定量测量的工具)的激活按钮例如可被显示在所选表自身的下方。图7示出这样的示例，其中诊断信息表被选择，并且与用于操纵所选表中的信息的封装辅助工具相关联的各种激活按钮(例如以图标的形式)可被显示在表自身下方。在该示例中，诊断信息表702包括对在708中显示的感兴趣区域(或者被怀疑具有结节的区域)中标记和检测到的结节作出的不同定量测量结果。这里显示出两种示例性工具栏，它们与不同类型的信息相关联。工具栏704对应于与所选诊断信息或诊断信息表控制栏相关联的工具激活图标，而工具栏706对应于与在区域708中显示的图像相关联的用于诊断信息分析的封装实时辅助工具的工具激活图标。显示区域708还可以提供这样一个区域，在该区域中，可以执行手动的、交互式的和自动的结节检测和定性分析操作。在某些实施例中，当选择其它的的信息诊断时，与所选信息封装在一起的不同相应工具套件可据此被表示。

如图5(a)所示，用户还可以选择特定的候选结节来进行检查。所选结节可被显示在509中。当诊断信息表被激活并且特定候选结节被选中进行详细检查时，可以使用一个或多个辅助工具来协助进行对该结节的定性和定量分析。例如，这样的工具可以包括(但不局限于)以下工具：工具511，用于对在509中显示的子图像进行窗宽窗位调整以产生更好的视觉效果来支持结节分割；工具512，用于在相应的结节位置处隐藏或显示标记和/或在ROI显示509上隐藏或显示提取出的结节边界或标尺测量结果；标尺513，用于测量在509中显示的结节的宽度；标尺514，用于测量在509中显示的结节的高度；工具515，用于对在509中显示的结节执行手动结节分割；工具516，用于对在509中显示的结节执行实时的交互式/自动结节分割；工具517，用于显示在509中显示的感兴趣区域或提取出的结节的直方图信息；以及工具518，它是关于使用工具511到517的帮助，等等。

实时交互式/自动结节分割功能516是一种结节分割和评估工具。用户可以激活它以通过在子图像上的结节周围画出一参考矩形来分割出可疑的结节区域。计算机可以即时地分割出结节并通过将导出的结节边界覆盖在原始子图像上来显示分割结果。在某些实施例中，可以自动实时地计算出某些定量量度，例如大小、形状、边界的平滑度以及钙化分布等等，并将这些定量量度显示在诊断信息表中。用户随后可以基于对这些结果的评估来作出诊断决定。图5(a)、图5(b)和图7示出了置于图像上的结节边界以及基于检测出的结节边界作出的定量测量结果。在某些实施例中，用于分割结果校正和/或手动分割的装置也可被激活，以改善由实时的交互式分割工具获得的分割结果。

在某些实施例中，可以在实时的交互式结节分割和手动结节分割工具中实现各种机制来确保分割的一致性和质量。例如，当用户画出结节边界以手动分割结节时或者当用户在结节周围画出参考框以令计算机实时地分割结节时(例如在708上显示的子图像上)，画出的边界或参考框实际上是否包含记录在诊断信息表中的相应结节位置可被自动检查判断。在某些实施例中，当在边界或参考框中不包括已记录的结节时，可以提供一警告消息。在其它实施例中，可以提供用于帮助用户定位已标记的结节位置和识别结节边界的工具。例如，这样的工具可以包括窗宽窗位调整工具511，其用于使对其执行分割的子图像的显示具有更好的视觉效果。这种工具的另一示例是512，其使得能够在相应的结节位置上隐藏或显示标记，以及在ROI图像上隐藏或显示提取出的结节边界。

已知医生在不同时刻标记的结节的边界可能不同。例如，在分割大约5mm的大小的结节时，手的小抖动也可能导致很大的差异。当由不同医生进行标记时，这种变化可能甚至更大。在某些实施例中，为了减小对同一结节作出的不同标记之间的不一致性，用户可以与系统交互来检查分割结果。在其它实施例中，可能施加某种自动检查。在某些实施例中，当使用实时的交互式/自动结节分割工具对结节画参考方框时，可以将当前画出的参考框与先前就位置、大小和形状已被确认了的另一参考方框做比较。如果当前画出的参考方框大大偏离先前的方框，则可以采取某些其它动作来提醒用户。例如，可以弹出对话框，以警告该差异并让用户作出选择。通过这种机制，用户被告知任何不一致性。这样的警告可以帮助提高分割的质量并最终提高诊断的质量。图8示出这种一致性确保机制的示例。在该示例中，虚线框806代表先前确认的参考框，而实线方框804代表当前画出的参考框。在基于与这两个方框相关的信息自动确定这两个参考框之间的不一致性之后，对话框802被弹出，以警告用户存在该不一致性。对话框802可以提示用户在两个参考框之间作出选择。这样的选择可以基于用户的特定领域的知识和/或特定于病人的信息来作出。

在图5(a)和图5(b)的示例中，可能存在其它可被封装在诊断相关信息卡的不同信息表中的辅助工具。这些辅助工具可以包括用于信息融合的工具、用于不同信息表述(例如利用数字、文本和/或直观图来表述)的工具、用于针对用户的特定知识和动态配置的信息调节的工具以及用于基于图像进行异常表征的工具。

用户可以有选择地利用由MDD平台提供的信息及其辅助分析工具。用户还可以通过检查封装的信息的一部分来有选择地使用特定维度的信息。在某些情况下，用户可以检查跨时间的信息的特定方面。在某些情况下，用户可以将包含在MDD平台中的特定类型的信息与从其他途径(例如因特网)获得的统计信息相比较，以用于诊断目的。信息及其分析可基于需求而被访问和执行，从而可以提高吞吐量。由于使得大量信息被封装并使得容易被访问，因此它有助于提高诊断质量。

临床报告平台

在操作中，用户可能具有对下层系统的工作流程的控制。这样的控制可以是部分的，也可以是全面的。通过足够的控制，用户可以将系统用作辅助作出诊断决定的手段。除了为辅助诊断而提供的信息和工具之外，还可以提供其它功能。一个示例是用于辅助对检测到的结节的核实或确认过程。作为另一示例，系统可以提供基于诊断行为和结果来产生临床报告的工具。在图10(a)到图10(d)中示出了不同的示例性实施例。在图10(a)中，在完成诊断之后和在实际报告诊断结果之前，通过弹出对话框1002提示用户仔细检查所有的候选结节。在图10(b)中，通过对话框1004提示用户，针对每个检测出的结节指示是否将报告该结节。图10(c)和图10(d)示出对话框1002和1004的放大显示。在某些实施例中，如果在诊断信息表中的信息是不完全的，则可以弹出警告对话框来提示用户指示是否继续操作。

在某些实施例中，用户可以选择根据已记录的诊断相关信息来自动生成临床报告。自动生成的临床报告可以包括各种类型的信息。包括在临床报告中的某些类型的信息在图9(a)和图9(b)中示出，其中临床报告平台可以包括索引图像908、一般病人信息906、检查概述912、可由用户填充的治疗建议域910、具有分割结果904的病变区域图像(ROI)、针对检测出的病变的相应定量测量结果和定性特征902、具有用户(例如医生)姓名的姓名域914以及具有执行检查时的日期和时间的时间域916。用户可以在相应域中输入适当的信息，例如在相应域中输入执行诊断的医生的姓名、诊断的日期和时间，以及例如针对治疗或进一步检查的建议。报告时间还可以被输入，或者除此之外地，由下层计算机自动填充报告时间。医生姓名和报告生成时间的存在可被提供作为对质量的量度。这样生成的报告的结构可以以各种不同的方式来实现。例如，它可以被实现为XML文档、PDF文档、WORD文档、DICOM结构化报告等等。生成的报告也可在未来被打印、存储和加载。

在某些实施例中，可以部署额外的方式来进一步确保临床报告的质量和/或安全性。例如，临床报告可被加密以确保隐私性。临床报告也可利用某种命名惯例而被存储，以使得与病人相关的报告不仅对病人而言是唯一的，对参与诊断决定的每个医生来说也是唯一的。在某些实施例中，由医生在不同时刻对某个病人生成的多个报告可利用时间标识符来标识。这种命名惯例的示例可以是这样的，即“病人姓名+病人ID+图像ID+医生姓名+报告时间+扩展名”。在某些实施例中，可以部署以下机制，该机制用于确保只有与当前图像相关联的临床报告可被加载以用于将来复查。

在某些情况下，可以针对每种图像信息(例如X光影像)生成一个临床报告。在其它情况下，可以针对从特定类型的图像中检测出的每个结节生成一个临床报告。这些临床报告的实例中的每一个都可以就不同的医生和不同的时间来唯一地识别。

我们这里详细描述在后台运行并支持该系统的方法。

蜘蛛技术

在某些实施例中，结节检测是利用仿真蜘蛛的算法来实现的。在物理世界中，蜘蛛建立一个网，并随后用这个网来捕捉昆虫。在某些实施例中，“Dynamic Live Spider(动态活蜘蛛)”涉及一组算法，该组算法被配置用于仿真物理世界中的蜘蛛。例如，将被“Dynamic Live Spider”捕获的目标对象可以是数字/数字化X光照片中的结节。这里公开的仿真蜘蛛的算法可被配置用于检测或捕获某些定义的目标对象的存在性。

在某些实施例中，检测和表征结节的过程可以利用对自然界中蜘蛛卵孵化成随后形成用于捕捉食物的网的成年蜘蛛的过程的模拟来描述。在某些实施例中，可疑的病变可被自动检测。在某些情况下，具有与病变类似的视觉外观的无病变区域也可能被检测出。这样检测出的包括实际病变和没有病变的区域可被认为是蜘蛛卵。在某些实施例中，在生成这些卵之后，可以启动“孵化”过程，在该过程中，卵长成可能不同种类的昆虫，其中每种可能具有不同的形状和大小，其形状和大小对应于出现在图像中的不同解剖体和异常。在该孵化过程之后，可以开始自然选择过程，在该过程中，只有蜘蛛被允许存活，而其它类型的昆虫被消灭。每只存活的蜘蛛随后可以有机会建网来包围一个感兴趣的区域。沿着网，蜘蛛可以动态地沿网的不同细丝伸出它的“传感器”来捕捉在网上俘获到的东西。换言之，沿图像中的存活蜘蛛所动态建立的网遇到的证据可被检测、处理和分析以用于诊断目的。该伸展过程可以从网的中心朝外启动，也可以从网的外部朝网的中心启动。不同图像特征和不同建网方式可基于应用需求来应用。在某些实施例中，依赖于是否采用蜘蛛技术来检测结节或分割结节，可通过不同方式来建网，并且沿网搜索证据的过程可以是朝内的，也可以是朝外的。

自动结节检测

在某些实施例中，为了自动检测结节，所公开的蜘蛛技术可被用于仿真活蜘蛛主动捕捉其目标食物的过程。在某些实施例中，在应用蜘蛛技术时，可能涉及多个操作阶段。例如，初始阶段可以涉及候选生成和突变，其中候选结节作为昆虫卵被生成。在候选位置分类阶段中这样的候选可能被局部化和分类。基于分类结果，可以在假阳性删除阶段中识别结节。

在某些实施例中，最初的候选结节可以是基于对给定图像执行的分析来生成的。例如，分析可以基于检测出的结节的灰度分布和形状样式。在某些情况下，结节的视觉特征可被表征为具有一个局部灰度峰值，该峰值周围是大致圆形的灰度谷。这种特性可以从数字或数字化X光影像中观察到。图11(a)是识别候选结节的示例性过程的流程图。在该示例性过程中，给定图像的对比度可以在1101处例如利用小波变换和操作来增强。为了抑制图像噪声和结构/解剖噪声并增强结节结构，可以在1102处将例如Laplacian of Gaussians(LoG)低通滤波器应用到经对比度增强的图像。在1103处，可以通过如下方式来建立昆虫网：在一个或多个方向上计算图像的地形略图，并随后识别该地形略图图像中具有多个脊线的交叉点并被多个谷线围绕和分离开的区域。这样的脊线和谷线放在一起就组装成昆虫网。这种昆虫网的一个示例如图12所示。在某些实施例中，地形略图可以沿4个方向导出：水平、垂直和两个对角方向。基于在1103处识别出的区域，这些区域的形状可被分析，并且在1104处，那些具有大致圆形并具有合适大小的区域可以被选出，作为最初的候选结节。这样选择的区域可以具有类似于蜘蛛的形状。所选蜘蛛的一个示例如图13所示。虽然在形状和其他特征方面类似，但是这样选出的蜘蛛候选可能不对应于实际的结节。这可以由于多种原因。例如，将3D解剖结构叠加在2D图像上可能在图像中产生不希望得到的结构噪声。在某些实施例中，所生成的蜘蛛候选可能需要被进一步检查或分类。

在某种用于肺结节检测的示例性过程中，候选结节可例如根据与检测到的结节所在区域和检测到的结节的灰度特性相关的信息被分类成多个类别。例如，这样的类别可以包括：基于检测到的结节的灰度均匀性而分类出的类别；基于检测到的结节和其附件区域之间的对比度而分类出的类别；基于检测出的结节的边界强度而分类出的类别；及其任何组合。

在某些实施例中，对于每个分类出的类别中的候选结节，可以应用另一处理来删除假阳性候选。图11(b)是可用于例如从每个感兴趣的区域中删除假阳性结节的示例性过程的流程图。

在该示例性过程中，在1122处，候选结节和其周围背景之间的对比度可以被增强。示例性的增强技术可以是基于小波的增强。候选结节的特征可被进一步增强。候选结节所在ROI中的灰度分布的不均匀性可以在1124处被补偿。在某些实施例中，出于这种目的，可能部署灰阶形态操作。ROI中的增强图像的灰度轮廓线可以在1126处沿例如多个方向被分析。如果在1128处确定在多个方向上该图表显示出围绕候选结节的例如高斯分布特定分布并显示出某种程度的相似性，则在1130处，基本的候选结节可被进一步检查以判断其是否是假阳性候选。否则，候选结节可在1144处被分类为假阳性候选。

在某些实施例中，为了识别假阳性候选，可以利用各种与结节的可能特征相关联的信息。例如，在分析灰度轮廓线(在1126处)时可以使用关于均匀性、亮度对比度和边界强度的信息。相应的灰度轮廓线的期望形状也可被用于判断候选结节是否对应于假阳性候选。对于通过灰度轮廓线检查(在1128处)的候选结节，可以在1130处进一步检查以删除假阳性候选结节。在某些实现方式中，蜘蛛技术可被应用以检测和删除假阳性候选。如果在1140处确定候选结节被分类为假阳性候选，则在1144处将其丢弃。否则，在1142处，将其作为检测到的结节存储起来。关于应用蜘蛛技术以识别假阳性候选(在1130处)的细节将在下文论述。

图11(c)示出使用蜘蛛技术来删除假阳性结节的示例性过程。在该示例中，可疑的结节结构可在1131处被提取出。在某些实施例中，这可以通过首先在感兴趣的区域中执行边缘检测以产生边缘信息来实现。然后，可以例如经由边缘约束区域增长(growing)来提取出多个对应于结节结构的子区域，在所述边缘约束区域增长中，每个区域增长过程可以采用在检测到的边缘信息的约束内的不同阈值来获得不同的子区域，作为增长结果。在某些实施例中，增长可以从覆盖候选结节的感兴趣区域中的候选结节的估计中心发起。作为相应子区域描述子的子区域边界可以形成蜘蛛网。该多步骤过程可以仿真蜘蛛建立网和连续扩展网的过程。当候选结节和其周围结构之间的灰度对比度很弱时，提取出的子区域可能包围目标结节和与其连接的周围解剖结构两者。在图14(a)中示出了连接到骨头的肺部候选结节的示例，其中箭头指向候选结节。在这样描述的过程中，较低和较高灰度阈值可以不同的程度放宽，从而可以利用不同的阈值集合导出不同的提取结果。在每个步骤中较低和较高阈值的放宽程度可以是预定的，也可以是被动态调整的。图14(b)示出在该多步骤过程中提取的示例性子区域。它们对应于图14(a)所示的候选结节。在这些示例性结果中，提取出的子区域不仅包含结节区域，还包含附近的解剖结构(例如骨头)。

在某些实施例中，可以向结节区域而非整个提取出的子区域做进一步的分析(1132)。这样的结节区域可以小于整个子区域。为了大致识别出结节区域，要针对每个子区域生成多个具有各种大小的模板。在某些实施例中，每个模板集中在候选结节的中心附近并且与该子区域相重叠。这样的重叠产生感兴趣的目标区域。在某些实施例中，模板可以是具有各种大小的圆形，其大小可以预定，也可以被动态计算出。模板还可能具有不同的具有各种大小和方向的形状(例如椭圆形)，其大小和方向可以预定，也可以被动态计算出。感兴趣的目标区域可能代表结节区域的估计。

在某些实施例中，感兴趣的目标的某些特征可以在1133处计算出。这些特征可以包括(但不局限于)大小、圆度、边界光滑度、面积测量结果(例如感兴趣的目标OOI面积与模板面积之比)、模板边界中与提取出的子区域相交的部分的长度与模板的周长之比、沿OOI的边界的边缘强度、OOI的内边界和外边界之间的边缘强度之差等等。可以通过检查这些特征来确定最好地捕获该结节的模板。子区域和确定的最好模板的示例分别如图15(a)和图15(b)所示。图15(a)示出了提取的既包含结节也包含骨头的子区域的示例，而图15(b)示出了利用计算出的特征识别出的能最好地捕获结节的示例性模板。

在某些实施例中，通过分析计算出的特征并结合使用基于知识的推理，可以在1134处确定关于候选结节是否是假阳性候选的决定。这样的过程可以仿真蜘蛛在网上感应由某些特征描述的其目标食物的过程。例如，实际的结节可能一般已知具有大约圆形/椭圆形的形状，具有相对较高的占有区域，将OOI与整个提取出的目标分开的边界长度与模板周长之比很小，并且沿着OOI的边界具有相对较高的边缘强度。另外，候选结节的类别可以在基于知识的推理时使用。例如，如果结节显示出非常不均匀的灰度分布，它则可能暗示该结节重叠在肋骨上。因此，在评价沿OOI边界的边缘强度时应当考虑肋骨边缘的影响。除了在灰度域中检查候选之外，还可以例如在经度和纬度方向上沿着网线分析灰度梯度和边缘。候选结节的特征可以包括，但不局限于，边缘的长度和方向、它们沿网线的统计分布，例如平均值和标准偏差，以及沿经度线的最强边缘的局部和全局空间关系。这些特征可以根据它们的相关灰度被划分成群组，并且可被用作到一组级联分类器的输入以识别出真实的结节。

如果在上述推理过程中，候选被认为是结节，则可以在1135处将该潜在候选保存在结节列表中，并将其表述给用户以用于进一步的检查。否则，它在1136处作为假阳性候选被丢弃。

肺结节分割

在某些实施例中，蜘蛛技术可以被部署在结节分割中。在某些实施例中，这种蜘蛛技术的应用可以被实现在实时处理中。图16是结节分割的示例性过程的流程图。

在该示例性过程中，对于一个给定的结节位置，蜘蛛可以在结节所在区域中建网。沿着网线，可以在1602处对局部图像属性进行分析。该网可以利用不同的手段来建立，包括网格或具有对角方向的网格。通过建网，可以将2D处理简化为1D处理以减少计算成本。将被分析的示例性图像属性可以包括局部图像区域的灰度轮廓线、灰度轮廓线的相应曲率、局部直方图的曲率、边缘强度或相应的Laplacian of Gaussian(LoG)图像的轮廓线。

基于局部图像属性，可以在1603处沿着网线识别出代表结节边界的特殊特征。例如，通过分析结节区域中的灰度分布，可以意识到，虽然沿着边界线的灰度对比度可能不清楚并且结节的灰度分布可能变化，但是在经过某种处理之后，仍旧可以在结节边缘周围生成强烈的响应，所述处理例如是应用与边缘增强滤波器相结合的Laplacian of Gaussian(LoG)滤波器、找到局部灰度轮廓线的曲率的局部最大值，或者应用其两者的组合。这些被识别出具有强烈响应的位置可以被看作代表结节的可能边界位置。

在某些实施例中，为了使分割针对图像噪声和/或结构/解剖噪声更可靠且更鲁棒，可以首先通过在经边缘增强和LoG滤波的图像的一维灰度轮廓线上找到局部最大值来粗略识别边界点。鉴于在应用LoG滤波器之后，图像噪声和除结节之外其它结构的影响可以被抑制这一事实，该过程可以使分割对图像噪声不那么敏感。然而，经边缘增强和LoG滤波的图像相对于原始图像可能稍有失真。可以进一步应用对原始图像和经边缘增强的图像的局部灰度轮廓线曲率的分析来更精细地调整分割。为此，可以对从LoG灰度轮廓线中识别出的边界点周围的一维轮廓线曲率曲线应用小搜索窗，并且具有平坦边缘强度的局部最大响应点可被看作经细化的结节边界点。

在某些实施例中，在1604处，经分割的结节可以被描绘出以基于在1603处识别处的结节边界点来导出其边界。该描绘过程可以基于结节边界的分段平滑多边形的最高点来执行。边界的平滑度可以通过配置网线的密度来调整。

在某些实施例中，最高点之间的边界点的确定可以以不同方式来执行。例如，可以对两个相邻最高点周围的局部直方图进行分析，以使得最优的局部灰度阈值可被选出。当例如原始边界多边形的最高点不够密时，也可以利用内插来实现。在某些情况下，某些识别出的边界点可能不在真实的边界位置上。在某些实施例中，为了解决这个问题，可以通过根据例如预定的某种程度的硬度删除离群点来在1605处利用相邻的边界点细化边界。图17(a)示出两个示例图像，其中每个示例图像包含一个结节。图17(b)示出利用蜘蛛技术从图17(a)的两个图像中导出的分割结果。

虽然已经出于明确理解的目的较详细地描述了前述实施例，但是本发明并不局限于所提供的细节。存在很多实现本发明的替代方式。所公开的实施例是示例性的，而非限制性的。