用于使至少两个不同医疗检查所见互相关联的方法及系统

摘要

本发明的一种实施例涉及一种用于使至少两个不同医疗检查所见互相关联的方法，其中，各检查所见基于不同组图像中的特征区。根据这种方法，在各不同组图像的每一个中，确定和各自特征区相关的至少一个解剖界标的位置。然后，对于至少两个检查所见的每一个，连同各自检查所见存储对至少一个解剖界标的参照。最后，在至少两个检查所见之中，基于对至少一个解剖界标的各自参照的比较，辨别成对的关联检查所见。

说明书

技术领域

本发明涉及基于图像的医疗检查所见（medical finding）。特别地，本发明 涉及使不同图像检查所见互相关联。

背景技术

对于许多病症和疾病，使用诊断图像进行筛选（screening）、初步诊断以及 跟进治疗。结果，通常长期伴随放射性检查所见。这种放射性检查所见的示例 是肝肿瘤病变、肺结节、血管狭窄、脂肪肝、某些病毒感染、梗死等等。放射 科医师在其做出诊断过程中不仅依赖于最新可用图像而且依赖于全部历史。历 史可能包括介入时、改变治疗时、或者确定下一跟进间隔时的时间。

图像学检查往往基于由医疗图像采集模态诸如X射线设备、超声设备、CT 或MR扫描仪采集的一系列医疗图像。尤其是，三维图像采集技术，诸如CT或 MR，导致了大量图像。由于医疗成像采集往往导致数以百计的图像，导航遍及 图像以在先前图像扫视（scan）中辨别与医疗检查所见相关的图像或者少量图像 以能确定检查所见随时间的变化变得非常耗时。检查所见的变化例如能表明肿 瘤是否生长或狭窄症是否恶化。当患者从一家康复单位转移到另一康复单位时， 访问患者的历史放射性检查所见变得尤其具有挑战性。

用于访问检查所见的医疗软件应用程序是周知的，其例如以目录形式归档 并管理个人放射性检查所见。创建新检查所见并且将新检查所见包括到包括先 前检查所见的现存检查文件是可能的。这可以手动方式进行或者由基于算法的 医疗软件应用程序建议进行。在这样的情况下，基于三维图像容积（其分别是 关于先前检查所见和新检查所见的基础）能使新检查所见与封闭的现存检查所 见相联系（link）。

图像容积的三维对准（registration）的不同方法是已知的。然而，这些方法 要求待对准的两个图像容积可本地得到。由于在放射科医师判读新检查所见时 发生新检查所见与先前检查所见的联系（linking），此时不但要求三维图像容积 可本地得到，而且要执行图像对准。

新图像容积和先前图像容积经常存储在不同位置。关于新检查所见的图像 容积在放射科医师的判读计算机系统处也许能本地得到，而先前图像容积存储 在例如图像归档和通信系统（PACS）的中心图像数据库中。先前图像容积也可 能存储在具有恶劣网络访问或根本没有网络访问的远程位置处。为了执行图像 对准，需要使图像在同一计算机系统处可得到。这可能是放射科医师的本地计 算机以及远程计算机中的任何一个，其可能特别适合于执行苛刻的图像处理， 诸如图像对准。

因此，需要一种方法或一种系统，能容易地使医疗检查所见关联。

发明内容

通过应用本发明所要求保护的并且在不同实施例中描述的方法及系统，解 决了上述和其他的问题。

本发明的一种实施例涉及一种用于使至少两个不同医疗检查所见互相关联 的方法，其中各检查所见基于不同组图像中的特征区。根据这种方法，在各不 同组图像中，确定和各自特征区相关的至少一个解剖界标的位置。然后，对于 至少两个检查所见的每一个，与各自检查所见一起存储对至少一个解剖界标的 参照。最后，在至少两个检查所见之中，基于对至少一个解剖界标的各自参照 的比较来辨别成对的关联检查所见。

本发明的另一实施例涉及一种用于使至少两个不同医疗检查所见互相关联 的系统，其中各检查所见基于不同组图像中的特征区。这种系统包括：存储器， 用于存储不同组图像；处理器，适合于在各不同组图像中确定和各自特征区相 关的至少一个解剖界标的位置；数据存储库，用于对于至少两个检查所见的每 一个，与各自检查所见一起存储对至少一个解剖界标的参照；以及，其中，处 理器进一步适合于在至少两个检查所见之中基于对至少一个解剖界标的各自参 照的比较来辨别成对的关联检查所见。

本发明的另一实施例涉及一种用于使至少两个不同医疗检查所见互相关联 的系统，各检查所见基于不同组图像中的特征区，该系统包括：可视化系统以 及远离该可视化系统的中心资料库。可视化系统适合于访问不同组图像，并且 适合于在各不同组图像中确定和各自特征区相关的至少一个解剖界标的位置。 中心资料库包括数据存储库，用于对至少两个检查所见的每一个，与各自检查 所见一起存储对至少一个解剖界标的参照。中心资料库适合于在至少两个检查 所见之中基于对至少一个解剖界标的各自参照的比较来辨别成对的关联检查所 见。

附图说明

图1示出适合于容易联系不同检查所见的医院和资料库；

图2示意性地示出容易联系不同检查所见方法的方法步骤；

图3示出适合于容易联系不同检查所见的系统；

图4示出并排显示当前检查所见与涉及当前研究的先前检查所见的显示器； 以及

图5示出有当前检查所见与带有相关检查所见表格式概述的检查所见历史 的显示器。

具体实施方式

医疗检查所见是基于医生或放射科医师在一组图像内某些区域中的医疗观 察。这组图像能例如对应于三维图像容积。可选择地，它可以对应于二维或三 维视频内的图像。在这组图像内，特征区将显示出表明医疗检查所见的特性。 此特征区可以简单地是这组图像内的一幅单独图像。它也可以是一幅或多幅图 像内的感兴趣区。可选择地，特征区还可以对应于图像容积内的子容积。对于 医疗诊断，联系不同的检查所见是有帮助的。要做到这一点，需要对各自的特 征区进行比较。

取代如上述现有技术中那样依赖以对准三维图像为基础，基于对与一组身 体界标有关的检查所见的解剖位置的参照（reference）使检查所见配准（aligned）。 所述参照与上述特征区有关，例如，界标可以在各自特征区内，或者被各自特 征区封闭（close）。下面，描述优选实施例的各步骤。

利用检测算法，能确定各种解剖界标的位置以及解剖结构。在公开号为 2010/0080434A1的美国专利申请中描述了这种算法的示例，该申请在此以引用 方式并入本文。在Seifert et al.的文章“Hierachical Parsing and Semantic Navigation  of Full Body CT Data”（参见http://stat.fsu.edu/～abarbu/papers/ SPIE08_Seifert_Fullbody_04_08_2008.pdf）中提出了另一示例，该文同样以 引用方式并入本文。由于能容易地确定人体33块椎骨的位置，相对于以这些椎 骨形式的界标，能非常容易地提供参照。

检查所见可以是由放射科医师或其他医生所做观察的文字描述。检查所见 可以包括术语或坐标，以辨别该组图像内的特征区。

如果创建了检查所见，无论手动方式还是自动方式，都要确定最近界标 （landmark）。这可以通过测量三维图像容积中自界标到特征区的距离来完成。 特别地，例如，以椎骨的形式，确定最近界标。此外，例如，通过比较检查所 见的y坐标与所确定的所谓中线，确定检查所见的偏侧性。

典型的解剖界标位于骨骼、血管、以及器官处。骨骼可以是例如连接肋骨 到椎骨和胸骨的连接、左（右）肋骨的最左边（最右边）点、胸骨的最尾端点。 血管可以是例如主动脉弓的最顶点（most cranial point）、血管分支，如自降主动 脉（descending aorta）的肾动脉分支。器官可以是例如肾门。

将前一步骤中确定的所谓语义坐标，例如到最近界标的距离及方向，加到 检查所见细节，作为对相关界标的参照。语义坐标通常包括由放射科医师输入 的或者由先进可视化系统确定的一些辨识（identification）、名称或标签、一些类 型信息、测量、一些采集参数、以及其他观察。语义坐标或者存储在最能代表 检查所见的一幅或多幅图像的图像文件中，例如在DICOM文件头中，或者它们 作为单独文件存储在该组图像的上下文中，例如以图像研究的形式。如果检查 所见分别是在T3水平上或者在T4与T5之间，则关于最近椎骨的信息可以存储 为“水平=T3”或“水平=T4/T5”。作为用于存储这种图像注释的语言，可以使 用例如所谓的注释和图像标记AIM（参见 https://cabig.nci.nih.gov/community/tools/AIM）。

下面，参照如图，描述优选实施方式的进一步细节。

图1示出用于使至少两个不同医疗检查所见互相关联的系统，其中各检查 所见基于不同组图像中的特征区。系统包括安装在一家或多家医院1中的一个 或多个先进可视化（AV）系统2，它们经由网络连接11与远程中心资料库5连 接。网络11可以是互联网连接或允许数据交换的任何其他合适类型的网络。

AV系统2包括一台或多台计算机，各自至少具有用于显示数据、例如医疗 图像的监视器、处理器、RAM、键盘和计算机鼠标。在医院1处可以建立局域 网，其链接AV系统2与医疗成像设备诸如磁共振（MR）、计算机断层扫描（CT） 或X射线成像设备。这些设备适合于以三维数据集的形式采集医疗图像。这些 三维数据集通常包括患者的一系列横截面或投影图像。医疗图像存储在医疗图 像存储器3中，在医院1处医疗图像存储器3是医院网络的一部分。

AV系统2用来显示用于诊断及复查的医疗图像。医疗图像可以由医疗成像 设备直接传送或者来自医疗图像存储器3。另外，AV系统2可以包括软件，用 于医疗图像的预处理或后处理，以辨别并增强与医疗诊断相关的特征。这包括 定量图像分析，例如用医疗图像测量解剖特征的长度、大小、以及形状。

在AV系统处，基于患者的一组医疗图像复查以及定量图像分析，准备医 疗检查所见。这些检查所见包括医疗观察，例如，如参照特定组图像某些方面 的文本。检查所见还可以包括一幅代表性图像或一小组代表性图像。这些检查 所见可以存储在同样连接至医院网络的检查所见数据库4中。检查所见通常由 在判读特定类型医疗图像数据方面经验丰富的放射科医师准备。

最后，AV系统2适合于用来创建考虑了任何当前检查所见也常常考虑了 早期检查所见的最终报告。该包括可以例如由放射科医师为咨询医生准备。

医院网络可以包括一个以上的AV系统2，其由医院1内的不同医生或不同 部门使用。不同AV系统2也可以具有专用目的，例如，一个AV系统2可以用 来进行定量图像分析，另一AV系统2可以用来进行检查所见创建，以及，另一 AV系统2可以用来进行报告创建。

AV系统2的功能主要由用于定量图像分析、检查所见创建、以及报告创建 的一组专用应用软件确定。

在如图1中所示来自医疗图像存储器3和检查所见数据库4的医疗图像的 协同下，与一组图像中代表性区域有关的解剖界标位置的确定步骤以及确定对 应语义坐标的确定步骤，可以在例如具有AV系统2的医院中执行。医疗图像存 储器3和检查所见数据库4可以集成在AV系统2中，或者，它们以是独立的。

为了概括在医院一方的方法步骤，用先进可视化（AV）系统2创建定量成 像检查所见，并且坚持使用注释和图像标记（AIM）格式。无论何时可得到的 检查所见的解剖位置以及对应的代表性图像都是AIM表示的一部分。

将增强的检查所见细节以及可选的包括特征区的最有代表性图像传送至包 括数据存储库的中心资料库5。可选地，在将数据集发送至资料库5之前，将例 如由流行病学癌症资料库所使用的伪匿名应用于数据集。在本实施例中，中心 资料库5包括检查所见存储和检索服务6、检查所见配准服务7、代表性医疗图 像存储器9、以及作为数据存储库的检查所见数据库10。

如前所述，将来自一家或多家医院1的AV系统2的检查所见传送至中心 资料库5。因此，检查所见可以保存在医院1的检查所见数据库4中以及中心资 料库5的检查所见数据库10二者之中。然而，医院1通常只保存关于这家医院 1的患者的诊断及治疗相关的检查所见，而中心资料库5将长期（例如，数年甚 或数十年间）收集并存储许多家医院1的检查所见。由于中心资料库5中保存 了检查所见，在经过预定周期例如数周或数月之后，在医院1的检查所见数据 库4中可以将其删除。关于具体检查所见基础的患者特殊研究的全套医疗图像 只保存在医院1的本地图像存储器3中，并没有传送至中心资料库5。如果有的 话，只将关于各研究的少数选定的代表性图像传送至中心资料库5用于长期存 储，从而，与医院1相比，显著减少了保存在中心资料库5处的数据量。这些 代表性图像无需单独保存在医院1处，在医院1处检查所见可以简单地包括对 全套医疗图像中代表性图像的参照（reference）。

经由中心资料库5，检查所见以及可选的各自代表性医疗图像不仅对于其 起源的医院1可得到，而且对于可能需要对其参照并进行比较的其他医院1也 可得到。因此，中心资料库5充当用于检查所见和代表性图像的长期存储及分 布的中枢。当然，关于数据保护和隐私的法律和法规需要由访问控制的已知措 施加以解决。

中心资料库5是计算机服务器系统，它布置成远离AV系统2。事实上，中 心资料库5可以位于世界上的任何地方，只要能用足够带宽建立到AV系统2 的网络11。由于国与国之间关于处理患者具体医疗保健信息的规章往往不同， 适宜的可能是将中心资料库5与需要访问该中心资料库5的AV系统2布置在同 一国家。中心资料库5可以包括单台服务器或多台服务器，它们可以彼此靠近 布置，或者可以分布于几处位置并且虚拟链接至一个系统。各服务器都包括处 理器和RAM，并且链接至足够容量例如几兆兆字节存储容量的数据存储库。

除了保存检查所见以及可选的代表性图像之外，可以用附加服务模块增强 中心资料库5，这些服务模块提供能由AV系统2使用的服务。可以使服务模块 如所谓的web服务那样可得到，例如，使用互联网技术提供服务功能的软件模 块。对于AV系统2的用户，利用互联网浏览器以及对中心资料库5的互联网访 问，可得到web服务。

在图1所示的实施例中包括三种不同的web服务：

-检查所见存储和检索服务6，其使中心资料库5能通过网络11接收检查 所见、将其存储在检查所见数据库10中、以及使它们对于经由例如至AV系统 2的网络11的检索可得到；

-检查所见配准服务7，其基于对和解剖界标相关的例如按语义坐标的感兴 趣区的参照，辨别成对的关联检查所见，换而言之，其配准检查所见；

-检查所见再现服务8，其以表格或趋势图的形式创建关联检查所见的表示 （representation）或历史，并将其发送至AV系统2。

检查所见配准服务7和检查所见再现服务8可以由AV系统2部分或完全 接管，只要由中心资料库5使所要求的数据可得到。

下面更具体地描述由中心资料库5提供的这些和其他服务。

在中心资料库5中，辨别关于患者的最新先前放射学研究，并且由检查所 见配准服务7使当前研究的检查所见联系至最新先前研究的检查所见，例如与 之关联，所以，对于所有先前研究，假定在过去使用如下所列的相同过程：

-对于先前研究以及当前研究分开存储检查所见。基于所使用解剖界标的 颅-骶次序可以确定颅-骶次序。例如，可以使用之前所确定的关于最近椎骨的信 息，进一步调配（ordering）同一水平上从左侧到右侧的检查所见。这一步骤由 检查所见配准服务7执行，并且使结果经由网络11对AV系统2的用户可得到。

-给AV系统2的用户并排呈现所调配的检查所见。对于各检查所见，显示 可得到的信息如姓名，以及如果有的话，对应的参照图像。在具体实现中，以 关于各研究最顶部（cranial）的检查所见开始的两列显示两个分类表单。措词“研 究”以及为医疗保健所特有的许多其他术语，如在用于医学数字成像和通信的 DICOM标准中的定义一样使用。

在一种优选实施例中，对于每一对先前研究中的检查所见与当前研究中的 检查所见，计算两个检查所见描述相同病理的概率，例如，考虑检查所见对界 标的接近，它们是否是相同类型、以及其它参数是如何相似。这一步骤也由检 查所见配准服务7执行。

在一种优选实施例中，以最可能描述相同检查所见的一对开始，对这样的 对进行配准/联系，直至达到一定门限，并且将余留检查所见视为“孤立数据”， 例如，早期不存在的新病变或者手术切除的旧病变。

在另一优选实施例中，按颅-骶次序并排显示被联系的对或孤立数据。

-将关于所辨别的成对关联检查所见的信息从中心资料库5发送至AV系统 2并且显示给用户。用户接受所建议的配准或联系，或者手动配准或联系其他对。 这种接受或重新配准最终发回中心资料库5，并且与检查所见数据库10关联保 存。

将关于各关联检查所见的所有可用信息传回先进可视化系统2。先进可视 化系统2现在能例如以表格或趋势图再现历史检查所见数据。可选择地，由中 心资料库5作为web服务8提供这种再现。

因此，我们建议上传检查所见信息，例如，作为AIM文件，包括少数代表 性图像（其包括感兴趣的特征区），至中心卖方中立资料库5，其提供长期配准 检查所见的进一步服务，如果对于同一患者存在以前的检查所见。应用直观推 断（heuristics）以配准检查所见。接着，将先前检查所见和当前检查所见按颅- 骶次序并排呈现给用户，让其确认该配准。对于专用检查所见，集料库5提供 检查所见例示的专门再现，如表格以及趋势图。

图1中医院和资料库的示意表示如下逐步操作。

用户，例如放射科医师，将存储在医疗图像存储器3中的医疗图像加载或 链接至AV系统2。

用户读取病例并创建放射性检查所见，例如测量结果如主动脉的直径、肿 瘤体积、狭窄程度等。由AV系统2，例如，利用计算机辅助检测算法，可以产 生附加的检查所见。用户和/或AV系统2确定检查所见的解剖位置（通常相对 于周知的解剖结构或界标）。

将包括其解剖位置以及代表性图像的检查所见本地存储在检查所见数据库 4中，并且使用例如web服务6上传至中心资料库5。检查所见以及代表性图像 分别存储在中心资料库5的检查所见数据库10中以及代表性图像存储器9中。

用户现在确认同一患者的当前检查所见与先前检查所见的配准。基于直观 推断，检查所见配准服务7建议用户可以接受、改变、或拒绝的配准。为了支 持确认，显示关于先前检查所见和当前检查所见的代表性图像。结果，还知晓 哪个检查所见是新的，以及哪个检查所见消失。

可选地，将先前检查所见（包括代表性图像）发送至AV系统2。

检查所见再现服务8以AV系统2能访问的表格（例如，列表先前尺寸、 当前尺寸、变化）或趋势图的形式创建检查所见发展的视觉表示。

AV系统2用之前创建的检查所见数据以及从资料库5检索的历史检查所见 数据的再现预填放射科报告。放射科医师例如通过口述进一步的观察以及他/她 的印象完成此报告。

图2示出方法步骤以及执行这些步骤的各自组成部分的关系。此图分成三 列，其中左边一列指AV系统2的用户，中间一列指AV系统2自身，而右边一 列指中心资料库5。按照从图的顶部到底部的次序执行这些步骤。列之间的箭头 表示三个实体之间的相互作用或数据交换。

首先，用户12将医疗图像加载进入AV系统2。医疗图像可以直接接收自 医疗图像系统或医疗图像存储器3。用户12在AV系统2处创建（放射性）检 查所见，然后，AV系统2如上所述确定检查所见的解剖位置。

AV系统2经由网络11上传此检查所见以及代表性图像至中心资料库5。 中心资料库5接收这些数据，并且，在检查所见存储和检索服务6的帮助下将 其保存在用于代表性医疗图像存储器9的存储器中、以及检查所见数据库10中。

中心资料库5的检查所见配准服务7基于各自解剖位置辨别与当前检查所 见相关联的一个或多个先前检查所见。将建议配准显示给用户12进行确认。

经过配准确认之后，将一个或多个相关的先前检查所见从中心资料库5经 由网络11传送至AV系统2。AV系统2将当前研究和相关的先前研究并排显示 给用户12，以便进行比较。

可选地，中心资料库5的检查所见再现服务8可以创建相关检查所见的历 史的表示，例如，作为表格或趋势图。将这种表示-或“再现”从中心资料库5 经由网络11传送至AV系统2，并且显示给用户12。

基于预填有由中心资料库5关于这一点所提供的数据（包括来自先前检查 所见）的模板，AV系统创建医疗报告。基于这种预填报告，用户12在AV系 统2完成此医疗报告。

本方法独立于采集医疗图像所使用的模态。例如，先前研究可能用供应商 A提供的CT扫描仪采集，而判读可能用供应商B的先进可视化系统2完成， 以及，当前研究用供应商C的MR扫描仪采集，而判读用供应商D的先进可视 化系统2完成（只要两个先进可视化系统2都支持所建议的方法）。

本方法能辨别一对或一对以上的相关检查所见。检查所见用包括特征区的 特征图像表示。

图3示出本发明的简化实施例，其不需要如之前所述的中心资料库5。在 本实施例中，中心资料库5的功能并入AV系统2中。AV系统2包括用于临时 存储多组图像的存储器13、适合于确定与检查所见所基于的特征区有关的解剖 界标位置的处理器14、以及用于与代表性检查所见一起存储对至少一个解剖界 标的参照的数据存储库16。处理器14进一步适合于按照如参考先前实施例所述 的类似方式基于对至少一个解剖界标的各自参照的比较辨别成对的关联检查所 见。

系统2进一步包括显示器15，用于显示涉及当前检查所见的医疗图像、以 及任选的涉及存储在数据存储库16中的先前检查所见的医疗图像。这些图像可 以并排显示在显示器15上。

数据存储库16包括医疗图像存储器3和检查所见数据库4二者。在本实施 例中，检查所见数据库适合于按照与在先前实施例的背景中所描述的中心资料 库10的检查所见数据库10相同的方式长期存储检查所见。

之前实施例的中心资料库5的附加功能，也就是，检查所见配准服务和检 查所见再现服务也由AV系统2接管。

图4示出根据上述实施例的AV系统2在完成配准之后可以如何并排显示 当前检查所见与相关的先前检查所见。

左侧的当前检查所见包括解剖结构例如心脏的代表性图像17。基于其代表 性图像17中与特征区有关的解剖界标，由AV系统2对所显示的先前检查所见 以及由中心资料库5提供的对应数据进行辨别。先前检查所见也包括代表性图 像18（其包括同一特征区）。在显示器15的右手侧，显示先前图像18作为先前 检查所见的一部分。

各自检查所见的文本内容19、20显示在各自代表性图像下方的一半显示器 15中。图像17、18包括与检查所见19、20有关的注解x、y。

图5示出显示器15，其上显示有如图4中左手侧的当前研究以及带有检查 所见历史21的表格。如之前所述，这是由中心资料库5的检查所见再现服务8 准备的。检查所见历史21含有对辨别为与当前检查所见相关的先前检查所见的 概述。

我们在研究装置中证明：即使先前图像研究无法本地得到，检查所见的中 心资料库5也允许放射科医师半自动化配准长期提供检查所见历史的检查所见。 此外，web服务8提供用于纵向定量病变测量的表格式和图形再现，其可以嵌 入或附加至放射科报告，为了在临床例行程序中应用这样一种系统，需要适当 的机构为这样一种资料库5负责。

基于注释和图像标记（Annotation and Image Markup，AIM）格式，放射性 检查所见可以集中管理。将存储检查所见、确认其配准、以及检索先前检查所 见等基本web服务集成到AV系统2中，允许放射科医师更好地判断疾病的过 程、并且将相关纵向信息添加至放射科报告。

本发明的至少一种实施例克服了要求完全的三维数据集以配准/联系放射 性检查所见的现行限制。由于三维图像数据集通常范围在几百兆字节的级别， 集中存储所有患者的全部三维图像数据集很难行得通。另一方面，随着时间推 移患者就诊于不同的医疗服务提供方，并且常见的情况是遗失或者无法得到旧 的图像数据集。即使先前数据是可用的，例如，在CD或者一些远程服务器上， 输入数据至先进可视化系统所需的时间在繁忙的放射性装置中也被禁止。对于 放射性检查所见，只将很少元数据发送至一些中心（或至少区域）资料库5，可 选择地补充以一幅或非常少数幅最具代表性的图像。应当注意到，即使在先进 可视化系统上具有全部三维图像研究可用的理想情况下，用户也宁可接受由系 统建议的任何联系/配准。