临床医生驱动的基于实例的计算机辅助诊断

摘要

通过根据相似性的主观评估将数据库(120)中的感兴趣体积(VOI)(116)群集成各自的集群来实现优化基于实例的计算机辅助诊断(CADx)(S220)。然后选择感兴趣体积(VOI)特征的最佳集合，以提取实例，以便与基于主观的群集相一致(S230)。提取出的实例与待诊断的VOI一同显示以供外科医生进行比较。优选地，用户可以选择所显示的实例以进一步显示从电子医疗记录(EMR)检索到的预后、治疗信息、随访信息、当前状态和/或临床信息(S260)。

说明书

本发明涉及基于实例的计算机辅助诊断，更具体地涉及选择感兴趣体 积(VOI)特征的最佳集合，通过所述最佳集合从数据库提取实例。

放射科医师必须阅读许多由计算机断层摄影(CT)、X射线、磁共振成 像(MRI)、超声、正电子发射断层摄影(PET)等产生的扫描图像。这可 以导致放射科医师的“信息超负荷”。此外，放射科医师例如在癌症筛查中 在判读图像期间可能遗漏许多癌症。信息超负荷潜在地加重了该问题。即 使以后的扫描检测到癌症，但是早期诊断才可以增加生存率。相反地，假 阳性可以导致不必要的活组织检查。诸如计算机辅助诊断(CADx)方案的 决策支持系统因此正越来越多地用于改善工作流和患者结果。

基于实例的CADx系统的背景是临床医生凭经验并且参考他们以前看 到的病例获取知识。决策支持系统可以帮助临床医生进行例如肺癌的CT 扫描(或任何其他模态扫描：X射线、磁共振成像(MRI)、超声、正电子 发射断层摄影(PET)等)的诊断的一种方式是提供已确诊且类似于新图 像的以前图像。基于实例的范例是从带有已知诊断的结核的数据库检索类 似于待诊断结核(nodule)的结核并且将其提供给放射科医师。这是基于实 例的CADx系统的基本前提。

基于实例或基于病例的CADx典型地包括从数据库检索已知病理的肿 瘤或病变所特有的信息，即恶性或良性。所述信息典型地包括用于与待诊 断的肿瘤的图像视觉比较的肿瘤的图像。肿瘤例如可以在患者的肺中。可 以用若干成像技术中的任何一种来采集肿瘤的图像数据，上面提及了若干 成像技术中的一些。然后可以从图像测量肿瘤的特征，每一特征代表肿瘤 的特定视觉表征。可以将待诊断的肿瘤和数据库的肿瘤放置在公共特征空 间、即N维空间中，每个维度代表N个测得特征中的一个。可以基于特征 空间中任意一个数据库肿瘤与待诊断肿瘤的接近性试验性地和客观地评估 这两个肿瘤的相似性。典型地，提取最接近的肿瘤。所提取的实例可以显 示在待诊断肿瘤旁边以供视觉比较。基于实例的CADx也可以有用于训练 扫描诊断中的医疗人员。

基于实例的CADx技术存在与临床医生凭经验并且参考他们以前看到 的病例获取知识的背景相违背的情况。本发明人观察到不同放射科医师就 两个病例是否相似和相似程度如何可能有不同观点，并且基于待诊断肿瘤 和已知病理的肿瘤的图像之间的视觉比较，难以事先知道两个病例是否相 似。

本文提出使用临床医生、例如放射科医师在确定特征空间方面的知识， 以及将要在计量待诊断肿瘤与数据库中的肿瘤之间的相似性所使用的点到 点距离度量。在这里，“点到点”包括点到多个点的情况。尽管如上所述， 很难事先知道两个病例是否相似，但是根据本文的建议，可以可靠地对判 断特定特征空间和距离度量是否与肿瘤相似性的主观评估一致进行评价。 这些情况促进了遗传算法(GA)的使用。GA迭代地得到针对给定问题的 候选建议方案的集合。被称为染色体的所有候选方案根据它们各自的适应 度进行评价。如果不满足迭代停止准则，则基于当前的染色体集合复制一 个或多个新的染色体。对适应度进行评估并在下一次迭代中应用停止准则。 一旦满足停止准则，则选择最适应的染色体。当前建议在进行迭代应用评 价中考虑放射科医师做出的相似性的主观评估。

简言之，通过根据相似性的主观评估将数据库中的感兴趣体积(VOI) 群集成各自的集群而优化基于实例的CADx。然后选择包括基于图像的特 征和临床(非基于图像的)特征的感兴趣体积(VOI)特征的最佳集合， 以用于提取实例，从而使得基于选定特征，相似性的客观评估在特征空间 中对数据库的VOI进行聚类，以便与基于主观的集群一致。

下面参照附图阐述新颖的基于实例的CADx技术的细节：

图1是提供根据本发明的示例性CADx系统的概观的功能图；

图2是提供根据本发明的方法的一个例子的概观的流程图；

图3示出了根据本发明的表，其可以用于主观评估数据库中的肿瘤之 间的相似性以形成相似肿瘤的集群；和

图4是根据本发明的可用于遗传算法中的染色体的框图。

图1描绘了根据本发明的基于实例的计算机辅助诊断(CADx)设备 100的例子，所述设备包括处理器104和显示屏108。在显示屏108中显示 的是待诊断的结核、肿瘤或病变112。优选地显示一些其紧邻的周围组织。 待显示的结核和任选地一些其紧邻的周围组织在下文中被称为感兴趣体积 (VOI)。三个所提取的实例也与VOI 112一同呈现在显示器上。三个实例 是具有恶性肿瘤的VOI 116a和具有各自的良性肿瘤的两个VOI 116b。三个 实例VOI 116通过实例提取模块124从处理器104的数据库120中进行提 取。实例提取模块124基于由参数输出模块(未示出)提供的诸如图像特 征和相似性度量的参数进行操作，这些参数由参数导出单元132导出。在 所示的实行方式中，参数输出模块与参数导出单元132一体化。箭头128 代表导出参数的传输以供实例提取模块124使用。用户输入装置134用于 向参数导出单元132提供与VOI 116间相似性的主观评估有关的数据。用 户输入装置134可以包括键盘、鼠标、跟踪球、滑块、光笔、触摸屏等， 以及磁盘，光盘驱动器和与在线网络的有线或无线连接。类似地，数据库 120充当参数导出单元的输入。例如通过点击鼠标，可以通过选择性地选取 由实例提取模块124所提取并显示在屏幕上的实例，以用于显示与所选取 实例有关的进一步临床或其他信息。CADx设备100包括用于存储VOI 112 的图像数据、或许临床数据的存储器(未示出)，所述存储器包括供实例提 取模块124和参数导出单元132使用的工作存储器。CADx设备100可以 是专用或通用处理器，并且可以是模拟的或数字的。尽管在同时显示 (simultaneous display)上仅仅示出了三个实例VOI 116，但是在显示上以 及在围绕屏幕108的任何实际空间布置中可以有更多的实例或更少的实例。 同样，尽管同时显示有两种类型的病例，恶性的和良性的，但是在任何一 个时期仅有两种类型之一的病例可以与VOI 112一同呈现在显示上。在任 一情况下，标记“恶性”和/或“良性”可以初始注释所显示的实例116， 或者可以作为对用户指示的响应而出现。另外，功能性可以在不同数量的 元件124、132之中进行分配，并且不同于所示出的功能进行分配。例如， 所述单元132可以定位于远离设备100的其余部分。

图2作为示例性而非限定性的例子示出了根据本发明的用于基于实例 的CADx的过程200。首先，对数据库120中的所有VOI 116以成对方式 进行相似性的主观评估(步骤S210)。所述评估优选地由临床医生、例如 放射科医师通过面查(interview)进行。另外，所述评估优选地包括根据 特征在相似性评估中的重要性对它们进行主观排序。出于该目的，VOI 112、 116的特征包括可从VOI的图像导出的可抽取特性，例如有效直径、圆形 度、对比度、平均灰度值、倾斜度、缘、密度、毛刺、像素标准偏差、径 向梯度指数等。患者和VOI所特有的临床数据，例如年龄、癌症史等，同 样可以构成特征。根据所述评估，在逻辑意义上将相似的VOI 116群集在 一起(步骤S220)。因而，形成VOI 116的子集。这些不需要是相互排斥 的子集。可以手动执行，或者优选地由参数导出单元132执行基于主观的 聚

遗传算法(GA)用于寻找最佳特征空间，优选地寻找用于最佳特征空 间的最佳点到点相似性准则(S230)。最佳特征空间将要从特征池中导出， 所述特征池的成员特征可以从在步骤S220中对特征的主观排序中导出。特 征池可以更广泛地包含属于数据库中的VOI 116的任何可抽取图像特征， 或相关临床数据。候选相似性准则可以仅仅关于所利用的点到点距离度量 彼此不同。

每当通过GA中通过复制产生新的染色体时，评价染色体的适应度。 由于每个染色体代表各自的特征集合，优选地代表各自的距离度量，并且 由于在满足停止准则时选取最适应的染色体，因此染色体适应度的每次评 价可以被看作是迭代过程的一次迭代。然后迭代地选取特征的集合，优选 地选取距离度量。由于所提出的适应度评价的性质，迭代倾向于经过一段 时间产生VOI 116的基于客观的群集，类似于步骤S220的基于主观的群集。 在适应度评价中所使用的准则是基于主观的群集和基于客观的群集之间的 相似度，所述基于客观的群集是在特征空间中的空间点群集，所述特征空 间由在正对其适应度进行评价的当前染色体中所包含的特征的集合限定。 优选地，染色体也包含各自的距离度量，所述距离度量优选地用在基于客 观的群集。

用于基于客观的空间点群集的算法的一个例子是模糊c均值(FCM)。 这是优选的相似性准则。它是一种允许一条数据属于两个或更多集群的群 集方法。该方法经常用于模式识别中。它基于以下目标函数的最小化：

$J_m=\underset{i-1}{\overset{N}{\Sigma }}\underset{j-1}{\overset{C}{\Sigma }}{u}_{\mathrm{ij}}^m\left|\right|x_i-c_j\left|\right|,1\le m\le \infty$

其中，m是大于1的任何实数，u_ij是x_i在集群j中的隶属关系(membership) 的程度，x_i是第i个d维测得数据，c_j是集群的d维中心，而||＊||是表示任意 测得数据和中心之间的相似性的任意范数。为了初始化中心C的数量，我 们可以使用通过基于主观的群集而形成的集群的数量。中心c_j初始被设置 成对应于当前特征空间中，即由当前正进行适应度评价的染色体所限定的 特征空间中的每个基于客观的集群的形心。所使用的范数是在当前染色体 中所包含的距离度量。

如果所述度量是马哈拉诺比斯(Mahalanobis)距离，在以上方程中的 赋范量改为是x_i和集群j的其余成员之间的马哈拉诺比斯距离。同样地， 在实例检索中，检索到VOI 112的马哈拉诺比斯距离最短的一组实例。在 2005年1月21日提交且与本专利申请共同转让的国际申请 No.WO2005073916中提供了一种用于这样的检索的遗传算法。

通过上面所示的目标函数的迭代优化而执行模糊划分，隶属关系u_ij和 集群中心c_j通过下式进行更新：

$u_{\mathrm{ij}}=\frac{1}{\underset{k-1}{\overset{C}{\Sigma }}{\left(\frac{\left|\right|x_i-c_j\left|\right|}{\left|\right|x_i-c_k\left|\right|}\right)}^{\frac{2}{m-1}}},$$c_j=\frac{\underset{i-1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m·x_i}{\underset{i-1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m}$

当${\max }_{\mathrm{ij}}\left\{|u_{\mathrm{ij}}^{(k+1)}-u_{\mathrm{ij}}^{\left(k\right)}|\right\}<ϵ$时该迭代将停止，其中ε是在0和1之间的终 止准则，而k是迭代步骤。该过程收敛到局部最小值或鞍点J_m。

算法由以下步骤组成：

1.初始化U＝[u_ij]矩阵，U⁽⁰⁾

2.在第k步：用U^(k)计算中心矢量C^(k)＝[c_j]

$c_j=\frac{\underset{i-1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m·x_i}{\underset{i-1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}^m}$

3.更新U^(k)、U^(k+I)

$u_{\mathrm{ij}}=\frac{1}{\underset{k-1}{\overset{C}{\Sigma }}{\left(\frac{\left|\right|x_i-c_j\left|\right|}{\left|\right|x_i-c_k\left|\right|}\right)}^{\frac{2}{m-1}}}$

4.如果||U^(k+I)-U^(k)||<ε则停止；否则返回步骤2。

在矩阵U中的因数是在0和1之间的数，这些因数从隶属函数获得。 如果在矩阵U中的系数都是0或1，则每个数据可以只属于一个集群。这 是下面所示的情况(a)。在情况(b)中隶属关系是模糊的。

$U_{N\times C}=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 1& 0\\ ···& ···\\ 0& 1\end{array}\right)$     $U_{N\times C}=\left(\begin{array}{cc}0.8& 0.2\\ 0.3& 0.7\\ 0.6& 0.4\\ ···& ···\\ 0.9& 0.1\end{array}\right)$

       (a)                (b)

行和列的数量取决于我们正在考虑多少数据和集群。更确切地我们有 C＝2列(C＝2集群)和N行，其中C是集群的总数量而N是数据的总数量。 一般元素这样表示：u_ij

其他属性如下所示：

$\left(\begin{array}{cc}{u}_{\mathrm{ij}}\in \left[\mathrm{0,1}\right]& {\forall }_{i,j}\end{array}\right)$

$\left(\begin{array}{cc}\underset{j=1}{\overset{C}{\Sigma }}{u}_{\mathrm{ij}}=1& {\forall }_i\end{array}\right)$

$\left(\begin{array}{cc}0<\underset{i-1}{\overset{N}{\Sigma }}{u}_{\mathrm{ij}}<N& {\forall }_N\end{array}\right)$

在J.C.Dunn(1973)的“A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters”(Journal of Cybemetics 3：第32-57页)中阐述了关于FCM的进一步细节，并且FCM技术在J.C. Bezdek(1981)的“Pattern Recognition with Fuzzy Objective Function Algorithms”(Plenum Press，New York)中得到进一步发展，上述两个文献 的整个内容以引用方式并入本文中。

在本发明的基于实例的CADx中的适应度函数将更大的适应度归因于 基于客观的群集和基于主观的群集之间的更小子集隶属关系失配。

GA的停止准则可以是给定数量的复制/评价循环或是足够高的染色体 适应度。在停止时，选取最适应的染色体，由此同样选取包含在染色体内 的相应特征集合，以及任选地，包含在染色体内的距离度量。

最终选取的特征集合以及可选地最终选取的距离度量共同构成由参数 导出单元132输出的供实例提取模块124使用的参数。这一最终选取的集 合包括在将VOI 112放置在特征空间中将要评价的VOI 112的特征(步骤 S240)。该特征空间是最终选取的一个特征空间，即由最终选取的特征集合 限定的特征空间。优选地同样评价所有VOI 116，以便使之相应地定位于该 特征空间中。

在包括GA染色体中的距离度量的优选实施例中，通过最佳点到点相 似性准则，并且由实例提取模块124优选地使用最终选取的距离度量，从 数据库120检索实例116以供在屏幕上显示(步骤S250)。因而，检索出 到VOI 112距离最小的实例。在距离度量中可以使用欧几里德距离、城市 街区距离(city block distance)和马哈拉诺比斯距离。优选地，检索到的实 例与待诊断的VOI 112一同显示以供临床医生进行视觉比较(步骤S260)。 紧挨着每个实例116优选地显示该实例与VOI 112相似性如何的指示。显 示出得相似性数值基于到VOI 112的距离。越靠近的实例116被认为越相 似，而越远离的实例被认为越不相似。可以将所述距离与参考距离进行比 较以产生供屏幕上显示的度量，例如百分比。一个实例116可能有90％相 似，而另一个仅仅有80％相似。截止值可以例如基于医院协议自动进行设 置，或者根据用户判断进行设置，从而使得低于截止值的相似性抑制了对 实例116的显示。

在优选实施例中，屏幕上的实例可由用户，如通过使用鼠标单个地选 择，以获得进一步信息。对于数据库120中的每个实例116，临床医生进行 诊断，所述诊断优选地通过确定与病理相关的真实数据(ground truth)得 到支持。例如，借助于活组织检查、其他外科程序或观察病程得出病理的 真实数据。同样可以做出对患者的预后。而且，在医疗机构保持的电子医 疗记录(EMR)使得病史可用，病史通常将指示所施予的处理类型，例如 化学疗法或外科手术，以及随后的一个或多个结果。同样将期望准备好访 问特定患者数据。化学疗法例如可能在年老患者中得不到成功的结果；然 而，对相似肿瘤的相同处理可能适合于年青患者。一个疗程可能使患者的 寿命延长，但是生活质量相对下降。因此，优选地，用户可以通过选择伴 菜单、超链接等立即得到可通过EMR或其他方式获得的与预后、治疗计划、 和其他相干患者数据的信息，同时伴有所显示的实例116(步骤S270)。然 后，具体而言，所显示的实例优选地是用户可选择的，以供进一步显示从 EMR检索到的预后、治疗信息、随访信息、当前状态、和/或临床信息。如 果对同一患者进行一次以上的扫描得到数据库120中的多个VOI 116，则在 屏幕上可以被调用的链接信息可以有多个链接，每个链接到各自的实例。

图3提供了表，所述表可以用于主观评估VOI 116之间的相似性。作 为例子，可以为正在进行面查的临床医生提供11个VOI 116。11个中的一 个充当参考，其他十个与该参考比较。

VOI比较和特征排序表304的每一行用于十个VOI中的一个。

临床医生就第一特征312而言，将十个VOI中的第一个308判断为与 参考相似。因此，在项目(1，1)中插入“S”。通常根据VOI 116的图像 视觉地评估相似性，尽管一些特征可以是如上所述的临床数据项。同样地， 临床医生基于第二特征316评估相似性，并且在项目(1，3)中插入相应 的项目“S”。临床医生将第二特征316指定为在评估两个VOI的相似性中 比第一特征312更重要，并且因此将第二特征向高排序一位。在全部十个 VOI中，第1行中的该第一VOI 308被指定为与参考最相似，排在第一位。 从第2行可以看出，临床医生得出的结论为不相似。将第三VOI 320评估 为与参考相似，但是临床医生未提供与得出该评估或相似性的总排名的特 征有关的信息。对于第四VOI 324，指示出三个特征，但是并没有就它们 在获得相似性总排名中的相对重要性对这三个特征进行排序。就相异性而 言可以提供相同的原始数据。因而，八个VOI 328被判断为与参考相异， 其中第一特征312在该评估中比第三特征330更重要。对于每个表304用 不同的VOI/参考重复比较十个VOI 116与参考的过程。

优选地，不同临床医生进行评估。目的是获得“相似性/相异性的真实 数据”。有时候，临床医生可以指出导致他或她的结论的特征。然而，临床 医生可以在不知道具体原因的情况下得出结论。在这后一种情况中固有的 真实数据也被收集作为由随后的基于主观的群集所表示的总真实数据的组 分。在优选实施例中，不向外科医生公开VOI 116或参考的病理状态，即 恶性或良性。这是为了防止外科医生对相似性的判断有偏见。然而，替代 地有可能事先公开病理。

为了最小化在该原始数据收集阶段所需的比较次数，可以假设只要两 个VOI 116都与同一参考相似就认为它们是相似的。当收集到足够量的关 于相似性/相异性的信息时，关于成对相似性做出最终评估，然后关于群集 做出最终评估。

将关于成对相似性的最终评估输入相似性/相异性表332中。所述表是 对称矩阵，它对角线的项目都用项目“S”指示相似性。由于在第三和第四 行(列)中的VOI 336、340与第一行(列)中的VOI 344相似，因此它们 彼此相似，如项目(3，4)和(4，3)中的“S”所示。在第二行(列)中 的VOI 348与VOI 344相异，如矩阵位置(1，2)或(2，1)中的项目“D” 所示。因此，在第一、第三和第四行中的VOI 336、340、344在相同的集 群中，而在第二行中的VOI 348不在该集群中。在表项目中的问号(？)指 示相应的VOI都被评估为与共同参考相异，并且不存在指示两个VOI之间 的相似性或相异性的进一步评估。在VOI比较和特征排序表304阶段仔细 选择用于评估的VOI 116将最小化带问号的项目的数量。也可以基于来自 放射科医师的进一步输入而替换带问号的项目。在两个不同VOI比较和特 征排序表304在特定的一对VOI 116之间的相似性/相异性的各自评估中矛 盾的情况下，可以使用是否存在特征排序和总排序(如果可用的话)来解 决这样或那样方式的矛盾。

图4描绘了将要在GA中进行适应度评价的当前染色体400的示范性 格式。染色体400包括特征位图410和距离度量指数420。特征位图410 包括用于特征池中的每个特征的一个位。如果将该位设置成(例如)一而 非零，则对应于所设置的位的特征是在特征集合中包含在染色体400中的 一个特征。因而，如果设置了10个位，则该染色体代表10维特征空间， 它的维度是由各自设置的位所指示的每一个特征。距离度量指数420具有 一定长度的上限(log₂(M))位，其中M是候选距离度量的数量，并且上限 函数返回大于其自变量的最小整数。因此，如果M＝10，则距离度量指数是 4位长。

作为组合技术，GA规则优选地必须交换指数420的尾位和图410的尾 位。截止位可以是固定的或随机变化。作为另一复制技术，可以在时间意 义上相对稀少地引起变异。为了实现更快收敛到最优性，可以在设置初始 群体的染色体中的特征位时使用在VOI比较和特征排序表304中的特征排 序。

尽管已经示出并且描述和指出了应用于本发明优选实施例的本发明的 基本新颖特征，但是应当理解本领域的技术人员可以在不脱离本发明的精 神的情况下在所示的设备的形式和细节中及其操作中进行各种省略和替换 和变化。例如，用户接口可以允许指定用于各自距离度量的特征权重，应 当认识到结合本发明的任何公开形式或实施例所示出和/或描述的结构和/ 或元件和/或方法步骤可以作为一般设计选择并入任何其他公开或描述或 建议的形式或实施例中。