具有结构化的图像分解的3D医学图像中的可操纵对象合成

摘要

本发明涉及具有结构化的图像分解的3D医学图像中的可操纵对象合成。提供了用于生成合成图像的系统和方法。接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性。使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块。合成的结节根据可操纵的属性被合成。输出合成的医学图像补块。

说明书

技术领域

本发明通常涉及具有结构化的图像分解的3D医学图像中的可操纵对象合成，并且更具体地涉及具有结构化的图像分解的肺结节合成，用于罕见样品扩增。

背景技术

用于执行医学图像分析任务的深度学习网络的性能受到可用的高质量带注释图像的数量的限制。此类高质量带注释图像的大规模数据集对于深度学习网络的训练和测试来说是重要的，以便减少在监督学习中训练网络的变化，而且提供在部署后它们长期性能的可靠评估。但是，大多数医学图像数据集的规模仅是从少数几个临床成像站点获取的成百到上千个患者。另外，为医学诊断应用而训练的网络通常需要具有经过多年医学训练的注释者注释的医学图像，这使得这种医学图像的注释既费时又经济上昂贵。此外，此类医学图像的分布高度偏向于仅占全球人口的一小部分，并且罕见的异常情况在训练数据集中的样本可能太少，从而不能很好地推广用于部署。

常规地，已经提出对抗图像合成以用于扩增图像数据集以用于训练和测试网络以执行医学图像分析任务。但是，这样的常规方法不能操纵合成对象的属性（例如，形状、大小、强度）。

发明内容

根据一个或多个实施例，提供了用于生成合成图像的系统和方法。接收输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性。使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成的医学图像补块。合成的结节根据可操纵的属性被合成。输出合成的医学图像补块。

在一个实施例中，可操纵的属性包括基于结节强度的标记，以将合成结节的外观定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化和/或基于纹理和边界的标记以定义合成结节的外观为有针刺的或无针刺的。在一个实施例中，可以通过将表示可操纵的属性的向量与外观相关参数的向量级联来生成合成医学图像补块。在一个实施例中，通过定义高斯过程可变形模型的特征向量，使用高斯过程可变形模型将分割掩码生成为具有大小和形状，并且根据分割掩码的大小和形状，将合成结节合成为具有大小和形状。

在一个实施例中，经训练的对象合成网络包括重构网络和细化网络。通过以下对经训练的对象合成网络进行训练：训练1）分解网络以将包括结节的特定图像补块分解为特定的分割掩码和外观相关参数的特定向量，以及2）重构网络和细化网络以基于特定分割掩码和外观相关参数的特定向量重构特定图像补块，以及使用经训练的重构网络基于随机分割掩码和外观相关参数的随机向量对细化网络进行细化。使用应用于特定图像补块中的围绕结节的区域的局部鉴别器和应用于特定图像补块中的较大区域的上下文鉴别器，可以以对抗性损失对细化网络进行细化。

在一个实施例中，训练强化学习代理以确定可操纵的属性。可以使用强化学习代理来确定可操纵的属性。检测器或分类器可以应用于检测或分类合成的医学图像补块。如果检测器或分类器能够检测或分类合成的医学图像补块，则强化学习代理将受到惩罚，以及如果检测器或分类器不能检测或分类合成的医学图像补块，则强化学习代理将受到奖励。

在一个实施例中，可以训练机器学习网络以基于合成的医学图像补块检测或分割目标医学图像补块中的结节。

通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是显而易见的。

附图说明

图1示出了图像合成问题的高级表达方式；

图2示出了用于训练对象合成网络的高级框架；

图3示出了用于分解结节补块中的肺结节的高级框架；

图4示出了用于训练对象合成网络的方法；

图5示出了一种用于应用经训练的对象合成网络来生成其上具有合成结节的合成医学图像补块的方法；

图6示出了用于训练对象合成网络以进行结节分解的网络架构；

图7示出了用于训练对象合成网络以进行结节合成的网络架构；

图8示出了使用强化学习代理进行在线对抗采样的方法；

图9示出了根据本文描述的实施例生成的示例性合成图像；

图10示出了根据本文描述的实施例生成的其他示例性合成图像；

图11示出了根据本文所述的各个实施例生成的示例性合成图像；

图12示出了根据本文描述的实施例生成的示例性真实图像和合成图像；

图13示出了使用基线图像修补（in-painting）方法生成并根据本文所述实施例生成的示例性图像；和

图14示出了计算机的高级框图。

具体实施方式

本发明通常涉及用于具有结构化图像分解的3D医学图像中的可操纵对象合成的方法和系统。在本文中描述了本发明的实施例以给出用于具有结构化图像分解的3D医学图像中的可操纵对象合成的这种方法和系统的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常根据识别和操纵对象来描述对象的数字表示。这样的操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应理解，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。

此外，应当理解，尽管可以关于3D医学图像中的结节合成来讨论本文所讨论的实施例，但是本发明不限于此。本发明的实施例可以应用于合成任何类型的图像中的任何类型的对象。在一个实例中，合成对象是病变，例如肝脏病变或肿瘤。

本发明的实施例通常涉及结节图像的可操纵合成。图像合成问题可以由图1的高级表达方式100表示。在表达方式100中，图像空间102表示通过成像设备在欧几里得（Euclidian）空间中获取的图像的原始像素（或体素），语义空间104表示分配给（例如，来自分割的）每个像素的抽象标记，并且嵌入空间106表示欧几里得空间中的低维向量。如图1中所示，图像可以从图像空间102到语义空间104到嵌入空间106被抽象或被分解，并且可以从嵌入空间106到抽象空间104到图像空间102被生成或重构。有利地，通过将图像分解为嵌入空间106，可以操纵图像在嵌入空间106中的表示，并且可以在图像空间102中重构所操纵的表示，从而提供可操纵的结节合成。

图2示出了根据一个或多个实施例的用于训练对象合成网络的高级框架200。框架200包括阶段1 202和阶段2 212。在一个实施例中，用于训练对象合成网络的框架200可以根据下面详细描述的图4的方法400来实现。根据一个实施例下面关于图6更详细地描述了用于在阶段1 202期间训练对象合成网络的网络架构，并且下面关于图7更详细地描述了用于在阶段2 212期间训练对象合成网络的网络架构。

在阶段1 202期间，训练对象合成网络以进行结节分解。如图2中所示，训练对象合成网络以将图像补块204分解成结节分割掩码206和1D（一维）向量208，并从结节分割掩码206和1D向量208将图像补块204重构为重构图像补块210。结节分割掩码206包括在图像补块204中描述的结节的二进制分割掩码，以及1D向量208包括与结节强度、纹理、边界外观有关的残留信息以及图像补块204中描述的结节的其他信息。根据一个实施例，下面在图3中示意性地示出了图像补块204中描绘的结节到结节分割掩码206和1D向量208中的分解。

在阶段2 212期间，对对象合成网络进行细化以进行结节合成。如图2中所示，基于结节分割掩码214、图像补块216、具有随机残留信息的1D向量218和可操纵的属性220来生成合成的图像补块222。在一个实施例中，合成结节基于结节分割掩码214、1D向量218和可操纵的属性220被合成，并覆盖在图像补块216上，图像补块216最初并未描绘结节。可操纵的属性220允许操纵合成的结节在合成图像补块222中的外观。在一个实施例中，可操纵的属性220是离散的标记，以定义要合成的结节强度或结节的纹理和边界。在一个实施例中，可以通过操纵结节分割掩码214的生成来操纵要合成的结节的大小和形状。通过尝试将合成图像补块222分类为真实的或假的224以及确定预测的可操纵属性226来以对抗损失训练对象合成网络。

一旦被训练，就可以在在线或测试阶段应用经训练的对象合成网络，以根据可操纵的属性生成具有合成结节的图像补块。有利地，这种可操纵性允许再现在临床上观察到但未在现实世界数据集中捕获的语义上有意义的特征的可变性，以及对其中系统性能在临床上更重要的现实但具有挑战性的样本进行过采样。以这种可操纵性生成的数据集可用于训练机器学习网络，以执行医学图像分析任务（例如，肺结节检测、肺结节分割等）。

图3示出了根据一个或多个实施例的用于分解结节补块中的肺结节的高级框架300。在一个实施例中，框架300图示出了图2中的将结节补块204分解成结节分割掩码206和1D向量208。在框架300中，示出了来自3D CT图像的结节补块302，其包括肺结节304。肺结节304被分解为形状建模参数形状306和大小308以及外观相关参数纹理310。还可以想到其他形状建模和外观相关参数。二进制分割掩码312表示肺结节304的形状306和大小308的形状建模参数。纹理310的外观相关参数被表示为残留信息314。

图4示出了根据一个或多个实施例的用于训练对象合成网络的方法400。方法400的步骤可以由任何合适的计算设备（例如，诸如图14的计算机1402）执行。方法400的步骤在离线或训练阶段期间被执行以训练对象合成网络。在一个实施例中，方法400的步骤402-404对应于图2的阶段1 202，用于训练对象合成网络以用于结节分解，并且方法400的步骤406对应于阶段2 212，用于细化对象合成网络以用于结节合成。根据一个实施例，在图6中示出了用于训练对象合成网络以用于结节分解的网络架构（即阶段1 202），以及在图7中示出了用于细化对象合成网络以用于结节合成的网络架构（即阶段2 212）。对象合成网络包括多个机器学习网络，其包括分解网络、重构网络和细化网络。

在步骤402，训练分解网络以将图像补块中描绘的结节分解为分割掩码和外观相关参数的向量。分割掩码是在图像补块中描绘的结节的二进制分割掩码，其表示结节的形状建模参数（例如，形状和大小）。外观相关参数的向量是残留信息（将图像补块分解成分割掩码之后的残留）的1D向量，其表示例如结节的强度、纹理、边界外观、结节类型等。

在步骤404，基于分割掩码和外观相关参数的向量，训练重构网络和细化网络以重构图像补块。特别地，重构网络接收分割掩码和外观相关参数的向量，并生成合成的结节，该合成的结节与图像补块融合。将融合的图像补块输入到细化网络中，以将合成的结节与图像补块混合。

在步骤406，基于分割掩码、外观相关参数的随机向量以及可操纵的属性来对细化网络进行细化。使用应用于合成结节的局部鉴别器和应用于输出图像较大区域的上下文鉴别器，以对抗性损失对细化网络进行细化，以生成逼真的图像。可以在在线或测试阶段期间应用经训练的重构网络和经训练的细化网络以生成其上具有合成结节的图像补块。

图5示出了根据一个或多个实施例的用于应用经训练的对象合成网络以生成其上具有合成结节的合成医学图像补块的方法500。方法500的步骤可以由任何合适的计算设备（例如，诸如图14的计算机1402）执行。方法500的步骤在在线或测试阶段期间使用经训练的对象合成网络来执行。在一个实施例中，经训练的对象合成网络是经训练的重构网络和经训练的细化网络，其根据图4的方法400进行训练。

在步骤502，接收输入医学图像补块、分割掩码、外观相关参数（即，与形状无关、残留信息）的向量以及可操纵的属性。输入医学图像补块未描绘结节。在一个实施例中，输入医学图像补块是3D计算机断层扫描（CT）医学图像补块，但是输入医学图像补块具有任何合适的模态，例如，诸如DynaCT、X射线、磁共振成像（MRI）、超声（US）、单光子发射计算机断层扫描（SPECT）、正电子发射断层扫描（PET）等，并且可以是二维的或三维的。初始医学图像补块可以具有任何合适的（例如，预定的）尺寸。例如，初始医学图像补块可以是从3D CT医学图像提取的64×64×64体素补块（或从2D CT医学图像提取的64×64像素补块）。在另一个示例中，初始医学图像补块是整个医学图像。

可操纵的属性是定义要生成的结节的参数。在一个实施例中，可操纵的属性是离散的标记，例如由用户根据要合成的结节的期望外观手动地标记。在一个示例中，操纵属性包括基于结节强度的标记，以将要合成的结节定义为固体、部分固体、毛玻璃不透明、完全钙化或部分钙化。在另一个示例中，操纵属性可以包括基于纹理和边界的标记，以将要合成的结节定义为有针刺的或无针刺的。也可以想到定义要合成的结节（例如，诸如恶性肿瘤）的其它属性的标记。

在一个实施例中，可以通过操纵分割掩码的产生来操纵要合成的结节的大小和形状。在一个实施例中，可以通过高斯过程可变形建模（GPMM）来生成分割掩码。由GPMM模型生成的分割掩码的形状可以通过改变GPMM模型中的特征值来控制。不同的特征向量表示GPMM模型生成的分割掩码形状的不同属性。因此，定义相应向量的特征值可以操纵要生成的分割掩码的形状。

在步骤504中，使用经训练的对象合成网络，基于输入医学图像补块、分割掩码、外观相关参数的向量以及可操纵的属性，生成包括合成结节的合成医学图像补块。经训练的对象合成包括一个或多个机器学习网络。可以采用任何适当的机器学习网络，例如，诸如神经网络。合成的结节根据可操纵的属性被合成。在一个实施例中，为了操纵要合成的结节，将表示可操纵属性的1D二值化向量与外观相关参数的向量级联。

在步骤506，输出合成的医学图像补块。例如，可以通过在计算机系统（图14的计算机1402）的显示装置上显示合成的医学图像补块、将合成的医学图像补块存储在计算机系统（图14的计算机1402）的存储器或储存器中或通过将合成的医学图像补块传送到远程计算机系统来输出合成的医学图像补块。在一个实施例中，将合成的医学图像补块输出到数据库作为训练数据集的一部分，以训练机器学习模型。

应该理解的是，方法500可以针对任意数量的初始医学图像补块重复进行，以生成多个合成的医学图像补块。多个合成的医学图像补块可用于例如扩增真实医学图像补块的训练数据集。在一个实施例中，合成的医学图像补块可用作训练数据集的一部分，以训练机器学习网络以用于对肺的结节进行分类、用于检测肺的结节、用于分割肺的结节或用于执行任何其他图像分析任务。

图6示出了根据一个或多个实施例的用于训练对象合成网络以用于结节分解的网络架构600。网络架构600对应于用于训练对象合成网络以进行结节分解的第一训练阶段（即，图2的阶段1 202）。 对象合成网络包括一个或多个机器学习网络，其包括分解网络

在图像补块

其中z是可表示结节的一组潜变量，q是分解网络

其中

为了使z可操纵和可解释，将z分解为

给定描绘结节

其中

通过对分解网络

重构网络

为了在背景补块

其中

图7示出了根据一个或多个实施例的用于训练对象合成网络以进行结节合成的网络架构700。网络架构700对应于第二训练阶段（即，图2的阶段2 212），用于训练对象合成网络以进行结节合成。在一个实施例中，网络架构700用于进一步细化先前根据图6的网络架构600训练过的用于结节分解的对象合成网络，以及图6的重构网络

在第二训练阶段期间，不包括结节的随机负初始训练图像补块

将初始训练图像补块

粗的合成图像补块726被馈送到细化网络

用于生成器的目标函数（即重构网络

其中

其中

一旦被训练，就可以在在线阶段（例如，图5的方法500）期间应用经训练的重构网络

在一个实施例中，将合成网格712重新缩放至目标大小。裁剪围绕随机位置

图8示出了根据一个或多个实施例的用于使用强化学习（RL）代理进行在线对抗采样的方法800。

在步骤802，RL代理确定可操纵的属性。训练RL代理以确定可操纵的属性，该可操纵的属性可将任意结节混合到CT图像的肺部区域中。RL代理输出的可操纵的属性包括要生成的结节的3D位置

在步骤804，使用经训练的对象合成网络基于可操纵的属性来生成结节的合成医学图像补块。在一个实施例中，使用根据图6的网络架构600和图7的网络架构700训练的训练对象合成网络，根据图5的方法500来执行步骤804。

在步骤806，使用经训练的鉴别器来确定1）合成医学图像补块是否真实，以及2）是否可以预测可操纵的属性。在一个实施例中，经训练的鉴别器是用于训练对象合成网络的鉴别器（例如，图7中的上下文鉴别器

在步骤808，使用预先训练的监督学习代理（例如，检测器或分类器）确定是否检测和/或分类合成医学图像补块中的结节。如果预先训练的监督学习代理能够正确地检测和/或分类结节，则在步骤812，对RL代理进行惩罚。例如，如果分类器的错误低，则对RL代理给予高惩罚。如果预先训练的监督学习代理不能正确地检测和/或分类结节，则在步骤810，对RL代理进行奖励。因此，对RL代理进行了训练，以生成在真实训练数据集中不足的罕见和具有挑战性的情况，这可能有助于改善预先训练的监督学习代理的鲁棒性。

本文描述的实施例的一个示例应用是改善肺结节检测系统的性能。这样的肺结节检测系统通常由两阶段的粗到细的网络训练构建：（1）具有大接收域的全卷积神经网络，以获得结节候选物；以及 （2）基于候选补块的补块分类器，以减少假阳性的数量。在训练3D补块分类器网络时，从每个批量中的合成补块和真实补块中采样阳性补块。合成补块的比例被控制在20％至50％之间。可以基于仅使用真实数据训练的补块分类器的输出以及经训练的鉴别器的输出来选择合成补块中的硬情况（hard case）。由于所有合成补块都构造为在其中包含结节，因此具有低分类器概率的补块被视为硬阳性。同时，保持仅看起来真实的结节补块，因为从此类补块学习的知识可以推广到看不见的数据。来自本地鉴别器

通过实验验证了本发明的实施例。从LUNA16挑战数据集、NLST队列和额外数据集获取带有肺结节的胸部CT图像。预留了来自额外数据集的测试图像，测试图像由经验丰富的放射科医生进行审查。由于原始NLST图像仅用结节的切片编号进行注释，因此放射科医生对结节的精确3D位置进行了注释。NLST图像仅用于提取阳性训练补块，因为并非所有结节都保证被注释。提取出在图像中以结节为中心的阳性训练补块。在肺区域内采样了阴性训练补块，而没有结节外观。在0.6×0.6×1mm的分辨率下对大小为64 × 64 × 32的补块进行采样。图像补块被裁剪具有[−1024, 600]霍恩斯菲尔德单位（HU）值，并重新缩放为[0,255]。使用3D DenseUNet为所有阳性CT补块生成肺结节的分割掩码，该3D DenseUNet在从LIDC数据集获得的710张图像（LUNA子集2至子集9）上进行了训练。分割掩码用于训练分解网络

变体自动编码器（VAE）利用多层感知器被构建，其具有整流线性单元（ReLU）激活，用于生成合成网格。VAE的编码器具有3层，其将1452个模板3D顶点的输入压缩为100个变量的变体嵌入。 VAE的解码器采用具有线性输出的对称架构构建。此VAE直接学习已转换网格的3D坐标的分布。使用AMSGrad对网络进行了优化，其中学习速率为1 × 10−3以及批量大小为512。

编码器

为了将本文所述的实施例与常规的图像修补方法进行比较，实施了基线3D图像修补方法。使用3D Res-UNet构建生成器网络。使用3D DenseNet构建WGAN鉴别器。网络的输入是3D肺部CT补块，中心区域被裁剪掉。通过使用本地和全局区域的结合L1损失以及WGAN对抗损失来优化网络。发现对随机向量的调节可能会妨碍性能。通过生成器网络中的测试时间中途退出引入了生成多样性。

图9示出了根据本文描述的实施例生成的示例性合成图像900。每个相应行902、904和906中的图像示出了从相同的掩码

图10示出了根据本文描述的实施例生成的示例性合成图像1000。每个相应行1002、1004和1006中的图像示出了从相同的掩码

图11示出了在本文描述的实施例的各个阶段生成的示例性合成图像1100。列1102和1108示出了在细化网络

图12示出了根据本文描述的实施例生成的示例性真实图像和合成图像1200。被称为真实容易图像的图像1202示出了具有大于95％的分类器输出的真实结节。被称为真实硬图像的图像1204示出了具有小于5％的分类器输出的真实结节。被称为假容易图像的图像1206示出了具有大于95％的分类器输出的合成结节。被称为假硬图像的图像1208示出了具有小于5％的分类器输出的合成结节。被称为低保真度图像的图像1210示出了具有低保真度（低于平均本地鉴别器输出的20％）的合成结节。在真实和合成图像中，具有高强度实心核的结节都易于分类。硬补块的尺寸往往较小，并且平均强度较低。当结节隐藏在肺壁或其他高强度组织（例如血管或其他异常）旁边时，也会混淆分类器。鉴别器更容易辨别合成补块含有比平均直径大或具有不规则形状的结节。当要求生成器产生除肺壁以外的大结节时，生成器也不能很好地处理边界，因为它应保持训练过程的结节边界。

图13示出了使用基线图像修补方法生成并根据本文所述实施例生成的示例性图像1300。列1302和1308中的图像是用于图像合成的掩码图像。列1304和1310中的图像是使用基线图像修补方法生成的。使用本文描述的实施例生成列1306和1312中的图像。

通过冻结候选生成网络并仅训练具有不同设置的3D补块分类器，重点关注第二阶段的结果来分析对象合成网络。补块分类器是具有预先训练的权重的3D ResNet50。将相同的一组常规数据扩增技术（包括90度旋转、随机缩放和3个方向的翻转）应用于所有实验，以进行公平比较。比较测试图像上的自由响应接收器工作特性（FROC）曲线和竞争性能度量（CPM）分数，以对合成补块和真实补块的不同比例采样：（1）在不从合成补块中采样的情况下进行训练；（2）从所有合成样品中采样20％补块进行训练；（3）用从合成样品中采样50％补块进行训练。发现合成数据可有助于改善检测性能，特别是当假阳性的数目低时。使用20％以上只会稍微改善分类性能。置信带是通过自举生成的。在相同的采样策略下，通过基线图像修补方法生成的补块没有示出改善。尝试仅从合成补块中采样阳性补块，这没有良好工作，因为合成补块无法覆盖真实数据中的整个分布，例如，亚实性结节。仅从硬情况中采样就获得更高的检测性能。已观察到，将批量与真实和选定的硬合成补块混合进行的训练比对仅真实数据已经训练的分类器进行细调稍微良好工作。

本文描述的系统、装置和方法可以使用数字电路或使用利用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的一个或多个计算机来实现。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括一个或多个大容量存储设备或耦合到一个或多个大容量存储设备，该一个或多个大容量存储设备例如是一个或多个磁盘、内部硬盘和可移动磁盘、磁光盘、光盘等。

可以使用以客户端-服务器关系操作的计算机来实现本文描述的系统、装置和方法。通常，在这种系统中，客户端计算机位于远离服务器计算机的位置，并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序定义和控制。

本文描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这样的基于网络的云计算系统中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。客户端计算机可以例如经由驻留在客户端计算机上并在其上操作的网络浏览器应用程序与服务器进行通信。客户端计算机可以将数据存储在服务器上，并经由网络访问数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传送到服务器。服务器可以执行请求的服务，并将数据提供给（一个或多个）客户端计算机。服务器还可以传送适于使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传送适于使客户端计算机执行本文描述的方法和工作流程的步骤或功能中的一个或多个（包括图4-5和8的步骤或功能中的一个或多个）的请求。本文描述的方法和工作流程的某些步骤或功能（包括图4-5和8的步骤或功能中一个或多个）可以由基于网络的云计算系统中的服务器或另一处理器执行。本文所述的方法和工作流程的某些步骤或功能(包括图4-5和8的步骤中一个或多个）可以由基于网络的云计算系统中的客户端计算机执行。在此描述的方法和工作流的步骤或功能(包括图4-5和8的步骤中一个或多个)可以由基于网络的云计算系统中的服务器和/或客户端计算机以组合的方式来执行。

可以使用有形地体现在信息载体中，例如在非暂时性机器可读存储设备中的计算机程序产品来实现本文所述的系统、装置和方法以由可编程处理器来执行；以及可以使用可由这样的处理器执行的一个或多个计算机程序来实现包括图4-5和图8的步骤或功能中的一个或多个步骤在内的本文所描述的方法和工作流步骤。计算机程序是一组计算机程序指令，可以在计算机中直接或间接使用它来执行特定活动或带来特定结果。可以以任何形式的编程语言（包括编译或解释语言）编写计算机程序，并且可以以任何形式配置计算机程序，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。

可用于实现本文描述的系统、装置和方法的示例计算机1402的高级框图在图14中进行了描述。计算机1402包括可操作地耦合至数据存储设备1412和存储器1410的处理器1404。处理器1404通过执行定义这样操作的计算机程序指令来控制计算机1402的整体操作。在需要执行计算机程序指令时可以将计算机程序指令存储在数据存储设备1412或其他计算机可读介质中，并且将其加载到存储器1410中。因此，图4-5和8的方法和工作流步骤或功能可以由存储在存储器1410和/或数据存储设备1412中的计算机程序指令定义，并由执行计算机程序指令的处理器1404控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行图4-5和8的方法和工作流步骤或功能。因此，通过执行计算机程序指令，处理器1404执行图4-5和8的方法和工作流步骤或功能。计算机1402还可以包括一个或多个网络接口1406，用于经由网络与其他设备进行通信。计算机1402还可包括一个或多个输入/输出设备1408，其使用户能够与计算机1402进行交互（例如，显示器、键盘、鼠标、扬声器，按钮等）。

处理器1404可以包括通用微处理器和专用微处理器，并且可以是计算机1402的唯一处理器或多个处理器之一。例如，处理器1404可以包括一个或多个中央处理单元（CPU）。处理器1404、数据存储设备1412和/或存储器1410可以包括一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA），由一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）补充或并入一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）中。

数据存储设备1412和存储器1410各自包括有形的非暂时性计算机可读存储介质。数据存储设备1412和存储器1410可各自包括高速随机存取存储器，例如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDRRAM），或其他随机存取固态存储设备，并且可以包括非易失性存储器，例如一个或多个磁盘存储设备（例如内部硬盘和可移动磁盘）、磁光盘存储设备、光盘存储设备、闪存设备、半导体存储设备，例如可擦可编程只读存储器（EPROM）、电可擦可编程只读存储器（EEPROM）、光盘只读存储器（CD-ROM）、数字多功能光盘只读存储器（DVD- ROM）磁盘或其他非易失性固态存储设备。

输入/输出设备1408可以包括外围设备，例如打印机、扫描仪、显示屏等。例如，输入/输出设备1408可以包括显示设备，例如阴极射线管（CRT）或液晶显示器（LCD）监视器，用于向用户显示信息，键盘以及诸如鼠标或轨迹球之类的指示设备，用户可通过该指示设备向计算机1402提供输入。

图像获取装置1414可以连接至计算机1402，以将图像数据（例如，医学图像）输入至计算机1402。可以将图像获取装置1414和计算机1402实现为一个装置。还可以的是，图像获取设备1414和计算机1402通过网络无线通信。在一个可能的实施例中，计算机1402可以关于图像获取设备1414远离地定位。

本文讨论的任何或所有系统和装置可以使用一个或多个计算机（例如计算机1402）来实现。

本领域技术人员将认识到，实际计算机或计算机系统的实现可以具有其他结构并且也可以包含其他组件，并且出于说明目的图14是这种计算机的某些组件的高级表示。

前述的详细描述在各个方面应被理解为是说明性和示例性的，而非限制性的，并且本文中公开的本发明的范围并非由具体实施方式，而是由根据专利法允许的最大范围解释的权利要求书确定。应当理解，本文示出和描述的实施例仅是本发明原理的示例，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下进行各种修改。本领域技术人员可以实现各种其他特征组合而不脱离本发明的范围和精神。