针对基于图集的配准的无监督的训练

摘要

一种方法包括从数据储存库中的训练图像的集合获得单幅训练图像。所述方法还包括基于所获得的单幅训练图像来生成初始组织类图集。所述初始组织类图集包括对应于两个或更多个不同的组织类的两个或更多个不同的组织类图像。所述方法还包括将所述训练图像的集合的剩余的训练图像配准到所述初始组织类图集。所述方法还包括生成针对经配准的图像中的每个的质量度量。所述方法还包括利用预定评价准则来评价经配准的图像中的每个的所述质量度量。所述方法还包括识别来自所述训练图像的集合的满足所述预定评价准则的图像的子集。所述方法还包括基于所述训练图像的集合的所识别的子集来生成后续组织类图集。

说明书

技术领域

以下总体涉及图像处理并且更具体而言涉及用于基于图集的配准的训练，并且结合计算机断层摄影(CT)具体应用进行描述。然而，以下还适用于其他成像模态。

背景技术

未知图像到人类解剖结构的相关常常是诸如针对自动器官分割的许多医学图像处理应用中的第一任务。为了解决该问题，大部分方法需要关于某种地面实况的大量的用户输入。在文献中，用于解剖结构检测和器官定位各种方法被使用。虽然个体器官的检测是高度特异性的并且必须针对新器官进行重新训练，但是到解剖图集的配准可以被用于检测视场并且同时估计若干器官的位置。

多图集方法能够经由全部独立地配准到未知图像的参考图像的数据库来处理各种图像。这些方法使得能够进行可变形配准和经由标签融合技术对靶结构的分割。然而，这些方法遭受长计算时间和对图集中的范例图像的选择的强依赖性的问题。单实例平均图像的通用性在最近的方法中已经通过减少组织类的灰度值得以改进。

另一方法使用关于联合的分割和配准的基于种类标签的互信息。然而，该方法需要全部图像域上的集成，其是低效的。另一方法根据骨盆和腹部图像创建组织类图集。然而，这些图集特定于解剖结构并且要求所有训练图像到图集空间中的给定配准以进行训练。另一方法训练针对根据紧器官边界框的器官边界框检测的回归森林，所述已经定义必须在训练数据集中定义。

一般而言，以上和/或其他已知方法要求大量的地面实况信息，例如地面实况器官分割、界标、确认的参考配准或至少一致的命名或DICOM标签。而且，许多图集训练方法要求输入图像以某种方式类似，例如具有类似的视场、类似协议或对比度或示出重叠的解剖区域。而且，图集训练流程一般地要求大量的训练数据选择和准备。

本文中描述的各方面解决以上提到的问题和其他问题。

发明内容

以下描述了一种唯一地基于CT图像的可变集合来训练基于图集的配准的完全无监督的方法(即，在没有任何配准、器官定位地面实况等的情况下)。所述完全无监督的方法一般地包括基于来自训练图像的集合的单个图像来创建初始组织类图集。剩余的训练图像被配准到所述初始组织类图集。评价每个图像的配准，并且识别来自配准的满足预定准则的图像。所识别的图像被用于创建下一个组织类图集，并且针对至少一个迭代重复以下过程：对所述训练图像进行配准；对所述配准进行评价；并且创建再另一组织类图集；在没有另外的图像满足所述准则时停止。最终组织类图集可以被用于基于图集的配准和/或要求图像的配准的其他应用(例如，用于器官检测、语义导航等)。所述基于图集的配准还可以在以下意义上被用于大数据分析：如果包含预定义区域，则其可以被用于识别包含特定解剖结构的数据或者切去来自图像的数据库的图集空间中的预定义区域。而且，所述图集训练流程自身可以被用于通过检查关于所述图像群体中的变化和相似性的经训练的图集来分析图像的大的数据集。

在一个方面中，一种方法包括从数据储存库中的训练图像的集合获得单幅训练图像。所述方法还包括基于所获得的单幅训练图像来生成初始组织类图集。所述初始组织类图集包括对应于两个或更多个不同的组织类的两个或更多个不同的组织类图像。所述方法还包括将所述训练图像的集合的剩余的训练图像配准到所述初始组织类图集。所述方法还包括生成针对经配准的图像中的每幅的质量度量。所述方法还包括利用预定评价准则来评价经配准的图像中的每幅的质量度量。所述方法还包括识别来自所述训练图像的集合的满足所述预定评价准则的图像的子集。所述方法还包括基于所述训练图像的集合的所识别的子集来生成后续组织类图集。

在另一方面中，一种计算系统包括存储用于基于图集的配准模块的无监督训练的指令的存储器。所述计算系统还包括运行所述指令的处理器，所述指令使得所述处理器基于针对基于图集的配准模块的无监督训练的所述指令来训练基于图集的配准。

在另一方面中，一种计算机可读存储介质编码有计算机可读指令。所述计算机可读指令在由处理器运行时使得所述处理器：使用训练图像的集合和预定停止准则基于无监督迭代训练来对基于图集的配准进行训练，并且基于所述训练来生成组织类图集。

附图说明

本发明可以采取各种部件和各部件的布置以及各种步骤和各步骤的安排的形式。附图仅出于图示优选的实施例的目的并且不应被解释为对本发明的限制。

图1示意性地图示了结合图像储存库的范例成像系统和具有用于基于图集的配准模块的无监督训练的计算系统；

图2示意性地图示了用于基于图集的配准模块的无监督训练的范例；

图3图示了具有在示出不同的身体区域的训练中使用的图像的范例边界框的范例空气(AIR)类图集图像；

图4图示了范例肺(LUNG)类图集图像；

图5图示了范例组织(TISSUE)类图集图像；

图6图示了范例骨骼(BONE)类图集图像；并且

图7图示了根据本文中的公开的范例方法。

具体实施方式

初始地参考图1，图示了诸如计算机断层摄影(CT)扫描器的成像系统100。成像系统100包括大体固定机架102和旋转机架104，旋转机架104由固定机架102可旋转地支撑并且关于z轴围绕检查区域106旋转。

辐射源108(例如X射线管)由旋转机架104可旋转地支持、与旋转机架104一起旋转并且发射穿过检查区域106的辐射。探测器阵列112相对于辐射源108在检查区域106的对面对向一角弧。探测器阵列112探测穿过检查区域106的辐射并且生成指示其的投影数据。

重建器114重建投影数据，生成指示检查区域106的体积图像数据。对象支撑体116支撑检查区域106中的对象。操作者控制台118包括诸如监视器的人类可读输出设备和诸如键盘、鼠标等的输入设备。驻留在控制器118上的软件允许操作者对系统100进行操作。

所得图像数据连同来自其他患者和/或相同和/或不同的模态成像系统的图像数据被存档在图像储存库120(例如图片存档及通信系统或PACS、电子病历或EMR、放射信息系统或RIS、医院信息系统或HIS)和/或其他数据储存库中。图像储存库120可以存储由不同的成像模态生成的、来自不同的成像设施的、利用不同的成像协议采集的、针对不同患者的、覆盖身体的不同的解剖区域等的图像。

计算系统122包括至少一个处理器124(例如，微处理器、中央处理单元等)、计算机可读存储介质(“存储器”)126，其不包括暂态介质并且包括物理存储器和/或其他非暂态介质。存储器126存储一个或多个计算机可读指令，针如用于基于图集的配准模块128和数据130的无监督训练。模块128的指令在由处理器124运行时使得处理器124基于训练图像的集合来执行针对基于图集的配准的无监督训练。数据130包括被用于针对基于图集的配准的无监督训练的默认和/或其他参数。

无监督训练可以被用于从以这些分片中的任何一个开始的小图像分片无监督地并且迭代地建造解剖图集。其仅要求不同的医学图像池，例如从骨盆到头部，没有任何类型的对齐或注释。然而，必须覆盖目标图集解剖结构的每个部分，例如，对于躯干图集而言，必须包含具有某种交叠的来自骨盆、腹部、胸部、和头部的图像。模块128的指令将例如互相关性用作自动地确定成功的配准的质量度量，其使得能够进行无监督学习过程中的对图集的无监督和迭代细化。对于具有不同的视场和因此不同的解剖内容的图像而言，使采样一般化到未看见的图像中的组织类的动态检测。在训练期间，图集域自身延伸来覆盖全身的小部分或全身。该方法是无监督的，因为除了图像集之外，其不需要输入。

图2示意性地图示了用于基于图集的配准模块128的无监督训练的范例。

针对基于图集的配准模块128的无监督训练包括图像选择器202，图像选择器202从图像储存库120选择图像。在一个实例中，图像选择器202从训练图像的集合任意地选择图像。在另一实例中，图像选择器202选择包括诸如感兴趣器官的预定解剖组织的图像。在另一实例中，图像选择器202选择包括最大数目的预定解剖子感兴趣区域的集合(例如，骨盆、腹部、胸部、颈部、头部等)的图像。在另一实例中，图像选择器202基于用户偏好和/或用户输入来选择图像。在又一实例中，图像选择器202基于其他准则来选择图像。

针对基于图集的配准模块128的无监督训练还包括图集生成器204。图集生成器204基于所选择的单个图像和组织类定义206，生成组织类图集(即，组织图集图像的集合)。组织类定义206可以是默认的、用户定义的和/或其他组织类定义，并且被存储在图1的计算系统122的存储器126的数据130中和/或其他地方。关于CT的组织类定义的非限制性范例包括在亨氏单位(HU)的CT值的直方图中变化的的多个组织类。

例如，一个非限制性范围集包括：空气[-1000,-920]、肺[-940,-180]、组织[-200,250]和骨骼[200,1500]。本文中还预期其他范围和/或组织类。图3图示了范例空气类图集，并且来自不同的身体区域(骨盆、腹部、胸部、头颈部)的训练图像的边界框被叠加在空气类图像上。图4图示了范例肺类图集图像。图5图示了范例组织类图集图像。图6图示了范例骨骼类图集图像。以上范例组织类范围仅具有小的交叠，使得属于特定组织类的图像灰度值的概率几乎是零(0)或一(1)。在交叠区域中，概率可以是线性和/或以其他方式内插的。然而，组织类还可以是某种特征响应(如对Haar特征的响应)，并且不必与临床区分的组织类型有关，即不必是词语的原始意义上的组织。

组织类图集表示每个图像体素x属于每个组织类t的概率q(x|t)。该概率图集表示图像池中给定的各种性质。例如，腹部和胸部之间的区域吸气图像中将包含肺体素并且呼气图像中将包含组织(TISSUE)体素。概率图集具有针对这两个组织类的正概率并且因此能够同时表示两个相互排斥的图像。更特别地，概率图集是图像池的而非单独的图像实例的预测器。

针对基于图集的配准模块128的无监督训练还包括配准部件208。配准部件208采用链接到图集和评价器210的配准方法。这样的配准方法的非限制性范例是将图像储存库120中的剩余的图像中的一个或多个与组织类图集配准的概率方法。在一个非限制性范例中，针对配准，具有域Ω_p的每个图像被分解为不同的组织类。然后，在图像的概率密度函数(pdf)p(x|t)与利用转换f转换的图集的概率密度函数(pdf)q(x|t,f)之间评价熵准则，对所有组织类t进行求和，如公式1中所示：

公式1：

>

其中，针对f的转换模型是相似性(即旋转、均匀缩放和平移)。例如，可以利用受控制的随机搜索来优化转换参数。

在Vik等人“A new method for robust organ positioning in CT images”，9thIEEE International Symposium on Biomedical Imaging，第338-341页(2012年)中描述了公式1的导数。以下部分地描述了该导数。对于导数而言，u∈R是图像灰度值，f＝f_θ:R³→R³是通过参数化的空间转换(对于相似性转换而言，D＝7(平移、旋转和各向同性缩放))，P,Q:T→[0,1]指定组织类t∈T(p与图像有关，Q与图集有关)的概率，并且p,q:是连续空间变量x的pdf(p与图像有关，q与图集有关)。

给定灰度值u，设P(t|u)是CT(例如T＝{空气,组织,肺,骨骼})中的组织类的概率。对于给定图像而言，固定位置x处的灰度值是已知的，使得P(t|u)可以被用于确定P(t|x)。根据贝叶斯公式，可以导出，如果利用空间均匀分布p(x)绘制样本(x,t)，则P(t|x)与p(x|t)成正比。在对图像均匀地采样时是这种情况，因此我们可以实际上计算P(t|x)来估计如在公式1中使用的p(x|t)。在其发生的情况下，可以针对所有公式中的q(x|t)做出相同近似。在空间位置x与组织类t之间存在强依存性。通过将图像的pdf，p(x|t)，与转换的图集的pdf，q(x|t,f)，相比较确定未知的转换f_θ，这致使公式1。

这使图集q形变，使得很好地预测图像p中的组织位置。该方法具有对诸如不同的视场的不同的图像信息和不同的相对组织内容鲁棒的优点：由于对数函数的奇点，公式1具有以下性质：如果p(x|t)>0，那么θ被选择为使得也q(x|t,f)>0。因此，在一个实例中，图集覆盖比任何图像更大的视场。当在相同域上对pdf p和q进行标准化时，公式1是交叉熵。这仅是在图像和图集(例如，全身或相同视场)中覆盖相同解剖结构时的情况。

在一个实例中，使用随机采样对公式1进行高效的近似。近似可以基于蒙特卡罗和/或来自根据期望重写公式1的项的其他采样和结果，这致使公式2：

公式2：

>

其中，n_t是采样点的数量，并且根据p(x|t)绘制每个x_i。采样可以基于图像pdf，其中，概率多数是0或1，并且然后与转换的图集相比较以用于解释。采样点利用f^-1转被换到图集域。然后，的评价是快速的。对数函数的奇点对任何匹配进行惩罚，其中，图像采样点不能由图集解释。

在一个实例中，动态地确定公式2中的每组织类t的采样点数目n_t。例如，采样点数目n_t可以基于图集中的组织类出现与要配准的图像中的组织类出现之间的比例来选择。这样，组织类的重要性适应于成像的解剖区域(例如，在骨盆图像中)，仅将选择很少的肺采样点，然而对于胸部图像而言，许多肺采样点对于提供好的匹配是至关重要的。

针对基于图集的配准模块128的无监督训练还包括评价器210。评价器210基于评价算法212，对每个图像的配准进行评价。在该范例中，评价算法212基于组织类图像的加权的平均互相关，确定配准的质量。在公式3中示出了这样的算法的范例：

公式3：

$>\frac{1}{{\Sigma }_t{n}_t}\underset{t}{\Sigma }{n}_t\frac{{\int }_{x\in {\Omega }_p\cap f\left({\Omega }_q\right)}\left(p\right(x|t)-\bar{p})\left(q\right(x|t,f)-\bar{q})}{\sqrt{{\int }_{x\in {\Omega }_p\cap f\left({\Omega }_q\right)}{\left(p\right(x|t)-\bar{p})}^2·{\int }_{x\in {\Omega }_p\cap f\left({\Omega }_q\right)}{\left(q\right(x|t,f)-\bar{q})}^2}},$>

利用被用于匹配的每组织类t的采样点数目n_t加权，其中f(Ω_q)表示配准的图集域(Ω_q)，并且和表示的p(x|t)和q(x|t,f)在积分域(Ω_p∩f((Ω_q)上的平均值。

针对基于图集的配准模块128的无监督训练还包括逻辑214。逻辑214将加权的平均互相关与预定准则216进行比较。例如，在一个实例中，预定准则在从0.20至0.60的范围内，例如0.35、0.40、0.55等。如果互相关性大于预定准则216，那么配准被分类为成功的。否则，配准被分类为不成功的。所有成功配准的图像由图集生成器204使用来建造后续的组织类图集。

一般而言，迭代将所有训练图像映射到当前组织类图集和从所有成功地匹配的训练图像构建出下一个图集的该过程，直到例如没有额外训练图像被成功配准，基于评价准则212，到达最大数目或迭代，和/或满足其他停止准则。使图像选择器202选择覆盖大视场的初始训练图像可以简化训练过程。在初始图像小于最终图集域的情况下，在从当前图集域当中突出的越来越多图像被成功配准时，视场可以随着每次迭代自动地增长。

图集存储器218存储最终组织类图集。最终组织图集可以同时地表示相互排斥的解剖变型(手臂上/下、膀胱满/空、吸气/呼气)。训练是无监督地执行的，因为其不要求用户输入，并且图集自身延伸以覆盖存在于训练图像中的所有解剖结构。可以利用不太准确并且非常稀少的地面实况来实现器官定位。而且，由于定位过程是以基于图集的配准为基础的，因而用户可以定义图集域中的新结构或边界框并且使用所述方法来检测图像中的这些。为此，用户可以绘制图集中或者训练图像之一中的感兴趣区域的边界框。然后，将该边界框传送到训练图像中的每一个来估计感兴趣结构的位置。

因此，本文所描述的方法不仅对于结构初始化和视场检测而且对于非常宽的数据分析和大数据方法是足够的。这使能数据集中的语义导航，例如针对临床工作流中的若干器官的自动视图生成。为了使方法一般化，可以探索更复杂的转换空间，例如第二器官特异性局部配准步骤。这可以利用自动地检测器官切除术或者患者性别的技术扩展。

而且，利用相同的无监督训练方法，可以建造聚焦在感兴趣结构上的局部图集。感兴趣结构的边界框可以在图集中定义并且与配准方法一起被使用来将其定位在所有训练图像中。所有训练图像中的边界框可以与将迭代地改善的一个范例局部图集上的全部图像相同的过程配准直到也收敛。以此方式，可以实现仅匹配感兴趣区域的局部配准。这可以被用于经改进的器官定位。

除了上文之外，本文所描述的方法覆盖基于CT图像的组织类的无监督图集训练应用，但是使用基于CT图像上的配准方案的不同的组织类定义或成功率阈值，只要其具有本发明的两个关键性质：基于除CT图像和近似配准方案外，对未看见的图像的性质(特别地但是不仅视场)的动态适配和对匹配的成功或失败的自动检测，只要其具有如上文所描述的本发明的两个关键特性和/或其他应用。

图7图示了根据本文中的本公开的范例方法。

应当理解，动作的排序不是限制性的。因此，在本文中预期其他排序。另外，可以省略一个或多个动作和/或可以包括一个或多个额外的动作。

在702处，选择来自覆盖身体的面片或子部分的训练图像的集合的单幅训练图像。

在704处，单幅训练图像被用于重建初始组织类图集。

在706处，剩余的训练图像被配准到当前组织类图集上。这可以例如如本文中所描述地结合公式1或2来实现。

在708处，确定匹配的质量度量。如本文所描述的，这可以通过利用，被用于匹配的每组织类t的采样点数目n_t加权的，组织类图像的加权的平均互相关来实现，如结合公式3在本文中所描述的。

在710处，基于质量度量，识别成功地配准的图像。如本文所描述的，这可以包括将质量度量与预定阈值进行比较。

在712处，确定是否满足预定停止准则(例如，额外的训练图像被成功地配准、最大迭代次数等)。

如果不满足停止准则，那么在714处，基于所识别的图像(即，成功的匹配)来生成下一组织类图集，并且重复步骤706至步骤712。如果满足停止准则，那么在716处，当前组织类图集被输出为最终组织类图集。

以上方法可以通过编码或嵌入在计算机可读存储介质上的计算机可读指令的方式来实现，其在由(一个或多个)计算机处理器运行时令(一个或多个)处理器执行所描述的动作。额外地或备选地，通过信号、载波或其他暂态介质承载计算机可读指令中的至少一个。

已参考优选的实施例描述了本发明。他人在阅读并且理解前述详细说明之后可以进行修改和变型。本发明旨在被理解为包括所有这样的修改和变型，只要其落入权利要求或其等价方案的范围之内。