较低到较高分辨率的图像融合

摘要

本发明涉及对象(30)的较低分辨率图像(32)和较高分辨率参考图像(50)的图像融合。基于使用所述较低分辨率图像(32)中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定用于采集相应的较低分辨率图像(32)的特定图像扫描几何配置；基于所述较高分辨率参考图像(50)和所确定的用于采集所述相应的较低分辨率图像(32)的特定图像扫描几何配置来生成图像扫描几何配置匹配的倾斜较高分辨率图像(54)；将所述倾斜较高分辨率图像(54)与所述较低分辨率图像(32)进行配准，以便生成经配准的较高分辨率图像；从所述较低分辨率图像提取当前特征信息；并且将所述当前特征信息绘制在所述经配准的较高分辨率图像中的对应特征信息上，以便生成融合图像。

说明书

技术领域

本发明涉及用于生成融合图像的医学成像设备、用于生成融合图像的医学成像系统、用于操作该医学成像设备的方法以及计算机程序。特别地，本发明涉及用于基于对象的较高分辨率参考图像和对象的较低分辨率图像来生成融合图像的医学成像设备。

背景技术

WO 2009/053896 A2示出了一种定位器和配准单元，该定位器和配准单元将来自存储器的3D超声图像与来自存储器的3D诊断图像进行比较，这样确定了配准3D诊断和超声体积图像的基线变换。由超声扫描器持续检查目标区域，这样生成了一系列实时2D或3D超声图像或其他较低分辨率图像。定位器和配准单元将一幅或一组2D超声图像与3D超声图像进行比较以确定运动校正变换。图像调整处理器或程序利用基线变换和运动校正变换对3D诊断体积图像进行操作，以生成经运动校正的图像，该经运动校正的图像被显示在适当显示器上。

US 2017/0132796 A1示出了一种具有观察平面确定的医学观察系统。该医学观察系统包括X射线图像采集设备、超声心动图图像采集设备和处理单元。X射线图像采集设备适于在X射线成像平面中采集X射线图像。超声心动图图像采集设备适于采集多幅超声心动图图像。处理单元适于确定X射线图像中的指示用于超声心动图图像的观察平面的指示物。处理单元还适于将X射线图像与多幅超声心动图图像配准或融合在一起，然后在所识别的观察平面中提供超声心动图图像。

U.Pardasani等人的文章“Single slice USMRI registration forneurosurgical MRI guided US”(Proc.SPIE 9786，2016年)示出了一种用于基于图像的超声(US)到磁共振成像(MRI)配准的方法。术前采集磁共振(MR)图像。执行被跟踪的US阶段以采集US图像。MR数据是头骨剥离的，并且估计分割的硬脑膜表面。从重建的0.3mm内的US体积中搜索在US切片中的具有专家识别的界标的US切片。针对具有界标的US切片中的每个US切片，通过将US探头的头部投影到硬脑膜表面来创建矩形穿颅术部位。使用度量与优化方法来搜索最佳的US探头姿态。计算US探头切片和MRI体积中的专家识别的界标之间的误差。

发明内容

本发明的目的能够被认为是提供允许改善融合图像的生成的用于生成融合图像的医学成像设备、用于生成融合图像的医学成像系统、用于操作该医学成像设备的方法、计算机程序以及计算机可读介质。

在本发明的第一方面中，提出了一种用于生成对象的融合图像的医学成像设备。所述医学成像设备包括较低分辨率图像扫描单元、存储器和图像处理单元。所述较低分辨率图像扫描单元被配置用于采集具有特定图像扫描几何配置的所述对象的较低分辨率图像。所述存储器被配置用于存储所述对象的较高分辨率参考图像。所述图像处理单元被配置用于生成所述对象的融合图像。所述图像处理单元包括图像扫描几何配置确定单元、倾斜较高分辨率图像生成单元、图像配准单元、特征信息提取单元和图像融合单元。所述图像扫描几何配置确定单元被配置为基于使用相应的较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置。所述倾斜较高分辨率图像生成单元被配置为基于所述较高分辨率参考图像和所确定的用于采集所述相应的较低分辨率图像的特定图像扫描几何配置来生成图像扫描几何配置匹配的倾斜较高分辨率图像。所述图像配准单元被配置为通过将所述倾斜较高分辨率图像与所述较低分辨率图像进行配准来生成经配准的较高分辨率图像。所述特征信息提取单元被配置为从所述较低分辨率图像提取当前特征信息。所述图像融合单元被配置为将所述当前特征信息绘制在所述经配准的较高分辨率图像中的对应特征信息上，以便生成融合图像。

较低分辨率图像和较高分辨率参考图像能够是医学图像。对象能够例如是患者的身体的部分。医学图像能够例如用于癌症管理。对于癌症管理，较高分辨率参考图像能够例如是在处置之前采集的，并且较低分辨率图像能够是在处置之后采集的。处置能够例如是外科手术、化学治疗或放射治疗。融合图像能够用于研究癌症的进展。融合图像具有比较低分辨率图像更高的分辨率，并且包括较低分辨率图像的当前特征信息(即，在处置之后采集的特征信息)。当前特征信息能够例如是肿瘤轮廓。这允许利用具有提高的分辨率的融合图像来研究癌症的进展，并且在采集期间引起比直接使用较高分辨率图像(例如，在处置之后的计算机断层摄影(CT)图像)更少的辐射暴露。

采集较低分辨率图像不太昂贵且不太耗时。由于在相应的较低分辨率图像中编码有用于采集相应的较低分辨率图像的特定图像扫描几何配置，因此不需要外部跟踪系统。这允许降低外部干扰场对医学成像设备的影响。另外，不需要在流程期间影响较低分辨率图像扫描单元的自由度的有线传感器。相比于使用外部跟踪系统来确定图像扫描几何配置的设备，不需要在外部跟踪系统与被跟踪对象之间的干净视线。

图像扫描几何配置能够包括探头几何配置和患者几何配置，例如，探头位置、患者位置和/或探头相对于患者的角度。医学成像设备允许考虑探头相对于患者位置的位置。这允许更为自由地将对象相对于医学成像设备进行定位。

医学成像设备能够用于执行较低分辨率图像(例如，US图像)与较高分辨率参考图像(例如，CT参考图像或MR参考图像)的实时图像融合而无需外部跟踪设备。

能够从较低分辨率图像采集特定图像扫描几何配置。对于使用US系统采集的较低分辨率图像，医学成像设备会固有地考虑影响测量准确度的因素(例如，为了成像而施加到身体的压力、所使用的凝胶量、患者呼吸等)。医学成像设备允许以较高准确度来确定特定图像扫描几何配置。保存医学成像设备的自由度和其移动性。医学成像设备允许在它使用较低分辨率图像时连续提高确定的准确度。较低分辨率图像包含关于对象(例如，患者的身体的部分)的信息。

图像扫描几何配置确定单元允许在不需要外部基准或解剖界标的情况下确定特定图像扫描几何配置。这允许对对象的解剖结构具有较少经验的用户使用医学成像设备来生成融合图像。

能够将在先前流程中采集的融合图像提供为较高分辨率参考图像。这允许保持更新的较高分辨率参考图像而无需使用代价密集型装备(例如，CT系统或MRI系统)来采集较高分辨率图像。

图像配准单元能够被配置用于使用基于特征的算法将倾斜较高分辨率图像与较低分辨率图像进行配准。基于特征的算法能够例如是基于分割的配准算法，例如，可变形图像配准方法。

所述图像扫描几何配置确定单元能够被配置为通过使用自动分割算法来识别所述相应的较低分辨率图像中的至少一个感兴趣区域，所述自动分割算法在具有允许确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置的特征的感兴趣区域中分割所述相应的较低分辨率图像。图像扫描几何配置确定单元能够被配置为在感兴趣区域上使用机器学习算法来确定用于采集较低分辨率图像的特定图像扫描几何配置。图像扫描几何配置确定单元能够被配置为迭代地增加由图像扫描确定单元识别的感兴趣区域的数量。图像扫描几何配置确定单元能够例如在第一迭代步骤中仅识别包括允许正确确定具有最高概率的图像扫描几何配置的特征的一个总体感兴趣区域或特定数量的总体感兴趣区域。包括允许正确确定具有最高概率的图像扫描几何配置的特征的总体感兴趣区域能够例如为肝脏、膀胱和/或直肠中的一个或组合。这些总体感兴趣区域包括允许以超过90％的准确度确定图像扫描几何配置的特征。仅分割这些总体感兴趣区域并使用这些总体感兴趣区域作为针对机器学习算法的输入允许在短时间内并使用较少计算资源来有效确定图像扫描几何配置。这实际上允许改善图像配准和图像融合，即，将倾斜较高分辨率图像与较低分辨率图像进行配准并生成融合图像。图像扫描几何配置确定单元能够迭代地增加通过自动分割算法识别的感兴趣区域的数量。图像扫描几何配置确定单元能够在另外的迭代步骤中迭代地增加被提供给机器学习算法的感兴趣区域的数量，使得能够进一步改善对图像扫描几何配置的确定。

机器学习算法能够被训练为基于感兴趣区域中的特征来确定特定图像扫描几何配置。机器学习算法能够使用深度学习方法来进行训练。深度学习允许机器学习算法独立地学习在针对机器学习算法的输入数据中提供的特征和型式。机器学习算法能够使用监督式训练方法、半监督式方法或非监督式训练方法基于具有已知的特定图像扫描几何配置的较低分辨率图像的感兴趣区域的库和/或具有已知的特定图像扫描几何配置的较低分辨率图像来进行训练。在训练阶段期间，机器学习算法能够学习来自哪些感兴趣区域的哪些特征具有用于正确确定图像扫描几何配置的最高概率。这允许识别具备具有用于正确确定图像扫描几何配置的最高概率的特征的总体感兴趣区域。对具备具有用于正确确定图像扫描几何配置的最高概率的特征的总体感兴趣区域的识别允许确定要在能够使用自动分割算法执行的迭代过程中的用于识别感兴趣区域的迭代步骤中使用感兴趣区域的顺序。图像扫描确定单元能够被配置为在用于识别感兴趣区域的迭代步骤中以依据用于正确确定如在机器学习算法的训练阶段期间确定的图像扫描几何配置的特征的概率的顺序添加特征。

能够例如训练机器学习算法以根据感兴趣区域中的特征来确定较低分辨率图像扫描单元相对于对象的探头角度。机器学习算法能够使用监督式训练方法或非监督式训练方法基于具有较低分辨率图像扫描单元的已知探头角度的较低分辨率图像的感兴趣区域的库和/或具有较低分辨率图像扫描单元的已知探头角度的较低分辨率图像来进行训练。如果对象是例如患者的身体或患者的身体的部分，则感兴趣区域能够是诸如患者的器官、组织、腔室和/或静脉之类的结构。一个感兴趣区域能够例如是膀胱。膀胱轮廓允许确定较低分辨率图像是从前后采集的还是从后前采集的。另一感兴趣区域能够例如是肝脏。肝脏轮廓允许在左-右轴线上确定探头方向。通过考虑更多的感兴趣区域(例如，患者的器官和组织)，能够提高特定图像扫描几何配置的准确度或特别是探头角度的准确度。

所述机器学习算法能够通过用于训练所述机器学习算法的方法来进行训练，所述方法包括以下步骤：

以已知的特定图像扫描几何配置来提供三维训练对象的较低分辨率图像，

以与所述三维训练对象的所述较低分辨率图像相同的特定图像扫描几何配置来提供所述三维训练对象的较高分辨率参考图像，

分割所述三维训练对象的所述较低分辨率图像和所述三维训练对象的所述较高分辨率参考图像，以便识别具有允许确定相应图像的所述特定图像扫描几何配置的特征的感兴趣区域，

将所述三维训练对象的所述较低分辨率图像与所述三维训练对象的所述较高分辨率图像进行配准，以便生成所述三维训练对象的经配准的图像，

以已知的图像切片几何配置将所述三维训练对象的所述经配准的图像切片成所述三维训练对象的倾斜切片，以便导出经倾斜配准的图像，以及

将所述经倾斜配准的图像和所述已知的图像切片几何配置提供给所述机器学习算法，以便训练所述机器学习算法以基于使用未知对象的相应的较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的所述机器学习算法来确定用于采集所述未知对象的所述相应的较低分辨率图像的所述特定图像扫描几何配置。所述未知对象的所述较低分辨率图像的所述图像扫描几何配置与所述经倾斜配准的图像的所述图像切片几何配置相关。

能够将经配准的图像切片成随机的切片，即，能够执行切片而使得生成经随机切片的经倾斜配准的图像。备选地，能够基于预定图像切片几何配置来执行切片。训练机器学习算法的步骤允许机器学习算法将不同的感兴趣区域的特征(例如，几何配置特征)与图像切片几何配置(例如，图像切片角度)相关。这允许机器学习算法被用于基于有效的训练来确定用于采集较低分辨率图像的图像扫描几何配置。

所述图像扫描几何配置确定单元能够被配置为在每个迭代步骤中迭代地增加用于确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置的特征的数量，直到所述机器学习算法的代价函数的值在特定阈值之下为止。迭代地增加用于确定特定图像扫描几何配置的特征的数量能够与识别感兴趣区域的迭代过程相关，并且与将特征作为输入而提供给机器学习算法相关。这允许图像处理单元迭代地最小化机器学习算法的代价函数，并且提高对特定图像扫描几何配置的确定的准确度。提高对特定图像扫描几何配置的确定允许提高倾斜高分辨率图像的质量并且因此提高经配准的较高分辨率图像的质量并且最终提高融合图像的质量。此外，迭代地增加用于确定用于采集相应的较低分辨率图像的特定图像扫描几何配置的特征的数量减少了处理时间，并且因此降低了能够由医学成像设备执行的实时图像融合处理中的延迟。特别地，仅使用有限数量的特征允许更快的处理，因为不是所有特征都必须由用于确定特定图像扫描几何配置的机器学习算法进行处理。要在迭代步骤中添加特征的顺序能够与用于正确确定如在机器学习算法的训练阶段期间确定的图像扫描几何配置的特征的概率相关。图像扫描确定单元能够被配置为在迭代步骤中以依据用于正确确定如在机器学习算法的训练阶段期间确定的图像扫描几何配置的特征的概率的顺序添加特征。

机器学习算法的代价函数能够例如是用于配准技术的代价函数，例如，与用于倾斜较高分辨率图像与较低分辨率图像的配准相同的代价函数。较低分辨率图像扫描单元能够是用于采集US图像的US图像扫描单元。US图像扫描单元允许减少对辐射的暴露并且降低代价。较低分辨率图像能够是US图像。较低分辨率图像能够是使用US成像系统采集的。

较高分辨率参考图像能够是CT图像或MR图像。能够使用CT系统或MRI系统来采集较高分辨率参考图像。能够将较高分辨率参考图像存储在存储器中。备选地或额外地，能够通过将医学成像设备连接到较高分辨率成像扫描单元并采集对象的较高分辨率参考图像来采集较高分辨率参考图像。使用CT图像和MRI图像作为高分辨率参考图像允许生成具有高分辨率的融合图像。

当前特征信息能够是肿瘤信息。当前特征信息能够例如是肿瘤轮廓。使用肿瘤轮廓作为当前特征信息允许研究患者的癌症的进展，并且特别允许研究处置的效果。

图像处理单元能够包括三维建模单元。三维建模单元能够被配置为根据融合图像来生成三维模型。能够在不同平面中将倾斜较高分辨率图像与较低分辨率图像进行配准。三维建模单元能够被配置为在已经生成了和/或可获得在不同平面中的特定数量的融合图像的条件下生成三维模型。能够例如根据一系列融合图像来生成三维模型。能够例如以对象的三维模型的倾斜二维切片的形式来提供这一系列融合图像。三维建模单元能够被配置为当已经生成了和/或可获得不同平面中的阈值数量的融合图像时根据融合图像来生成对象的三维模型。三维模型允许改善对对象的观察。

所述对象是身体的部分，并且所述感兴趣区域是所述身体的所述部分中的结构，例如，器官、腔室、静脉、组织和其他感兴趣区域。感兴趣区域的特征能够例如是其轮廓、边缘、面积大小、体积或其他特征。感兴趣区域(特别是身体的部分中的结构)的轮廓允许导出特定图像扫描几何配置。机器学习算法能够基于包括身体的部分中的结构的库来进行训练，以便确定特定图像扫描几何配置。这允许在较低分辨率图像中编码有特定图像扫描几何配置，并且从较低分辨率图像导出特定图像扫描几何配置而无需外部跟踪系统。

医学成像设备能够被配置为执行用于图像引导的医学流程(例如用于活检、外科手术、血管造影等)的实时图像融合。特别地，医学成像设备能够例如被配置用于病灶识别和/或对不确定病灶或恶性病灶的图像引导的经皮针活检或消融。

医学成像设备能够在自适应放射治疗中使用。自适应放射治疗通常是在预定的天数内执行的。自适应放射治疗能够例如在25至30天内执行。在自适应放射治疗中，处置计划常常由于患者的变化的解剖结构(例如，变化的肿瘤体积)而被调整。调整计划通常涉及采集较高分辨率图像(例如，CT图像或锥束CT(CBCT)图像)，对肿瘤体积和器官的重新勾画轮廓(即，分割CT图像)和规划质量评估，以及针对改变的肿瘤体积优化用于放射治疗的射束参数。如果不是自适应地执行放射治疗，则施加到患者的射束可能错失肿瘤体积和/或过度剂量的辐射被施加到肿瘤体积周围的健康组织。由融合图像提供的信息能够用于决定是否需要执行自适应放射治疗，即，是否需要调整处置计划。特别地，例如基于US图像和CT参考图像的融合图像能够用于确定随着时间在患者的解剖结构中是否发生剧烈的变化。如果检测到任何剧烈的变化，则能够调整处置计划。如果没有检测到任何剧烈的变化，则能够继续进行处置而无需调整处置计划。这允许减少在采集另一CT图像中的辐射暴露量和所花费的时间。特别地，在现有技术中，采集患者的CT图像并将所采集的CT图像与先前的CT图像进行配准以便确定是否需要调整处置计划会花费30至45分钟。当患者被定位以用于接收放射治疗处置时，医学成像设备允许采集较低分辨率图像(例如，US图像)。能够基于US图像来实时生成融合图像，以便确定患者的解剖结构是否发生变化。当没有发生变化时，能够执行处置。当发生变化时，能够调整处置计划。这允许更快的处理和减少对X射线辐射的暴露。

在本发明的另外的方面中，提出了一种医学成像系统。所述系统包括根据权利要求1至7中的一项所述的医学成像设备或所述医学成像设备的任何实施例和较高分辨率图像扫描单元。所述较高分辨率图像扫描单元被配置用于采集具有特定图像扫描几何配置的较高分辨率参考图像。

较高分辨率图像扫描单元能够包括CT单元和/或MRI单元，即，CT单元、MRI单元、或CT单元和MRI单元。CT单元能够被配置用于采集CT图像。MRI单元能够被配置用于采集MR图像。

在本发明的另外的方面中，提出了一种用于操作根据权利要求1至7中的一项所述的医学成像设备或所述医学成像设备的任何实施例的方法。所述方法包括以下步骤：

提供对象的较高分辨率参考图像，

提供具有特定图像扫描几何配置的所述对象的较低分辨率图像，

基于使用相应的较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置，

基于所述较高分辨率参考图像和所确定的用于采集所述相应的较低分辨率图像的特定图像扫描几何配置来生成图像扫描几何配置匹配的倾斜较高分辨率图像，

将所述倾斜较高分辨率图像与所述较低分辨率图像进行配准，以便生成经配准的较高分辨率图像，

从所述较低分辨率图像提取当前特征信息，并且

将所述当前特征信息绘制在所述经配准的较高分辨率图像中的对应特征信息上，以便生成融合图像。

融合图像具有比较低分辨率图像更高的分辨率，并且包括较低分辨率图像的信息。

所述方法能够包括以下步骤：

通过使用自动分割算法来识别所述相应的较低分辨率图像中的至少一个感兴趣区域，所述自动分割算法在具有允许确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置的特征的感兴趣区域中分割所述相应的较低分辨率图像。

备选地或额外地，所述方法能够包括以下步骤：

在所述感兴趣区域中的至少一个上使用所述机器学习算法来确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置，其中，所述机器学习算法能够被训练为基于所述感兴趣区域中的所述特征来确定所述特定图像扫描几何配置。

所述方法能够包括训练所述机器学习算法的步骤。所述训练的步骤能够包括基于具有已知的特定图像扫描几何配置(例如，已知探头角度)的较低分辨率图像的感兴趣区域的库来训练机器学习算法的步骤。机器学习算法能够使用监督式训练方法或非监督式训练方法来进行训练。

备选地或额外地，训练所述机器学习算法的步骤能够包括以下步骤：

以已知的特定图像扫描几何配置来提供三维训练对象的较低分辨率图像，

以与所述三维训练对象的所述较低分辨率图像相同的特定图像扫描几何配置来提供所述三维训练对象的较高分辨率参考图像，

分割所述三维训练对象的所述较低分辨率图像和所述三维训练对象的所述较高分辨率参考图像，以便识别具有允许确定相应图像的所述特定图像扫描几何配置的特征的感兴趣区域，

将所述三维训练对象的所述较低分辨率图像与所述三维训练对象的所述较高分辨率图像进行配准，以便生成所述三维训练对象的经配准的图像，

以已知的图像切片几何配置将所述三维训练对象的所述经配准的图像切片成所述三维训练对象的倾斜二维切片，以便导出经倾斜配准的图像，以及

将所述经倾斜配准的图像和所述已知的图像切片几何配置提供给所述机器学习算法，以便训练机器学习算法以基于使用未知对象的相应的较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的所述机器学习算法确定用于采集所述未知对象的所述相应的较低分辨率图像的所述特定图像扫描几何配置。所述未知对象的所述较低分辨率图像的所述图像扫描几何配置与所述经倾斜配准的图像的所述图像切片几何配置相关。

三维训练对象的较低分辨率图像和三维训练对象的较高分辨率图像包括三维对象的信息，即，能够基于三维训练对象的较低分辨率图像和三维训练对象的较高分辨率图像来生成训练对象的三维模型。能够基于与图像扫描几何配置相关的不同图像切片几何配置来对三维训练对象的经配准的图像进行切片。

能够将经配准的图像切片成随机的切片，即，能够执行切片而使得生成经随机切片的经倾斜配准的图像。备选地，能够基于预定图像切片几何配置(例如对应于优选或常见的图像扫描几何配置的图像切片几何配置)来执行切片。训练机器学习算法的步骤允许机器学习算法将不同的感兴趣区域的特征(例如，几何配置特征)与图像切片几何配置(例如，图像切片角度)相关。图像切片几何配置能够与用于采集较低分辨率图像的图像扫描几何配置相关。这允许机器学习算法被用于基于有效的训练来确定用于采集较低分辨率图像的图像扫描几何配置。在训练的步骤中训练的机器学习算法能够用于确定用于采集较低分辨率图像的图像扫描几何配置。

所述机器学习算法的代价函数能够通过以下操作而被迭代地最小化：在每个迭代步骤中增加用于确定所述特定图像扫描几何配置的特征的数量，直到所述代价函数的值在特定阈值之下为止。

所述方法能够包括以下步骤：

增加用于确定所述特定图像扫描几何配置的特征的数量，以及

计算所述机器学习算法的所述代价函数。能够将这些步骤与确定特定图像扫描几何配置的步骤一起重复，直到代价函数的值在特定阈值之下为止，以便迭代地最小化机器学习算法的代价函数。这允许提高特定图像扫描几何配置的准确度。由于机器学习算法仅处理了有限数量的特征而不是所有特征来确定特定图像几何配置，因此能够减少用于处理的处理时间和资源。所述方法能够包括选择用于基于倾斜较高分辨率图像的一个或多个特征进行配准的倾斜较高分辨率图像的配准集合的步骤。

能够使用基于特征的算法(例如，基于分割的配准算法，例如，可变形图像配准方法)来执行倾斜较高分辨率图像与较低分辨率图像的配准。

较低分辨率图像能够被编码有用于采集相应的较低分辨率图像的特定图像扫描几何配置。

在本发明的另外的方面中，提出了一种用于生成融合图像的方法。所述方法包括以下步骤：

提供对象的较高分辨率参考图像，

提供具有特定图像扫描几何配置的所述对象的较低分辨率图像，

基于使用相应的较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定用于采集所述相应的较低分辨率图像的所述特定图像扫描几何配置，

基于所述较高分辨率参考图像和所确定的所述相应的较低分辨率图像的特定图像扫描几何配置来生成图像扫描几何配置匹配的倾斜较高分辨率图像，

将所述倾斜较高分辨率图像与所述较低分辨率图像进行配准，以便生成经配准的较高分辨率图像，

从所述较低分辨率图像提取当前特征信息，

将所述当前特征信息绘制在所述经配准的较高分辨率图像中的对应特征信息上，以便生成融合图像。

在本发明的另外的方面中，提出了一种用于操作根据权利要求1至7中的一项所述的医学成像设备或所述医学成像设备的任何实施例的计算机程序。所述计算机程序包括程序代码单元，当所述计算机程序在处理器上被运行时，所述程序代码单元用于使所述处理器执行根据权利要求10至13中的一项所述的方法或所述方法的任何实施例。

在另外的方面中，提出了一种存储有根据权利要求14所述的计算机程序的计算机可读介质。备选地或额外地，所述计算机可读介质能够存储有根据计算机程序的任何实施例的计算机程序。

应当理解，根据权利要求1所述的设备、根据权利要求8所述的系统、根据权利要求10所述的方法、根据权利要求14所述的计算机程序和根据权利要求15所述的计算机可读介质具有相似和/或相同的优选实施例，特别是与在从属权利要求中定义的实施例相似和/或相同的实施例。

应当理解，本发明的优选实施例也能够是独立权利要求或以上实施例与相应的从属权利要求的任何组合。

参考下文描述的实施例，本发明的这些方面和其他方面将是显而易见的并且得到阐明。

附图说明

在以下附图中：

图1示意性且示例性地示出了医学成像设备的实施例；

图2A示意性且示例性地示出了对处于第一图像扫描几何配置的较低分辨率图像的采集；

图2B示意性且示例性地示出了对处于第二图像扫描几何配置的较低分辨率图像的采集；

图2C示意性且示例性地示出了对处于第三图像扫描几何配置的较低分辨率图像的采集；

图3A示意性且示例性地示出了所采集的处于第四图像扫描几何配置的较低分辨率图像；

图3B示意性且示例性地示出了所采集的处于第五图像扫描几何配置的较低分辨率图像；

图3C示意性且示例性地示出了所采集的处于第六图像扫描几何配置的较低分辨率图像；

图3D示意性且示例性地示出了所采集的处于第七图像扫描几何配置的较低分辨率图像；

图4A示意性且示例性地示出了从侧透视方向对身体的CT扫描和通过身体的笔直CT扫描；

图4B示意性且示例性地示出了从侧透视方向对身体的CT扫描和对应于US系统的图像扫描几何配置的倾斜CT扫描的切片；

图4C示意性且示例性地示出了从前透视方向对身体的CT扫描和对应于US系统的图像扫描几何配置的倾斜US扫描；

图5示意性且示例性地示出了医学成像系统的实施例；

图6示出了用于操作医学成像设备的方法的第一实施例；

图7示出了用于操作医学成像设备的方法的第二实施例；

图8示出了用于训练机器学习算法以确定用于采集相应的较低分辨率图像的图像扫描几何配置的方法的实施例。

具体实施方式

图1示意性且示例性地示出了医学成像设备10的实施例。医学成像设备10能够例如用于患者的处置的后续扫描。特别地，医学成像设备10能够在像外科手术、化学治疗或放射治疗的主要流程之后用于生成患者的身体的部分的融合图像。该融合图像基于较高分辨率参考图像(例如，在患者的处置之前采集的CT图像或MR图像)和较低分辨率图像(例如，在处置之后采集的US图像)。在该实施例中，患者的CT图像是在处置之前采集的。在后续阶段期间，采集较低分辨率图像(在该实施例中为US图像)并将其与CT图像融合，以便生成融合图像。

医学成像设备10包括以US图像扫描单元12的形式的较低分辨率图像扫描单元、以存储器14的形式的计算机可读介质以及以图像处理单元16的形式的处理器。

存储器14存储以患者的身体或患者的身体的部分的CT参考图像的形式的较高分辨率参考图像。在该实施例中，在不同平面中采集CT参考图像，使得它们对应于患者的身体的切片。CT参考图像能够用于生成已经利用CT系统对其扫描以便采集CT参考图像的身体的部分的三维模型。此外，存储器14存储用于操作医学成像设备10的计算机程序。该计算机程序包括程序代码单元，当计算机程序代码在图像处理单元16上被运行时，该程序代码单元用于使图像处理单元16执行在图6、图7和图8中提出的方法中的一种方法的步骤中的至少一些步骤。

US图像扫描单元12被放置在患者的身体30上，以便采集US图像(参见图2A、2B和2C)。US图像不能与CT参考图像直接配准，因为US扫描过程涉及任意的图像扫描几何配置，特别是任意的US探头几何配置和患者几何配置。

图像处理单元16包括图像扫描几何配置确定单元18、倾斜较高分辨率图像生成单元20、图像配准单元22、特征信息提取单元24、图像融合单元26和三维建模单元28。

图像扫描几何配置确定单元18确定用于采集相应的US图像的特定图像扫描几何配置。图像扫描几何配置确定单元18运行机器学习算法，该机器学习算法使用患者的身体的器官、组织、腔室、静脉和其他感兴趣区域的轮廓作为输入，并且该机器学习算法提供特定图像扫描几何配置作为输出。在其他实施例中，感兴趣区域的其他特征也能够用作针对机器学习算法的输入。

在该实施例中，图像扫描几何配置确定单元18运行用于识别US图像中的感兴趣区域的自动分割算法。该自动分割算法在具有允许确定用于采集US图像的特定图像扫描几何配置的特征的感兴趣区域中分割US图像。感兴趣区域包括膀胱、胆囊、肝脏、肾脏、隔膜和脾脏。一个特征是允许确定是从前后采集US图像还是从后前采集US图像的膀胱轮廓。另一特征是允许在左-右轴线上确定探头方向的肝脏轮廓。通过考虑患者的更多的感兴趣区域，能够提高特定图像扫描几何配置的准确度并且特别是探头角度的准确度，因为更多特征能够作为输入被提供给机器学习算法。

图像扫描几何配置确定单元18在每个迭代步骤中迭代地增加用于确定用于采集相应的US图像的特定图像扫描几何配置的特征的数量，直到机器学习算法的代价函数的值在特定阈值之下为止。在该实施例中，特定阈值是由用户设置的。备选地，特定阈值能够是预定的。在其他实施例中，能够通过备选条件来停止迭代过程，例如，当两个相继的迭代步骤之间的代价函数的值之差在预定阈值之下时，可以停止迭代过程。

在该实施例中，图像扫描几何配置确定单元18以用于确定特定图像扫描几何配置的总体感兴趣区域(例如，更大的器官)开始。在进一步的迭代步骤中，添加更小的器官和腔室，并且最终添加组织和静脉作为针对机器学习算法的输入(供机器学习算法使用的特征)。在其他实施例中，备选的或额外的感兴趣区域(例如，小器官、腔室、静脉、组织或其他类型的感兴趣区域)能够用于确定特定图像扫描几何配置。

机器学习算法被训练为基于具有已知的特定图像扫描几何配置的US图像的感兴趣区域的库来确定特定图像扫描几何配置。这允许使用在US图像中的感兴趣区域中编码的特定图像扫描集合来确定用于采集US图像的特定图像扫描几何配置。机器学习算法也能够基于如在图8中提出的训练的步骤或用于训练机器学习算法的任何其他方法来进行训练。

倾斜较高分辨率图像生成单元20生成以匹配US图像的特定图像扫描几何配置的倾斜CT图像的形式的匹配倾斜较高分辨率图像的图像扫描几何配置。通过根据特定图像扫描几何配置对根据CT参考图像形成的身体的三维模型进行切片来生成倾斜CT图像(参见图4B)。在该实施例中，这是针对具有所确定的特定图像扫描几何配置的所有US图像执行的，使得倾斜CT图像是基于CT参考图像和所确定的用于采集相应的US图像的特定图像扫描几何配置而生成的。在其他实施例中，也能够直接对CT参考图像执行切片，使得倾斜CT图像是根据CT参考图像和所确定的用于采集相应的US图像的特定图像扫描几何配置而生成的。

图像配准单元22使用基于特征的算法将倾斜CT图像与US图像进行配准，以便生成经配准的CT图像。在该实施例中，使用可变形图像配准方法。

特征信息提取单元24从US图像提取以肿瘤轮廓的形式的当前特征信息。备选地，能够从US图像提取其他当前特征信息(例如，其他肿瘤信息)。

图像融合单元26将从在处置之后采集的US图像提取的肿瘤轮廓绘制在包含在处置之前采集的肿瘤轮廓的经配准的CT图像的肿瘤轮廓上，以便生成融合图像。融合图像包括从较低分辨率US图像提取的当前肿瘤轮廓，同时具有CT图像的较高分辨率。

三维建模单元28根据融合图像来生成三维模型，以便以较高分辨率呈现具有在处置之后的肿瘤轮廓的身体的扫描部分的三维视图。

医学成像设备能够被连接到外部设备，例如，服务器或显示器(未示出)。在其他实施例中，医学成像设备能够包括用于呈现三维模型的显示器。备选地或额外地，医学成像设备能够将融合图像和三维模型存储在存储器中。融合图像和三维模型能够经由有线连接或无线连接(未示出)被提供给外部设备。融合图像也能够在医学成像设备的后续使用中被用作较高分辨率参考图像。

图2A、图2B和图2C示出了处于用于采集US图像的三个不同图像扫描几何配置的与以患者的身体30的形式的对象接触的US图像扫描单元12。当能够以任意的US探头几何配置来执行US扫描时，利用特定图像扫描几何配置采集的US图像一般不能与其他类型的图像直接配准，并且特别是不能与使用CT系统或MR系统的被导出为患者的身体的切片的CT图像或MR图像直接配准。

图3A、图3B、图3C和图3D示出了从另外的图像扫描几何配置采集的示例性US图像32、32a、32b和32c。

在图3A中，自动分割算法识别能够用于确定用于采集US图像32的特定图像扫描几何配置的肝脏34(即，总体感兴趣区域)。在另外的迭代步骤中，自动分割算法能够识别其他感兴趣区域(未示出)。

在图3B中，自动分割算法识别能够用于确定用于采集US图像32a的特定图像扫描几何配置的胆囊颈部36和胆囊38。在另外的迭代步骤中，自动分割算法能够识别其他感兴趣区域(未示出)，

在图3C中，自动分割算法识别能够用于确定用于采集US图像32b的特定图像扫描几何配置的左侧肾脏42。在另外的迭代步骤中，自动分割算法能够识别其他感兴趣区域(未示出)，

在图3D中，自动分割算法识别能够用于确定用于采集US图像32c的特定图像扫描几何配置的膀胱44。在另外的迭代步骤中，自动分割算法能够识别其他感兴趣区域(未示出)，

图4A示出了从侧透视方向的患者的身体30的CT图像和由CT系统用于生成CT图像50的标准轴向平面48。CT图像50对应于身体30的二维切片。能够采集一系列CT图像，以便允许基于这一系列CT图像来生成身体30的三维模型。

图4B示出了从侧透视方向的患者的身体30的CT图像和对应于用于利用US图像扫描单元12采集US图像的特定图像扫描几何配置的倾斜平面52。由图像扫描几何配置确定单元来确定用于采集US图像的特定图像扫描几何配置。随后由倾斜较高分辨率图像生成单元基于这一系列CT图像和所确定的特定图像扫描几何配置来生成倾斜CT图像54。备选地，较高分辨率图像生成单元能够使用根据这一系列CT图像生成的身体30的三维模型作为用于生成倾斜CT图像的输入。

图4C示出了从前透视方向的患者的身体30的CT图像、对应于用于利用US图像扫描单元12采集US图像的特定图像扫描几何配置的倾斜平面52a以及从扫描采集的相应的US图像32。

图5示出了医学成像系统56的实施例。医学成像系统56包括如在图1中所呈现的医学成像设备10和较高分辨率图像扫描单元58。医学成像系统56也能够包括医学成像设备的另一实施例(未示出)。

较高分辨率图像扫描单元58包括CT系统60和MRI系统62。CT系统60能够用于采集CT图像，并且MRI系统62能够用于采集MRI图像。CT图像和MRI图像能够用作医学成像设备10中的较高分辨率参考图像，以用于基于US图像和CT图像或MRI图像来生成融合图像。

图6示出了用于操作医学成像设备(例如，根据图1中呈现的实施例的医学成像设备)的方法的第一实施例。

在步骤100中，提供以患者的身体的形式的对象的CT参考图像的形式的较高分辨率参考图像。

在步骤110中，提供具有特定图像扫描几何配置的身体的US图像的形式的较低分辨率图像。

在步骤120中，通过自动分割算法来分割US图像，该自动分割算法识别US图像中的能够用于确定用于采集US图像的特定图像扫描几何配置的各个感兴趣区域(例如，膀胱、肝脏和其他器官和组织)。

在步骤130中，基于机器学习算法来确定用于采集相应的US图像的特定图像扫描几何配置。机器学习算法使用感兴趣区域的特征(例如，膀胱或肝脏的轮廓)来确定特定图像扫描几何配置。机器学习算法利用包含允许确定特定图像扫描几何配置的特征的感兴趣区域的库来进行训练。机器学习算法被提供有相应的US图像的感兴趣区域的特征，并且确定用于采集相应的US图像的特定图像扫描几何配置。备选地，机器学习算法能够利用具有已知的特定图像扫描几何配置的较低分辨率图像的库(未示出)来进行训练。机器学习算法也能够通过如在图8中所呈现的训练步骤来进行训练。

在步骤140中，基于CT参考图像和所确定的用于采集相应的US图像的特定图像扫描几何配置来生成以倾斜CT图像的形式的图像扫描几何配置匹配的倾斜较高分辨率图像。

在步骤150中，将倾斜CT图像与US图像进行配准，以便生成经配准的CT图像。

在步骤160中，从US图像提取以肿瘤轮廓的形式的当前特征信息。

在步骤170中，将从US图像提取的肿瘤轮廓绘制在经配准的CT图像中的对应的肿瘤轮廓上，以便生成融合图像。

在步骤180中，基于融合图像来生成身体的三维模型。在其他实施例中，能够仅在可获得来自不同平面的预定数量的融合图像的情况下执行步骤180。

也能够以任何其他顺序执行步骤100、110和160，只要步骤100和110是在执行其他步骤之前执行的且步骤160是在步骤170之前执行的即可。步骤120和180是任选的。

图7示出了该方法的第二实施例。该实施例包括在步骤130与140之间的额外步骤190。

该方法的第二实施例类似于该方法的第一实施例，并且基本上包括相同的步骤。相比于第一实施例，在第二实施例中，机器学习算法的代价函数通过以下操作而被迭代地最小化：在迭代循环中的每个迭代步骤中增加用于确定特定图像扫描几何配置的特征的数量，直到代价函数的值在特定阈值之下为止。

在步骤190中，确定代价函数的值是否在阈值之下。如果代价函数的值不在阈值之下，则重复步骤130。如果代价函数的值在阈值之下，则结束迭代循环并且执行步骤140。因此，重复步骤130，直到代价函数的值在特定阈值之下为止。在其他实施例中，能够应用针对迭代循环的其他结束条件，例如，两个相继迭代之间的代价函数的阈值差值或任何其他停止条件。将另外的特征作为输入而添加到机器学习算法，从而允许改善确定特定图像扫描几何配置的准确度，并且最终提高融合图像的质量。

图8示出了用于训练机器学习算法以确定用于采集未知对象的相应的较低分辨率图像的特定图像扫描几何配置的方法的实施例。机器学习算法能够用于确定较低分辨率图像的特定图像扫描几何配置。在该实施例中，较低分辨率图像是US图像。

在步骤200中，提供以具有已知的特定图像几何配置的三维训练对象的US图像的形式的较低分辨率图像。在该实施例中，训练对象是患者的身体的部分，特别是胸部。机器学习算法因此被训练为确定用于采集患者的身体的相应部分(即，胸部)的相应的US图像的特定图像扫描几何配置，即，在该实施例中，未知对象是患者的身体的相应部分(即，胸部)。在其他实施例中，训练对象能够是不同的训练对象，例如，身体的另一部分，例如，身体的头部、腿部、臂部或任何其他部分。

在步骤210中，提供以具有与三维训练对象的US图像相同的特定图像扫描几何配置的三维训练对象(即，患者的身体的部分)的CT参考图像的形式的较高分辨率参考图像。

在步骤220中，在感兴趣区域中分割身体的部分的US图像和身体的部分的CT参考图像。感兴趣区域包括允许确定US图像的图像扫描几何配置的特征。在该实施例中，感兴趣区域包括膀胱、肝脏、肾脏以及其他器官、组织、腔室和静脉。

在步骤230中，将胸部的US图像与CT参考图像进行配准，以便生成胸部的经配准的图像。在该实施例中，基于特征的算法用于配准。由于在该实施例中用于采集训练对象的US图像的特定图像扫描几何配置是已知的，因此能够将US图像与CT图像进行配准。能够例如通过利用使用跟踪特定图像扫描几何配置的跟踪设备采集的数据来获得用于采集训练对象的US图像的特定图像扫描几何配置。

在步骤240中，利用已知的图像切片几何配置将身体的部分的经配准的图像切片成身体的部分的倾斜二维切片，以便导出经倾斜配准的图像。在该实施例中，随机地执行切片。在其他实施例中，能够基于预定图像切片几何配置来执行切片。预定图像切片几何配置能够例如对应于优选的或常见的图像扫描几何配置，特别是典型的探头角度。

在步骤250中，将经倾斜配准的图像和已知的图像切片几何配置提供给机器学习算法，以便训练机器学习算法以基于使用未知对象的相应的US图像中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定以另一患者的胸部的形式的未知对象的相应的US图像的特定图像扫描几何配置。未知对象的US图像的图像扫描几何配置与经倾斜配准的图像的图像切片几何配置相关。

也能够以相反的顺序执行步骤200和210，即，首先执行步骤210并且在此之后执行步骤200。

能够在图1中呈现的医学成像设备或该医学成像设备的任何实施例中使用根据图8中呈现的方法训练的机器学习算法，以便确定用于采集US图像的特定图像扫描几何配置。在其他实施例中，机器学习算法能够使用其他类型的较低分辨率图像和较高分辨率参考图像来进行训练。例如，代替基于US图像和CT参考图像来训练机器学习算法，能够使用US图像和MRI参考图像。

虽然已经在附图和前面的描述中详细说明和描述了本发明，但是这样的图示和描述应被认为是说明性的或示例性的，而非限制性的；本发明不限于所公开的实施例。例如，在医学成像设备被配置用于执行用于图像引导的医学流程(例如用于活检、外科手术、血管造影等)的实时图像融合的实施例中，也能够操作本发明。

能够在医学成像设备提供用于病灶识别的肝脏或肾脏的融合图像的实施例中使用由医学成像设备执行的实时图像融合。融合图像中的信息允许确定肝脏或肾脏中的病灶可能是良性的还是恶性的。这允许免去有创活检，在有创活检中，提取组织样本以用于病理学检查。

此外，医学成像设备能够用于对不确定病灶或恶性病灶的图像引导的经皮针活检或消融。通常，将一个或多个消融针插入到病灶或肿瘤组织的中心，以便通过针的尖端处的热量施加使肿瘤组织发生凝固性坏死。由医学成像设备生成的融合图像能够用于确定针的尖端是否被正确放置。甚至对于当患者呼吸和/或正在运动时移动的组织和器官中的病灶，这也允许得到改善的图像引导。由于改善了针在病灶或肿瘤的中心的放置，因此降低了并发症(例如，出血)的风险。

也能够在自适应放射治疗中使用该医学成像设备。这允许减少在采集另一CT图像中的辐射暴露量和所花费的时间。

本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。

单个单元、处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

由一个或多个单元或设备执行的操作(例如，提供对象的较高分辨率参考图像；提供具有特定图像扫描几何配置的对象的较低分辨率图像；基于使用相应的较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定用于采集相应的较低分辨率图像的特定图像扫描几何配置；基于较高分辨率参考图像和所确定的用于采集相应的较低分辨率图像的特定图像扫描几何配置来生成图像扫描几何配置匹配的倾斜较高分辨率图像；将倾斜较高分辨率图像与较低分辨率图像进行配准，以便生成经配准的较高分辨率图像；从较低分辨率图像提取当前特征信息；将当前特征信息绘制在经配准的较高分辨率图像中的对应特征信息上，以便生成融合图像；通过使用自动分割算法来识别相应的较低分辨率图像中的至少一个感兴趣区域，该自动分割算法在具有允许确定用于采集相应的较低分辨率图像的特定图像扫描几何配置的特征的感兴趣区域中分割相应的较低分辨率图像；在感兴趣区域上使用机器学习算法来确定用于采集较低分辨率图像的特定图像扫描几何配置等)也能够由任何其他数量的单元或设备来执行。这些操作和/或方法能够被实施为计算机程序的程序代码单元和/或被实施为专用硬件。

计算机程序可以被存储/分布在合适的介质上，例如，与其他硬件一起或作为其他硬件的部分而供应的光学存储介质或固态介质，但是也可以以其他形式分布，例如，经由互联网或其他有线或无线的电信系统进行分布。

权利要求中的任何附图标记都不应被解释为对范围的限制。

本发明涉及对象的较低分辨率图像和较高分辨率参考图像的图像融合。基于使用所述较低分辨率图像中的至少一个感兴趣区域中的至少一个特征作为输入的机器学习算法来确定用于采集相应的较低分辨率图像的特定图像扫描几何配置；基于所述较高分辨率参考图像和所确定的用于采集所述相应的较低分辨率图像的特定图像扫描几何配置来生成图像扫描几何配置匹配的倾斜较高分辨率图像；将所述倾斜较高分辨率图像与所述较低分辨率图像进行配准，以便生成经配准的较高分辨率图像；从所述较低分辨率图像提取当前特征信息；并且将所述当前特征信息绘制在所述经配准的较高分辨率图像中的对应特征信息上，以便生成融合图像。这样允许生成具有提高质量的高分辨率融合图像。