首页> 中国专利> 用于分割图像数据的方法和图像处理设备和计算机程序产品

用于分割图像数据的方法和图像处理设备和计算机程序产品

摘要

本发明涉及一种方法(15)和一种用于执行该方法的图像处理设备(1,3),其用于对目标对象(2)的图像数据进行分割。在方法(15)中,借助经训练的算法(8)产生第一分割。此外,提供统计的形状和外观模型(10),其针对相应的目标对象进行训练。进一步确定图像数据受到图像伪影干扰的干扰区域。然后,通过在干扰区域之外将形状和外观模型(10)与相应的目标对象(2)匹配并且在干扰区域中使用第一分割,来产生图像数据的最终分割。

著录项

  • 公开/公告号CN112884699A

    专利类型发明专利

  • 公开/公告日2021-06-01

    原文格式PDF

  • 申请/专利权人 西门子医疗有限公司;

    申请/专利号CN202011251733.4

  • 申请日2020-11-11

  • 分类号G06T7/00(20170101);G06T7/11(20170101);G06T7/136(20170101);G06T7/33(20170101);G06T11/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);G06N20/00(20190101);

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人刘畅

  • 地址 德国埃朗根

  • 入库时间 2023-06-19 11:11:32

说明书

技术领域

本发明涉及一种用于分割图像数据的方法和图像处理设备。本发明还涉及一种相应的计算机程序产品。

背景技术

近年来,计算机支持的成像和图像处理的医学技术已经成功应用并且得到了进一步发展,但是仍然具有进一步改进的潜力。因此,例如存在分割和配准方法,其虽然在最优输出数据可用时能够提供良好的结果,但是当在相应的数据中存在干扰或伪影时,其准确性或可靠性并不总是令人满意。

发明内容

本发明要解决的技术问题是,可以实现对带有干扰的图像数据进行更鲁棒的分割。

根据本发明,上述技术问题通过本发明的内容来解决。在说明书和附图中还给出了本发明的有利的设计方案和扩展。

根据本发明的方法用于分割图像数据,该图像数据示出至少一个预先给定的目标对象。这种图像数据例如可以是或包括X射线图像数据或磁共振图像数据。优选地,这种图像数据可以是3D图像数据,即例如是至少目标对象的3D表示,例如通过CT体积或MR体积(CT:计算机断层成像,MR:磁共振成像)。目标对象优选地可以是患者的解剖元素或解剖特征(例如骨骼或器官)或相应的部分或其片段。然而,原则上,目标对象最终可以是可进行成像的任意对象。

在根据本发明的方法的方法步骤中,借助所提供的经训练的算法来产生图像数据的第一分割。这种经训练的算法例如可以是经训练的人工神经网络等。在此,算法或神经网络被训练为在图像数据中至少分割目标对象类型的对象。这可以以本身已知的方式来实现:例如通过处理大量预先给定的带注释的训练数据,在这些训练数据中分别示出并注释目标对象类型的至少一个对象,以及通过例如借助反向传播(Backpropagation)相应反馈地匹配算法。因此然后,借助已经以这种方式训练的算法可以在所提供的图像数据中自动识别目标对象类型的对象,并且可以确定或表征其界限、轮廓和/或相关联的图像区域或数据区域,以分割相应的目标对象或图像数据。

在根据本发明的方法的另外的方法步骤中,提供统计的形状和外观模型,其针对相应目标对象类型的对象进行训练。这种类型的模型在专业术语上也被称为主动形状模型(Active Shape Model,ASM或者Smart Snakes,智能蛇)、主动外观模型(ActiveAppearance Model,AAM)或主动轮廓模型(Active Contour Model,或者Snakes,蛇形)。借助这种模型可以自动处理图像数据,其中将相应的模型匹配于相应的图像数据,从而可以确定图像数据的特性或在图像数据中示出的对象的特性。在此所涉及的经训练的统计模型意味着,已经根据所提供的训练数据产生了该模型,并且考虑了该训练数据中的统计分布和/或具有基于训练数据的限制或边界条件。因此,这种类型的边界条件例如可以是,预先给定的模型分别可以逐点地或者逐段地仅以从训练数据中已知或导出的方式从尚不匹配于具体要切割的图像数据的起始状态进行变形或匹配。

在根据本发明的方法的另外的方法步骤中,确定图像数据的或者图像数据中的至少一个干扰区域,在干扰区域中,图像数据(至少可能)受到至少一个图像伪影的干扰。在此,至少一个干扰区域根据图像数据与形状和外观模型之间的差异来确定。为此,特别是在起始状态下,即在将形状和外观模型匹配于相应的要分割的图像数据之前,使用形状和外观模型

形状和外观模型可以包含或包括从所提到的训练数据中导出的、对相应目标对象类型的或者相应图像数据的对象的统计的(即例如平均或期望的)描述或表征。在此,形状和外观模型优选地可以根据无伪影的图像数据进行训练。但是,这不一定是先决条件,因为伪影或干扰在大量的图像数据组上通常以其表现和/或其位置而有所变化,尤其是当图像数据组来自不同的患者时,当借助不同的成像设备进行了记录时和/或在不同的时间点进行了记录时。这种变化或分布然后可能导致,在作为训练数据提供的大多数图像数据组中,在图像数据的任意位置处不存在干扰,即没有伪影,并且因此相应地在这些位置处通过形状和外观模型预计没有干扰或者没有伪影。

干扰区域可以是图像数据的区域或片段,其仅包含受干扰的图像值,即被相应的伪影改变的图像值。然而,干扰区域仍然可以包括例如围绕干扰(即相应伪影)的预先给定的周围区域或预先给定的半径。由此,干扰或者伪影以及由此改变或受到影响的图像值可以特别可靠地通过相应的干扰区域进行采集,即包含在相应的干扰区域中。下面将进一步详细说明在图像数据中确定至少一个干扰区域的可能性。

在根据本发明的方法的另外的方法步骤中,通过在至少一个干扰区域之外(特别是仅在外部)将形状和外观模型与目标对象或图像数据匹配,并且通过在至少一个干扰区域中或者针对其(特别是仅在那里)使用第一分割,来产生目标对象或图像数据的最终分割。换言之,因此在此按区域地应用不同的分割方法并且将其相互组合,其中在相应的区域中存在或者不存在干扰或伪影用作确定区域的标准以及用作选择或使用要应用的分割方法的标准,并且对其进行评估。

将形状和外观模型匹配于目标对象或图像数据也被称为将形状和外观模型与相应图像数据配准或者配准到相应的图像数据。通过形状或外观模型的这种匹配或配准,这至少重现了相应的目标对象,由此目标对象的外形和布置通过相应配准或匹配的形状和外观模型确定,这最终意味着或示出了相应的分割。

本发明基于以下知识,在将形状和外观模型直接应用于相应的图像数据的情况下,通常有利地可以利用解剖学上合理且闭合的形状实现更精确的分割,在使用传统的神经网络时并不总是这种情况,但是其中在干扰区域中不存在这种改善的精度,在干扰区域中,分割通常又可以借助神经网络等更精确或更鲁棒。

这例如可以通过以下方式引起,经训练的算法、特别是神经网络可以使用或者考虑图像数据的大量的抽象特征和特性,而形状和外观模型例如取决于相对较少的具体特征,例如具体的几何特征或者图像数据中的连续的图像值分布或灰度值分布。由此在存在干扰或伪影的情况下,这些具体的特征不再代表由图像数据采集的映射的目标对象的实际特性。

因此,例如在至少一个干扰区域中的图像数据中的灰度值分布不基于目标对象的真实的解剖结构,而是由不基于解剖学的强度波动叠加。因此,将形状和外观模型匹配于相应受到干扰的图像数据将会导致匹配后的形状和外观模型无法重现所映射的目标对象的真实外形和布置或解剖结构。这可能是特别有问题的,因为干扰区域或伪影的存在、分布和表现可能会随时间和/或在尤其是不同患者的不同组的图像上明显发生变化,并且因此在形状和外观模型的训练中不能完全或者可靠地映射。

特别地,当图像数据是CT数据或MR数据时,在本发明的意义中,干扰区域例如可能通过成像体积中的金属对象产生,例如通过金属植入物或金属医学设备或仪器产生。

已经可以证明,在本发明的意义中借助经训练的算法的分割相对于这种类型的干扰可以更加鲁棒。

在本发明的意义中,经训练的算法表示机器学习方法,但是在此,在本发明的意义中明确不应当包括形状和外观模型。

原则上,可以在整个目标对象或整个图像数据上,将形状和外观模型匹配于借助经训练的算法产生的第一分割,而不是直接匹配于基础的原始图像数据。然而,通过在分割或配准过程中的这种中间步骤,可以整体上降低分割的最终精度,特别是在干扰区域之外,即在图像数据的未受干扰的区域中,其通常形成图像数据的最大一部分,并且还形成图像数据的示出目标对象的区域的最大一部分。

总体上,即使对于有问题的、即被干扰的或者带有伪影的图像数据,通过本发明也因此有利地改善了整体或平均的分割精度。特别地,这可以通过可行的开销来实现,因为所提供的形状和外观模型仅需以其起始形式或其起始状态产生一次,并且然后可以将其用于不同的患者或图像数据组。在此,例如,针对要分割的图像数据的每个患者或者每组要分割的图像数据,例如可以通过简单的复制产生并使用形状和外观模型的新实例。有利地,因此不需要针对相应个人的数据组,即每个要分割的图像数据重新训练形状和外观模型。因此,在分别使用相同的形状和外观模型以及相同的经训练的算法的情况下,本发明可以以有益的方式应用于不同的问题,其中例如干扰对象、特别是金属干扰对象(其例如用于固定骨折等)的位置发生变化。

在本发明的有利的设计方案中,形状和外观模型包括基于点分布模型(PointDistribution Model,PDM)的形状模型部分(ASM)和描述或包含对象环境中的图像值的外观模型部分(AAM)。这些图像值尤其可以是灰度值分布,其因此特别是可以分别局部地、即在大对象的每个位置处垂直于其表面地定义。换言之,形状和外观模型在此是组合或扩展的模型。通过不同的部分,在此设置的形状和外观模型有利地提供了特别大的灵活性,并且有利地可以实现特别精确地匹配于相应的目标对象或相应的图像数据。形状模型部分也即ASM可以是或包含对象或其外部界限、轮廓和/或表面的统计模型,并且可以在迭代过程中变形以匹配于具体的相应的对象,即在此是图像数据中示出的目标对象。

在此,这种变形,即可以由ASM假定或再现的形状或外形,受到作为形状模型的一部分预先给定的PDM的限制。因此,可以通过一组或一定数量的点或其位置来表示或描述相应对象的形状,这些点或其布置通过模型来控制。因此,形状模型部分至少基本上或仅仅考虑几何特征,以匹配于相应的目标对象。

反之,外观模型部分是或者包括AAM,AAM考虑了图像数据的图像值或强度值、特别是灰度值,以匹配于相应的目标对象或所提供的相应的图像数据。在进行匹配时,AAM同样可以考虑相应目标对象和/或图像数据的其他区域、特别是相应目标对象的周围的表面或纹理。因此,在整体上可以将AAM或形状和外观模型视为或理解为机器视觉或图像理解(计算机视觉,computer vision)。在此,AAM、即外观模型部分不考虑几何特征、因素或限制,而是考虑对象或图像数据的外观图像或外观或纹理,或者不仅仅考虑几何特征、因素或限制,而且还考虑对象或图像数据的外观图像或外观或纹理。

在本发明的有利的扩展方案中,首先通过借助形状模型部分将形状和外观模型匹配于通过第一分割、即借助经训练的算法所确定的目标对象的形状,来产生图像数据的初步的第二分割。换言之,在此,在第一分割之后,在产生最终分割之前,首先对形状和外观模型进行初步匹配。作为结果,该初步匹配提供了形状和外观模型与图像数据的初步配准或者对形状和外观模型与图像数据的配准的初步或首次估计。

然后,最终的分割或配准可以建立在该初步的分割或配准的基础上,即从初步匹配的形状和外观模型出发。

通过在此设置的形状和外观模型的多阶段的配准,并且通过使用在该方法中本来存在的第一分割作为初步的第二分割的基础或参考,可以实现该方法的改善的效率和执行速度。通常,第一分割例如比基础的原始图像数据具有更清晰的线、轮廓或形状、更少的噪声和/或图像干扰或模糊度

在本发明的有利的扩展方案中,为了在至少一个干扰区域之外产生最终分割,借助外观模型部分根据图像数据将初步匹配的形状和外观模型精细匹配于目标图像。换言之,因此将初步的第二分割用作最终分割的起点。但是在此,在该第二步骤或配准形状和外观模型的部分中,不将第一分割,而是将基础的原始图像数据用作参考或要实现的目标预设。这有利地可以实现,借助常规的经训练的算法,例如针对图像分割而训练的常规的卷积神经网络(CNN)来执行第一分割,并且仍然使用通常仅完全包含在基础图像数据中,而不包含在经训练的神经网络的结果或输出中的图像值,以实现形状和外观模型的尽可能精确的匹配以及由此特别精确的分割。因此,在此不仅使用或考虑了几何特征或信息,而且通过外观模型部分还使用或考虑了外观信息、纹理信息或表面信息。由于将已经初步匹配的形状和外观模型用作起点,所以有利地可以特别低地保持与此相关的开销,由此对于本方法最终也可以产生改善的执行效率和执行速度。

在本发明的另外有利的设计方案中,为了确定至少一个干扰区域,使用或评估图像数据的图像值与通过所提供的形状和外观模型描述或在其中包含或指示的图像值之间的互相关。换言之,因此可以确定:根据所提供的形状和外观模型,图像数据多强地或者以何种程度与基于统计期望的相应的数据或图像值相关联。然后,可以将图像数据的特定区域中的特别弱或小的关联性,例如位于预先给定的阈值以下的关联性,解释为存在该区域中的干扰或伪影。这已经可以在将形状和外观模型匹配于图像数据或在其中示出的目标对象之前成功执行,因为干扰区域中的图像值可能会比所有纯粹基于解剖的图像值大得多,尤其是当相应的干扰由金属干扰对象引起时。相比于例如直接应用于要分割的图像数据的简单的阈值过滤,在此设置的对互相关的使用有利地可以更精确且更可靠地确定可能存在的干扰区域。这例如可以是如下情况,因为例如取决于所映射的目标对象的类型,在无干扰或无伪影的图像数据区域中可能出现具有明显变化的图像值或灰度值的片段或走向。

在本发明的有利的扩展中,互相关以归一化的形式根据下式进行使用

在此,ρ表示归一化互相关的值,K表示非归一化互相关的值,X(t

因此在此,确定第一信号与第二信号之间的互相关,第一信号根据原始的图像数据说明了特别是垂直于对象表面的图像值分布或灰度值分布,第二信号根据形状和外观模型说明了特别是垂直于对象表面的图像值分布或灰度值分布。在此,将相应的值或信号调整为平均值并且根据标准偏差进行归一化。通过这种方法,根据经验有利地产生了对干扰区域的特别可靠且鲁棒的确定。

在本发明的另外的有利的扩展方案中,至少一个干扰区域根据预先给定的阈值、尤其是针对图像值或针对图像值差或针对图像数据与形状和外观模型之间的关联性的阈值进行确定。例如,可以将其中至少一个图像值或多个图像值或所有的图像值大于预先给定的阈值的图像数据的区域,和/或其中图像数据的至少一个图像值或一些图像值或所有的图像值与根据形状和外观模型的相应的图像值之间的差或偏差大于预先给定的阈值的区域,和/或其中图像数据与形状和外观模型或其图像值之间的关联性小于预先给定的阈值的区域确定或定义为干扰区域。这种基于阈值的对至少一个干扰区域的确定有利地可以特别简单地、准确地、可靠且快速地执行。同时,该过程有利地提供了所提出的方法的特别良好的灵活性和可匹配性,因为可以通过匹配单个值、即预先给定的阈值来匹配或设置、即优化该方法的行为或结果。

在本发明的有利的扩展中,将阈值确定为用于产生形状和外观模型的训练数据中的噪声水平的方差的倍数。换言之,由此可以规定,如果要分割的图像数据的图像值比在形状和外观模型中存储或提供的相应图像值大n倍,则将其识别为干扰或伪影,其中n是预先给定的数字。通过将噪声的方差用作参考或基准值,有利地可以通过阈值以特别简单且直观的方式定义或设置信噪比或信号距离,以确定至少一个干扰区域。在此,特别是对于n>1或例如n>2,可以特别可靠且鲁棒地识别出实际的干扰区域,从而尤其可以特别可靠地抑制错误识别(误报,false positives)。

与其余的设计方案无关,优选地可以依据预计或预先给定类型的干扰或伪影(其在要分割的图像数据中存在或预计出现),即例如依据这种干扰或伪影的原因,来预先给定或确定阈值。如果这种干扰或伪影例如是金属伪影,即由记录空间中的金属对象引起的干扰,则可以依据相应金属或材料的类型来确定阈值。如果引起伪影的干扰对象例如具有明显的铁成分或大部分由铁组成,则相对于当引起伪影的干扰对象至少大部分由诸如铝或钛的轻金属组成时,可以规定较大的用于关联性的阈值,或者较小的用于图像值之间的偏差或差的阈值。

在本发明的另外的有利的设计方案中,至少一个干扰区域通过第二经训练的算法、特别是第二经训练的人工神经网络自动确定。在此,该第二经训练的算法根据带有伪影的训练图像数据被训练为识别、即定位图像数据中的相应的干扰区域。这种对经训练的算法的应用,即机器学习的设备或方法,有利地可以实现特别简单且一致地确定干扰区域。因此,例如,相应的用户或操作者不必手动规定或调整阈值。此外,但是在此保留了一定程度的灵活性,因为可以根据需要针对不同的应用或场景对经训练的算法进行重新训练。

第二经训练的算法可以以本身已知的方法以通常的方式,例如借助反向传播进行训练。

作为输入数据,可以将图像数据提供或输入到第二经训练的算法。作为输出数据,第二经训练的算法例如可以输出用于每个可能识别出的干扰区域的坐标说明或区域说明,或者例如输出例如具有对所识别出的干扰区域进行标记的相应的轮廓或线或颜色等的修改后的图像数据。该输出数据然后可以用作根据本发明的方法中的参数。特别优选地(但不必限于此),第二经训练的算法同样可以是或包括卷积神经网络(CNN),因为根据经验,由此可以实现特别好的结果。

本发明的另外的方面是一种用于分割图像数据的图像处理设备,该图像数据示出至少一个预先给定的目标对象。根据本发明的图像处理设备包括至少一个用于接收相应图像数据的输入数据接口;经训练的算法、特别是经训练的人工神经网络,该算法被训练为在图像中至少识别或分割目标对象类型的对象;数据存储器,在其中存储了针对目标对象类型的对象所训练的预先给定的形状和外观模型;以及处理器设备,其用于执行经训练的算法并且用于匹配形状和外观模型。在此,根据本发明的图像处理设备被设计为,用于自动或半自动地执行根据本发明的方法的至少一个变型或实施方式。与此对应地,根据本发明的图像处理设备可以具有结合根据本发明的方法和/或本发明的另外的方面提到的一些或全部的构件、特征和/或特性。反之,根据本发明的图像处理设备的构件或部件可以是或相应于结合根据本发明的方法提到的相应的构件或部件。

根据本发明的图像处理设备的各个构件或部件可以通过相应的数据连接相互连接。所提到的数据接口可以是硬件和/或软件接口。

在处理要分割的图像数据时,借助图像处理设备产生的结果可以自动地存储在例如数据存储器上,和/或经由图像处理设备的输出数据接口输出。

根据本发明的方法的方法步骤可以由图像处理设备的处理器设备在使用图像处理设备的其余构件或部件中的一个或多个的情况下执行。处理器设备可以包括微处理器、微芯片、FPGA、集成电路、硬件电路和/或诸如此类。特别地,图像处理设备可以是或包括计算机或真实或虚拟的计算机联合。

本发明的另外的方面是一种计算机程序产品,该计算机程序产品包括命令或控制指令,这些命令或控制指令在由计算机、特别是由根据本发明的图像处理设备或其处理器设备执行时,促使该计算机或该图像处理设备特别是自动或半自动地执行根据本发明的方法的至少一个变型或实施方式。根据本发明的计算机程序产品可以是计算机程序,其可以直接加载到计算机或图像处理设备的存储器中,计算机程序产品具有程序装置,当借助计算机或图像处理设备执行该计算机程序程序时,该程序装置用于执行根据本发明的方法的步骤。因此,该计算机程序能够编码或实现根据本发明的方法。换言之,根据本发明的方法可以部分或全部是计算机实现的方法。计算机程序、即相应的程序代码优选地可以存储在根据本发明的图像处理设备的数据存储器上。

同样地,根据本发明的计算机程序产品可以是计算机可读的数据载体,在其上存储有相应的计算机程序或相应的程序代码。然后,根据本发明的图像处理设备可以具有这种计算机可读的数据载体,例如以所提到的图像处理设备的数据存储器的形式或作为其一部分。

属于本本发明的还有本发明的不同方面的扩展,即特别是根据本发明的方法、根据本发明的图像处理设备和根据本发明的计算机程序产品的扩展,这些扩展具有如仅结合本发明的这些方面中的一个或一些描述的特征。为了避免不必要的冗余,在此不再针对所有这些方面分别描述本发明的相应的扩展或其各个方面。

本发明还包括所描述的实施方式的特征的组合。

附图说明

结合下面对结合附图详细阐述的本发明的实施例的描述更清楚且明晰地理解上面描述的本发明的特性、特征和优点以及其实现方式。这些描述不将本发明限制于这些实施例。这些附图通常不是按比例的。

下面描述了本发明的实施例。附图中:

图1示出了成像设备的示意图;和

图2示出了用于借助成像设备分割图像数据的方法的示例性的示意性流程图。

具体实施方式

下面阐述的实施例是本发明的优选的实施方式。在实施例中,所描述的实施方式的构件分别代表本发明的彼此独立考虑的各个特征,这些特征还分别彼此独立地扩展本发明。因此,本公开还应包括除了所示出的实施方式的特征组合之外的其他组合。此外,所描述的实施方式还可以通过已经描述的本发明的另外的特征进行补充。

图1中示出了成像设备1的示意图。成像设备1例如可以是计算机断层成像设备或磁共振设备等,但是在此其在任何情况下都用于记录或采集患者2的图像数据。在该图像数据中,可以在此映射预先给定的目标对象,例如患者2的骨骼或预先给定的组织区域。在当前情况下,成像设备1包括数据处理设备3。数据处理设备3可以是用于处理或进一步处理例如借助成像设备1记录或产生的、由其提供的图像数据的图像处理设备。数据处理设备3同样可以被设计为,用于根据借助成像设备1记录的原始数据或测量数据产生或重建图像数据。

在此,为了接收原始数据或图像数据,数据处理设备3包括输入数据接口4、与其连接的处理器5和与其连接的数据存储器6。在当前情况下,程序7、预先给定的经训练的第一神经网络8、预先给定的经训练的第二神经网络9以及形状和外观模型10存储在数据存储器6上。程序7可以借助用于分割图像数据的处理器5来执行、编码或因此实现相应的方法步骤或程序步骤。形状和外观模型10包括形状模型部分和外观模型部分,形状模型部分在此被称为主动形状模型或简称为ASM 11,外观模型部分在此被称为主动外观模型或简称为AAM12。

数据处理设备3或成像设备1被设计为,利用这些装置至少半自动地执行或产生对患者2的图像数据的分割。在此产生的结果、即最终分割例如可以经由数据处理设备3的输出数据接口13输出,例如输出到另外的设备或程序,或者输出到例如在此同样示意性示出的输出设备14。

数据处理设备3可以具有硬件元件以及软件元件。例如可以将数据接口4、13分别实现为硬件接口和/或软件接口(例如,PCI总线、USB、FireWire或其它此类设备)。处理器5例如可以是微处理器或所谓的FPGA(Field Programmable Array,现场可编程门阵列)等。数据存储器6可以被实现为非永久数据存储器(RAM,随机存取存储器)或被实现为永久大容量存储器,例如被实现为硬盘、USB棒、SD卡、固态硬盘等,或者被实现为它们的组合。

下面参照图1和图2来阐述可借助数据处理设备3或成像设备1执行的、用于分割图像数据的方法,即例如程序7,以及在此出现的成像设备1或数据处理设备3的部件的相互作用。

为此,图2示出了具有方法步骤S1至S10的相应方法的示例性的示意性流程图15。图2中示意性示出的方法步骤S1至S10或其中的一些可以是或代表数据处理设备3、程序7或成像设备1的相应功能或程序模块。

诸如ASM 11和AAM 12的模型代表统计方法,或者可以应用在统计方法中,以描述可以具有方差作为变化的对象、尤其是3D对象。这种对象例如可以是骨骼或器官,即当前情况下映射到患者2的图像数据中的目标对象。借助预先给定的参数可以将模型11、12分别匹配于目标对象,以再现其形状或外形。然后,作为该过程的结果获得了相应的分割。

在方法步骤S1中,首先提供示出当前目标对象类型的对象的、带注释的训练图像数据。基于该训练图像数据对模型11、12进行训练。这可以借助单独的训练设备、例如为此设计的计算机,或借助数据处理设备3来执行。

例如,与此并行地,在方法步骤S2中同样提供具有目标对象类型的对象的训练图像数据或另外的训练图像数据。根据这些训练图像数据,第一神经网络8被训练为识别和分割图像数据或在其中示出的目标对象类型的对象。为此,同样可以使用该训练设备或相应的训练设备、例如为此设计的计算机或数据处理设备3。

例如,与此并行地,在当前情况下在方法步骤S3中同样提供带有伪影的训练图像数据或另外的带有伪影的图像数据。因此,第二神经网络9被训练为识别和定位图像数据中的干扰区域、即伪影。为此,也可以使用该训练设备或训练设备、例如为此设计的计算机或数据处理设备3。在此,方法步骤S3可以是可选的。

然后将以这种方式经训练的模型11、12和以这种方式经训练的神经网络8、9加载到数据存储器中或存储在其中。

在方法步骤S4中记录所提到的患者2的图像数据,并且经由输入数据接口4提供给数据处理设备3。同样地,图像数据可能已经在存储设备中准备好,并且然后由数据处理设备3经由输入数据接口4进行调用。

在方法步骤S5中,借助第一神经网络8对患者2的图像数据进行处理,即进行分割,其中产生图像数据的第一分割作为第一神经网络8的结果或输出数据。为了在此已经实现了尽可能好的结果,可以专门针对在相应的应用情况下要检测的解剖结构等来训练第一神经网络8。

例如,与此并行地,在方法步骤S6中,借助第二神经网络9来处理图像数据,以识别和定位图像数据中的伪影或干扰区域。附加地或替换地,在方法步骤S6中,例如可以由处理器5执行并评估图像数据与在形状和外观模型10中、特别是在AAM 12中存储的图像值或图像数据的互相关。然后可以将利用预先给定的阈值的阈值过滤应用到由此确定的互相关或相应的互相关值,以检测或定义干扰区域。

如果应用在此提到的用于确定干扰区域的两种方法,则可以将分别确定的干扰区域相互比较和/或例如将其用于单侧或相互的可信度测试。最终,可以将借助两种方法中的至少一种检测到的所有干扰区域,或者仅将借助两种方法检测到的干扰区域用作干扰区域。基于两种方法的不同的工作原理,可以识别或定义针对特定的伪影例如在其形状、大小和/或布置方面彼此不同的干扰区域。然后例如可以使用两个不同的干扰区域的组合或总和或平均值作为该伪影的干扰区域。由此使得最终可以实现对可能存在的干扰区域的特别鲁棒的定义和定位。

在方法步骤S7中进行对形状和外观模型10的初步匹配或配准。在此,ASM 11可变形地匹配于在方法步骤S5中产生的第一分割。在此,因此根据借助第一神经网络8产生的第一分割来执行ASM 11或形状和外观模型10的初步配准。作为结果产生初步的第二分割或对形状和外观模型10的初步或估计的配准。

在方法步骤S8中,在之前确定的干扰区域之外,从初步的第二分割出发,或者从初步匹配或初步配准的形状和外观模型10出发,对形状和外观模型10进行精细匹配。在此,根据初步匹配或初步配准的ASM 11,在目标对象的区域和/或预先给定的周围区域中使用AAM12、特别是在其中存储的或者由此描述的灰度值分布,或者如基于为产生AAM 12而提供的训练数据从其中已经学到的灰度值分布,以及图像数据的图像值分布或者灰度值分布。在结果中,至少在干扰区域之外获得了形状和外观模型10的改善的配准或相应改善的分割。

在方法步骤S11中,根据针对位于干扰区域之外的区域或图像数据部分的改善的配准或分割,以及针对位于干扰区域中的区域或图像数据部分的第一分割,通过其组合产生了目标对象或图像数据的最终分割。因此,在此将不同的分割按区域地组合,以获得最终分割。

在方法步骤S10中提供了该最终分割。在此,最终分割例如可以存储在数据存储器6中,经由输出数据接口13输出和/或借助显示设备14显示。例如,还可以将最终分割与原始的图像数据叠加和/或以其他方式进一步处理。

由于在伪影的情况下,即在干扰区域中,借助形状和外观模型10的分割会导致错误,而借助第一神经网络8的分割在那里可能会更鲁棒,并且在干扰区域之外,借助形状和外观模型10的分割会比借助第一神经网络8的分割更准确或更可靠,因此,总体上,在目标对象的整个平面或整个区域中或者在整个图像数据上实现了最佳的分割精度,即最佳的分割,其不会或者仅最小地受到基础的图像数据中的伪影的影响。

因此总体而言,所描述的示例示出了如何在存在伪影、特别是金属伪影的情况下也可以实现将主动形状模型或主动外观模型可靠地配准到图像数据。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号