首页> 中国专利> 产生合成图像数据和提供经训练的函数的方法及处理系统

产生合成图像数据和提供经训练的函数的方法及处理系统

摘要

本发明涉及产生合成图像数据和提供经训练的函数的方法及处理系统。用于产生医学合成图像数据的方法包括以下方法步骤:检测检查对象的第一图像数据,所述第一图像数据具有用于特性的第一值并且借助于第一磁共振设备在第一时刻被记录;检测检查对象的第二图像数据,所述第二图像数据具有用于特性的第二值并且借助于第二磁共振设备在第二时刻被记录;改变第二图像数据,包括使第二图像数据的特性与第一值相称,其中产生合成图像数据;提供合成图像数据。

著录项

  • 公开/公告号CN113012246A

    专利类型发明专利

  • 公开/公告日2021-06-22

    原文格式PDF

  • 申请/专利权人 西门子医疗有限公司;

    申请/专利号CN202011501903.X

  • 发明设计人 马里奥·策勒;

    申请日2020-12-18

  • 分类号G06T11/00(20060101);G16H30/40(20180101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构11227 北京集佳知识产权代理有限公司;

  • 代理人丁永凡;周涛

  • 地址 德国埃朗根

  • 入库时间 2023-06-19 11:32:36

说明书

技术领域

本发明涉及用于产生医学合成图像数据的方法、图像处理系统、计算机程序产品以及电子可读的数据载体。

背景技术

在磁共振设备中,检查对象尤其患者的待检查的身体通常借助于主磁体经受相对高的主磁场、例如1.5或3或7特斯拉的主磁场。附加地,借助于梯度线圈单元获得梯度脉冲。然后,经由射频天线单元,借助于适当的天线装置发出高频的射频脉冲、例如激励脉冲,这引起,特定的通过所述射频脉冲共振地激发的原子的核自旋以定义的翻转角相对于主磁场的磁场线倾斜。在核自旋弛豫时,放射射频信号、所谓的磁共振信号,所述射频信号借助于适当的射频天线接收并且然后进一步处理。最后,可以从以这种方式获取的原始数据中重建期望的图像数据。图像数据通常二维地或三维地表示检查区域、尤其检查对象的部分区域。图像数据通常具有0.2mm至20mm之间的空间分辨率。

借助于磁共振设备的用于产生检查对象的医学图像数据的检查通常是成本耗费且时间耗费的,并且仅可以在放射诊所和/或医院中执行。与临床问题或诊断相关地,需要从检查对象、尤其从患者不仅一次地记录医学图像数据,而且在生病的进程中和/或在治疗的过程中多次记录医学图像数据。在此,医学图像数据的检查和记录的频度和频率是个体化的。通常,医学图像数据的重复记录可以称为研究。

发明内容

本发明所基于的目的在于,提供一种特别简单且成本有利的用于产生用于纵向研究的合成图像数据的方法。所述目的通过实施例的特征来实现。在下文中描述了有利的设计方案。

根据本发明的用于产生医学合成图像数据的方法提出以下方法步骤:

-检测检查对象的第一图像数据,所述第一图像数据具有用于特性的第一值并且借助于第一磁共振设备在第一时刻被记录,

-检测检查对象的第二图像数据,所述第二图像数据具有用于特性的第二值并且借助于第二磁共振设备在第二时刻被记录,

-改变第二图像数据,包括使第二图像数据的特性与第一值相称,其中产生合成图像数据,

-提供合成图像数据。

检测第一图像数据通常通过由存储单元提供第一图像数据来进行,在所述存储单元上保存有第一图像数据。优选地,第一图像数据在先前的第一时刻借助第一磁共振设备已被记录。第一图像数据的特性具有第一值。

检测第二图像数据通常通过由存储单元提供第二图像数据来进行,在所述存储单元上保存有第二图像数据。第二图像数据可以在先前的第二时刻借助第二磁共振设备已经被记录。第二图像数据的特性具有第二值。检测第二图像数据也可以包括:借助于第二磁共振设备在第二时刻记录检查对象的第二图像数据。检测第二图像数据尤其可以包括:获取原始数据和/或将原始数据重建为第二图像数据。因此,根据本发明的方法可以至少部分地在第二时刻执行。第一图像数据也可以具有多个第一值,所述多个第一值空间分辨地和/或逐体素地存在和/或适用于一种或多种组织类型。

第二图像数据也可以具有多个第二值,所述多个第二值空间分辨地和/或逐体素地存在和/或适用于一种或多种组织类型。

第一图像数据和第二图像数据描绘相同的检查对象。在第一图像数据和第二图像数据中描绘的检查区域至少部分地相交。第一磁共振设备通常与第二磁共振设备不同。第一磁共振设备可以对应于第二磁共振设备。如果第一磁共振设备对应于第二磁共振设备,则用于记录第一图像数据的第一获取方法优选地与用于记录第二图像数据的第二获取方法不同。因此,例如与第一获取方法相比,第二获取方法可以包括记录更少的原始数据。

第一值和第二值通常彼此不同。第一值通常表征特性和第一磁共振设备。第一值可以表征在第一磁共振设备处使用的获取方法。第二值通常表征特性和第二磁共振设备。第二值可以表征在第二磁共振设备处使用的获取方法。用于在第一磁共振设备处记录第一图像数据的获取方法和用于在第二磁共振设备处记录第二图像数据的获取方法优选地在很大程度上相一致。例如,已经分别将T1加权的TSE序列用于在第一磁共振设备处记录第一图像数据以及用于在第二磁共振设备处记录第二图像数据。获取方法的特征通常在于磁共振控制序列和/或图像数据的对比度。

特性例如可以是空间分辨率和/或信噪比(SNR)和/或对比度噪声比(CNR)和/或对比度。特性也可以包括所提及的示例中的多个示例,其中示例可以视为特性的子特性。尤其地,第一图像数据和第二图像数据对于每个部分特性优选地分别具有值,即对于每个部分特性具有第一值和第二值。提供合成图像数据优选地也包括:提供第一图像数据。

改变第二图像数据通常进行为使得合成图像数据的特性具有表征第一图像数据的值。第二图像数据的特性与第一值的相称也可以称为近似和/或适配和/或匹配。相称例如可以通过内插法和/或统计学手段来实施。因此,合成图像数据基于第二图像数据,但是至少具有第一图像数据的在改变的范围内修改的特性。相称优选地进行为使得第二图像数据的视觉印象与第一图像数据的视觉印象相称。第一图像数据与合成图像数据之间的区别通常在于其获取的不同的时刻、优选地仅在于所述时间的区别。第一图像数据和第二图像数据也可以描绘至少部分不同的检查区域。改变第二图像数据也可以包括与第一值相称的第二图像数据的逆重建。于是,合成图像数据尤其可以作为原始数据存在。

这可以实现合成图像数据和第一图像数据的高一致性,尤其在特性方面的高一致性。在将不同的磁共振设备用于产生第一图像数据和第二图像数据时,这可以实现合成图像数据与第一图像数据的良好的可比性。因此,可以在纵向检查的过程中使用不同的磁共振设备,其中按照根据本发明的方法抑制从中得出的在视觉上产生的和/或对于自动评估可识别的区别。尤其地,合成图像数据的质量与第一图像数据的质量相称。与合成图像数据相比,根据本发明的方法可以实现第一图像数据的稳健的分析。根据本发明的方法同样可以实现基于具有第一图像数据的质量的合成图像数据的诊断。因此,根据本发明的方法可以实现简单且成本有利地产生用于纵向研究的合成图像数据。在此,检查对象和/或放射科医师摆脱特定的磁共振设备的选择,由此改进灵活性。

所述方法的一个实施方式提出,特性包括空间分辨率和对比度,第一值包括第一分辨率值和第一对比度值,第二值包括第二分辨率值和第二对比度值。第一值也可以包括两个或更多个对比度值。第二值也可以包括两个或更多个对比度值。空间分辨率是与图像数据的体素的大小成反比的量度。对比度尤其对比度值是用于图像数据中的信号强度在两个组织类型之间的差异的量度。因此,对比度尤其对比度值分别与两个不同的组织类型相关,所述两个不同的组织类型在图像数据中示出。对比度通常与所使用的获取方法和所使用的磁共振设备相关、尤其也与其主磁场的强度相关。即使在相同的分辨率和相同的获取方法的情况下,两个相同的组织类型在第一图像数据中和在第二图像数据中通常也具有不同的对比度。第一值通常包括与两个组织类型相关的至少一个第一对比度值。优选地,第一值包括两个或更多个第一对比度值,其中每个第一对比度值分别与两个组织类型相关。第二值通常包括与两个组织类型相关的至少一个第二对比度值。优选地,第二值包括两个或更多个第二对比度值,其中每个第二对比度值分别与两个组织类型相关。

根据所述方法的所述实施方式,特性包括两个部分特性,所述两个部分特性本身单独分别也可以是根据本发明的方法中的一个特性。尤其地,即使在记录第一图像数据和第二图像数据时已经选择了相同的获取方法,图像数据的对比度和空间分辨率也可以在很大程度上与所使用的磁共振设备相关,并从而在第一图像数据与第二图像数据之间不同。因此,所述实施方式确保影响视觉感知的通常最强的特性的相称,并且与合成图像数据相比,可以实现第一图像数据的稳健的分析。所述方法同样可以实现基于合成图像数据的诊断,所述合成图像数据至少在分辨率和对比度方面具有第一图像数据的质量。

所述方法的一个实施方式提出,第一时刻和第二时刻相差至少一天。第一时刻和第二时刻通常相差至少一周、优选地相差至少一个月、特别优选地相差至少六个月。第一时刻和第二时刻也可以相差多于一年。所述实施方式可以实现一致的后续检查,所述后续检查尤其需要第二图像数据以便长期观察疾病和/或治疗的进展。

所述方法的一个实施方式提出附加的方法步骤:

-检测检查对象的第三图像数据,所述第三图像数据具有用于特性的第三值并且借助于第三磁共振设备在第三时刻被记录,

-改变第三图像数据,包括将第三图像数据的特性与第一值相称,其中产生第三合成图像数据。

可选地,所述方法可以包括其他方法步骤:

-检测检查对象的第四图像数据,所述第四图像数据具有用于特性的第四值并且借助于第四磁共振设备在第四时刻被记录,

-改变第四图像数据,包括将第四图像数据的特性与第一值相称,其中产生第四合成图像数据。

第三时刻通常在时间上处于第二时刻之后。第四时刻通常在时间上处于第三时刻之后。因此,所述实施方式可以实现重复和长期地观察疾病和/或治疗。

所述方法的一个实施方式提出,第一磁共振设备和第二磁共振设备具有彼此不同强度的主磁场。第一磁共振设备或第二磁共振设备例如可以构成为牢固地安装在放射诊所和/或医院中的固定式磁共振设备。固定式磁共振设备的特征例如可以在于在HF屏蔽室中的通常永久的设置和/或在于至少0.5特斯拉、尤其至少1.0特斯拉的主磁场。固定式磁共振设备的特征可以在于,患者容纳区域具有大到使得可以至少部段地完全检查患者的开口。

第一磁共振设备或第二磁共振设备例如可以构成为移动式磁共振设备。移动式磁共振设备通常具有小于1.0特斯拉、优选地小于0.5特斯拉的主磁场。移动式磁共振设备例如可以构成为“即时检验(point-of-care)”磁共振设备。移动式磁共振设备可以针对检查区域、例如四肢和/或关节、例如肩膀和/或头部专门构成。尤其是,移动式磁共振设备可以优选与HF屏蔽室独立地运行。

优选地,第一磁共振设备是固定式磁共振设备。优选地,第二磁共振设备是移动式磁共振设备,和/或第二磁共振设备具有比第一磁共振设备更低的主磁场。随着主磁场的强度升高,SNR和/或CNR和/或空间分辨率通常升高。尤其地,在相同的检查时间的情况下,与具有较强的主磁场的磁共振设备相比,具有较低的主磁场的磁共振设备只能以较低的空间分辨率达到SNR。

尽管主磁场的强度不同,所述实施方式仍然可以在第一图像数据与第二图像数据之间实现良好的可比性。尤其地,即使第二主磁场小于第一主磁场,也可以产生与第一图像数据类似的质量的合成图像数据。

所述方法的一个实施方式提出,特性是空间分辨率和/或SNR和/或CNR,并且第一值大于第二值。如果第一磁共振设备具有比第二磁共振设备更强的主磁场,特性包括至少一个空间分辨率,第二时刻处于第一时刻之后,并且第一值大于第二值,则所述实施方式可以实现产生具有高空间分辨率的、尤其具有第一值的合成图像数据。通常,第一磁共振设备是固定式磁共振设备,并且第二磁共振设备是移动式磁共振设备。因此,基于借助于简单的、例如移动式磁共振设备记录的第二图像数据,可以产生具有高分辨率的合成图像数据。如果特性附加地包括对比度,则所述对比度甚至可以与固定式磁共振设备的对比度相匹配。因此,可以在成本更有利的磁共振设备处实施后续检查,由此可以改进治疗的总成本和/或质量。同样可以提升患者的满意度,因为移动式磁共振设备也可以有利可图地安装在人口较少的地区并从而减少患者为了后续检查的旅程。同样地,移动式磁共振设备通常很少被视为使人憋闷的。

所述方法的一个实施方式提出,特性是空间分辨率和/或SNR和/或CNR,并且第一值小于第二值。根据所述实施方式,第一磁共振设备优选地具有比第二磁共振设备更低的主磁场,并且第二时刻优选地处于第一时刻之前。因此,根据所述实施方式,在时间上首先被记录的第二图像数据与较迟记录的第一图像数据的相称,所述第一图像数据通常具有较低的空间分辨率。因此,原始的第二图像数据的较高的空间分辨率与较新的第一图像数据的较低的空间分辨率相匹配。

这尤其在自动评估第一图像数据和合成图像数据的情况下、尤其在通过卷积神经网络自动评估第一图像数据和合成图像数据的情况下是有利的。在此,通常不对第一图像数据和/或合成图像数据进行视觉分析,并且可以避免由于分辨率的提升而引起的伪影,和/或可以减少用于自动评估第一图像数据和合成图像数据所需的时间。

所述方法的一个实施方式提出,作为附加的方法步骤,通过将合成图像数据与第一图像数据进行比较来辨识检查对象的改变。

合成图像数据与第一图像数据的比较优选至少部分自动地进行。比较可以实现辨识在检查区域内的在第一时刻与第二时刻之间发生的改变。辨识可以基于视觉的和/或子视觉的特征来进行。通过虽然磁共振设备不同但使合成图像数据和第一图像数据的质量相称,比较特别有效,并且可以实现辨识较小的改变。

所述方法的一个实施方式提出,通过使用经训练的函数来改变第二图像数据。经训练的函数例如可以包括卷积神经网络和/或超分辨率卷积神经网络和/或生成对抗网络。已知的是,可以在图像处理的过程中使用呈神经网络形式的经训练的函数。尤其地,在将第一图像数据的特性传递到第二图像数据时,所述经训练的函数在纵向研究中的使用是特别有利的,其中第一图像数据和第二图像数据主要仅在特性方面不同。第一图像数据和第二图像数据主要仅在特性方面不同,所述图像数据主要示出相同的检查对象在两个彼此不同的时刻的相同的检查区域。第一图像数据与第二图像数据之间的明显较小的区别由生理变化引起。因此,可以通过使用经训练的函数来特别有效地改变第二图像数据。

所述方法的一个实施方式提出,特性包括空间分辨率,第一值包括第一分辨率值,第二值包括第二分辨率值,经训练的函数包括超分辨率卷积神经网络(SRCNN),并且改变第二图像数据包括:通过使用SCRNN使第二图像数据的特性与第一分辨率值相称。在医学图像数据领域中使用SRCNN以提升所述医学图像数据的分辨率已经在Dong,Chao等人在European conference on computer vision.Springer,Cham,2014年的“Learning a deepconvolutional network for image super-resolution”和Pham,Chi-Hieu在Diss.2018年的Deep learning for medical image super resolution and sementation中公开,其中也公开了这种神经网络的构造。

根据所述实施方式的SCRNN构成用于在产生合成图像数据时提升源图像数据尤其第二图像数据的空间分辨率,并且与第一图像数据的空间分辨率相称。尤其在训练尤其根据获取方法考虑第一磁共振设备和第二磁共振设备中的空间分辨率的特性的SCRNN时,SCRNN构成为产生具有特别高的质量和第一图像数据的相同分辨率的合成图像数据。尤其空间分辨率是对于图像数据的一致性和/或比较的重要的特性。根据所述实施方式的方法是特别稳健的。

所述方法的一个实施方式提出,特性包括对比度,第一值包括第一对比度值,第二值包括第二对比度值,经训练的函数包括生成对抗网络(GAN),并且改变第二图像数据包括:通过使用生成对抗网络使第二图像数据的特性与第一对比度值相称。

在医学图像数据领域中使用GAN以改变对比度已经在Dar,Salman UH等人在IEEEtransactions on medical imaging(2019年)中的“Image synthesis in multi-contrastMRI with conditional generative adversarial networks”中公开,其中也公开了这种GAN的构造。

根据所述实施方式的GAN构成用于在产生合成图像数据时使源图像数据尤其第二图像数据的对比度与第一图像数据的对比度相称。尤其在训练尤其根据获取方法考虑第一磁共振设备和第二磁共振设备中的对比度的特性的GAN时,GAN构成用于产生具有特别高的质量和第一图像数据的相同对比度的合成图像数据。尤其对比度是对于图像数据的一致性和/或比较的重要的特性。根据所述实施方式的方法是特别稳健的。

如果第一图像数据和第二图像数据彼此配准,则GAN优选地构成为渐进式GAN(pGAN)。如果第一图像数据和第二图像数据不彼此配准,则GAN优选地构成为条件式GAN(cGAN)。

根据本发明的方法的一个实施方式提出,特性包括空间分辨率和对比度,第一值包括第一分辨率值和第一对比度值,第二值包括第二分辨率值和第二对比度值,改变第二图像数据通过使用经训练的函数来进行,并且经训练的函数包括SRCNN和GAN。这可以实现特别稳健地并且对于第一磁共振设备、第二磁共振设备和获取方法个体化地产生与第一图像数据具有特别高的一致性的合成图像数据。

所述方法的一个实施方式提出,经训练的函数按照根据本发明的用于提供经训练的函数的方法来提供。这种经训练的函数特别稳健并且特别好地适合在根据本发明的方法中使用。

根据本发明的用于提供经训练的函数的第一方法提出以下方法步骤:

-检测测试对象的第一训练图像数据,所述第一训练图像数据具有用于特性的第一值并且借助于第一测试磁共振设备在第一训练时刻被记录,

-检测测试对象的第二训练图像数据,所述第二训练图像数据具有用于特性的第二值并且借助于第二测试磁共振设备在第二训练时刻被记录,

-基于第一训练图像数据和第二训练图像数据来训练函数,

-输出经训练的函数。

所述方法提出,在两个彼此不同的测试磁共振设备处从测试对象、尤其患者和/或人产生训练图像数据。在产生合成图像数据的过程中使用经训练的函数时,第一测试磁共振设备优选地类似于第一磁共振设备和/或第二测试磁共振设备优选地类似于第二磁共振设备。类似性可以意味着,制造商和/或主磁场的强度和/或模型一致。第一测试磁共振设备和第二测试磁共振设备通常在其主磁场的强度方面不同。优选地,第一测试磁共振设备是固定式磁共振设备和/或第二测试磁共振设备是移动式磁共振设备。

检测第一训练图像数据通常通过由存储单元提供第一训练图像数据来进行,在所述存储单元上保存有第一训练图像数据。第一训练图像数据可以在先前的第一训练时刻借助第一测试磁共振设备已经被记录。第一训练图像数据的特性具有第一值。检测第一训练图像数据也可以包括:借助于第一测试磁共振设备在第一训练时刻记录测试对象的第一训练图像数据。检测第一训练图像数据尤其可以包括:获取原始数据和/或将原始数据重建为第一训练图像数据。因此,根据本发明的方法可以至少部分地在第一训练时刻执行。检测第二训练图像数据通常通过由存储单元提供第二训练图像数据来进行,在所述存储单元上保存有第二训练图像数据。第二训练图像数据可以在先前的第二训练时刻借助第二测试磁共振设备已经被记录。第二训练图像数据的特性具有第二值。检测第二训练图像数据也可以包括:借助于第二测试磁共振设备在第二训练时刻记录测试对象的第二训练图像数据。检测第二训练图像数据尤其可以包括:获取原始数据和/或将原始数据重建为第二训练图像数据。因此,根据本发明的方法可以至少部分地在第二训练时刻执行。第一训练图像数据也可以具有多个第一值,所述多个第一值空间分辨地和/或逐体素地存在和/或适用于一种或多种组织类型。

第二训练图像数据也可以具有多个第二值,所述多个第二值空间分辨地和/或逐体素地存在和/或适用于一种或多种组织类型。

优选地,以相同的获取方法和/或从相同的测试对象记录和/或已经记录第一训练图像数据和第二训练图像数据。第一训练图像数据和第二训练图像数据的获取仅在获取的训练时刻方面和所使用的测试磁共振设备方面不同。第一训练时刻和第二训练时刻优选地选择成,使得所述第一训练时刻和第二训练时刻的区别优选地不影响第一训练图像数据和第二训练图像数据的差异。通常,第一训练图像数据和第二训练图像数据的差异主要引起特性。因此,第一训练图像数据和第二训练图像数据特别好地适合用于在特性方面产生经训练的函数,以用于使用在根据本发明的用于产生合成图像数据的方法中。

例如,可以借助于基于对于测试对象的个体化数据的迁移学习来进行训练。测试对象的个体化数据例如可以包括测试对象的第一训练图像数据、第二训练图像数据、年龄和/或身高和/或性别和/或体重和/或病理和/或诊断和/或健康。借此,可以特别大规模地进行函数的训练,由此使经训练的函数特别稳健。

优选地,对多个测试对象执行用于提供经训练的函数的方法,通常对至少100个测试对象、优选地对至少1000个测试对象、特别优选地对至少5000个测试对象执行。在此,通常该过程迭代地进行,使得在对第一测试对象执行根据本发明的方法并且输出经训练的函数之后,将所述经训练的函数在对第二测试对象执行根据本发明的方法时用作函数。初始地,例如GAN或CNN、尤其SRCNN可以用作函数。通过多个测试对象,可以特别稳健地产生经训练的函数。

所述方法的一个实施方式提出,第一训练时刻和第二训练时刻相差少于一个月。第一训练时刻和第二训练时刻通常相差少于一周、优选地相差少于三天。根据所述实施方式,第一训练图像数据和第二训练图像数据优选地主要在特性方面不同。因此,第一训练图像数据和第二训练图像数据特别好地适合用于在特性方面产生经训练的函数,以用于使用在根据本发明的用于产生合成图像数据的方法中。这可以实现在特性方面特别稳健地训练函数。

所述方法的一个实施方式提出,特性包括分辨率,并且函数包括超分辨率卷积神经网络。在产生合成图像数据时使用SRCNN的过程中,已经描述了用于使在图像数据中的分辨率相称的SRCNN的运行方式和优点。在此提到的特征、优点或替选的实施方式也可以转用于用于提供经训练的函数的方法的实施方式,并且反之亦然。

所述方法的一个实施方式提出,特性包括对比度,并且函数包括生成对抗网络。在产生合成图像数据时使用GAN的过程中,已经描述了用于使在图像数据中的对比度相称的GAN的运行方式和优点。在此提到的特征、优点或替选的实施方式也可以转用于用于提供经训练的函数的方法的实施方式,并且反之亦然。

根据本发明的用于产生经训练的函数的第二方法提出以下方法步骤:

-检测测试对象的第一训练图像数据,所述第一训练图像数据具有用于初级特性的第一值、用于次级特性的第二值,其中用于初级特性的第一值和用于次级特性的第二值表征借助于第一测试磁共振设备记录的图像数据,

-检测用于初级特性的第三值和用于次级特性的第四值,其中用于初级特性的第三值和用于次级特性的第四值表征借助于第二测试磁共振设备记录的图像数据,

-改变第一训练图像数据,包括:使第一训练图像数据的初级特性与第三值第一相称,以及使第一训练图像数据的次级特性与第四值第二相称,其中产生第二训练图像数据,

-基于第一训练图像数据和第二训练图像数据来训练函数,

-输出经训练的函数。

检测第一训练图像数据通常通过由存储单元提供第一训练图像数据来进行,在所述存储单元上保存有第一训练图像数据。第一训练图像数据可以在先前的训练时刻借助第一测试磁共振设备利用第一获取方法已经被记录。第一训练图像数据的初级特性具有第一值。第一训练图像数据的次级特性具有第二值。检测第一训练图像数据也可以包括:借助于第一测试磁共振设备和第一获取方法在第一训练时刻记录测试对象的第一训练图像数据。检测第一训练图像数据尤其可以包括:获取原始数据和/或将原始数据重建为第一训练图像数据。第一训练图像数据也可以具有多个第一值和/或多个第二值,所述多个第一值和/或多个第二值空间分辨地和/或逐体素地存在和/或适用于一种或多种组织类型。

检测用于初级特性的第三值和用于次级特性的第四值通常通过由存储单元提供来进行,在所述存储单元上保存有第一训练图像数据。检测用于初级特性的第三值和用于次级特性的第四值也可以包括:在考虑第一测试磁共振设备、第二测试磁共振设备和第一获取方法的情况下计算第三值和第四值。可以利用经训练的函数、尤其CNN和/或GAN、尤其cGAN和/或pGAN进行计算。表征借助于测试磁共振设备记录的图像数据的用于特性的值通常与所使用的获取方法相关。第三值和第四值通常表征借助于第二测试磁共振设备和第一获取方法记录的图像数据。因此,产生第二训练图像数据可以基于CNN和/或GAN、尤其cGAN和/或pGAN进行。

初级特性优选地包括对比度。第一相称优选地基于GAN进行。次级特性优选地包括空间分辨率。第二相称优选地基于CNN进行。第二值大于或小于第四值。

所述实施方式可以实现基于借助于仅一个测试磁共振设备记录的训练图像数据来提供经训练的函数。不需要记录第二训练图像数据,因为可以检测和/或计算对于初级特性相关的第三值和对于次级特性相关的第四值。同样可以对于每个测试对象个体化地生成第二训练图像数据。由此,对于所述实施方式,需要仅一个测试磁共振设备的训练图像数据,这简化了方法。然后,尤其通常提供更大数量的测试对象,由此可以借助于更大数量的第一训练图像数据和第二训练图像数据进行训练,由此使经训练的函数更稳健。

在此也适用的是:优选地,对多个测试对象执行用于提供经训练的函数的方法,通常对至少100个测试对象、优选地对至少1000个测试对象、特别优选地对至少5000个测试对象执行。在此,通常迭代地进行该过程,使得在对第一测试对象执行根据本发明的方法并且输出经训练的函数之后,在对第二测试对象执行根据本发明的方法时将所述经训练的函数用作函数。初始地,例如GAN或CNN、尤其SRCNN可以用作函数。通过多个测试对象,可以特别稳健地产生经训练的函数。

此外,本发明基于具有输入接口、输出接口和计算单元的图像处理系统,其中计算单元构成用于执行根据本发明的用于提供医学合成图像数据的方法。

经由输入接口,可以将第一图像数据和/或第二图像数据和/或用于将合成图像数据与第一图像数据进行比较的比较规则和/或经训练的函数提供给计算单元。在方法中所需的其他函数、算法或参数可以经由输入接口提供给计算单元。可以经由输出接口提供合成图像数据和/或检查对象的改变和/或合成图像数据与第一图像数据的比较的结果和/或根据本发明的方法的实施方式的其他结果。计算单元可以集成到第一磁共振设备和/或第二磁共振设备中。计算单元也可以独立于第一磁共振设备和/或第二磁共振设备地安装。计算单元可以与第一磁共振设备和/或第二磁共振设备连接。

根据本发明的图像处理系统的实施方式类似于根据本发明的用于产生医学合成图像数据的方法的实施方式构成。图像处理系统可以具有用于执行根据本发明的方法所需的和/或有利的其他控制部件。图像处理系统也可以构成用于发送控制信号和/或接收和/或处理控制信号,以便执行根据本发明的用于产生医学合成图像数据的方法。优选地,计算单元包括存储单元,在所述存储单元上可以存储有计算机程序和其他软件,借助于所述计算机程序和其他软件,由计算单元包括的处理器单元自动地控制和/或执行根据本发明的方法的方法进程。

根据本发明的计算机程序产品可以直接在可编程计算单元的存储单元中加载,并且具有程序代码机构,以便当在计算单元中执行计算机程序产品时,执行根据本发明的方法。由此可以快速地、同样可重复地且稳健地执行根据本方法的方法。计算机程序产品配置成,使得其可以借助于计算单元来执行根据本发明的方法步骤。在此,计算单元分别必须具有前提条件、例如对应的工作存储器、对应的显卡或对应的逻辑单元,使得可以有效地执行相应的方法步骤。计算机程序产品例如存储在电子可读的介质上,或存储在网络或服务器上,从那里可以将所述计算机程序产品加载到本地计算单元的处理器中,所述处理器可以与第一磁共振设备和/或第二磁共振设备直接连接,或者构成为第一磁共振设备和/或第二磁共振设备的一部分。此外,计算机程序产品的控制信息可以存储在电子可读的数据载体上。电子可读的数据载体的控制信息可以设计成,使得当在计算单元中使用数据载体时,所述控制信息执行根据本发明的方法。电子可读的数据载体的示例是DVD、磁带或USB盘,在其上存储有电子可读的控制信息、尤其软件。如果从数据载体中读取所述控制信息(软件)并且将其存储在控制单元和/或计算单元中,则可以执行上述方法的所有根据本发明的实施方式。

此外,本发明基于一种电子可读的数据载体,在所述电子可读的数据载体上保存有程序,所述程序设置用于执行用于产生医学合成图像数据的方法。

根据本发明的图像处理系统、根据本发明的计算机程序产品和根据本发明的电子可读的数据载体的优点基本上对应于根据本发明的用于产生医学合成图像数据的方法的在上文中详细描述的优点。在此提及的特征、优点或替选的实施方式同样可以转用于其他要求保护的主题,并且反之亦然。

此外,本发明基于具有第一接口、第二接口和训练单元的训练系统,其中训练单元构成用于执行根据本发明的用于提供经训练的函数的方法。

经由第一接口,可以将第一训练图像数据和/或第二训练图像数据和/或用于特性的第一值和/或神经网络、尤其超分辨率卷积神经网络和/或pGAN和/或cGAN提供给训练单元。在方法中所需的其他函数、算法或参数可以经由第一接口提供给训练单元。可以经由第二接口提供根据本发明的用于提供经训练的函数的方法的实施方式的经训练的函数和/或其他结果。训练单元可以集成到第一测试磁共振设备和/或第二测试磁共振设备中。训练单元也可以独立于第一测试磁共振设备和/或第二测试磁共振设备地安装。训练单元可以与第一测试磁共振设备和/或第二测试磁共振设备连接。

根据本发明的图像处理系统的实施方式类似于根据本发明的用于提供经训练的函数的方法的实施方式构成。图像处理系统可以具有用于执行根据本发明的方法所需的和/或有利的其他控制部件。图像处理系统也可以构成用于发送控制信号和/或接收和/或处理控制信号,以便执行根据本发明的用于提供经训练的函数的方法。

优选地,训练单元包括存储单元,在所述存储单元上可以存储有计算机程序和其他软件,借助于所述计算机程序和其他软件,由训练单元包括的处理器单元自动地控制和/或执行根据本发明的方法的方法进程。

根据本发明的计算机程序产品可以直接在可编程的训练单元的存储单元中加载,并且具有程序代码机构,以便当在训练单元中执行计算机程序产品时,执行根据本发明的方法。由此可以快速地、同样可重复地且稳健地执行根据本方法的方法。计算机程序产品配置成,使得其可以借助于训练单元来执行根据本发明的方法步骤。在此,训练单元分别必须具有前提条件、例如对应的工作存储器、对应的显卡或对应的逻辑单元,使得可以有效地执行相应的方法步骤。计算机程序产品例如存储在电子可读的介质上,或存储在网络或服务器上,从那里可以将所述计算机程序产品加载到本地训练单元的处理器中,所述处理器可以与第一测试磁共振设备和/或第二测试磁共振设备直接连接,或者构成为测试磁共振设备的一部分。此外,计算机程序产品的控制信息可以存储在电子可读的数据载体上。电子可读的数据载体的控制信息可以设计成,使得在数据载体使用于训练单元中时,所述控制信息执行根据本发明的方法。电子可读的数据载体的示例是DVD、磁带或USB盘,在其上存储有电子可读的控制信息、尤其软件。如果从数据载体中读取所述控制信息(软件)并且将其存储在控制单元和/或训练单元中,则可以执行上述方法的所有根据本发明的实施方式。.

此外,本发明基于一种电子可读的数据载体,在所述电子可读的数据载体上保存有程序,所述程序设置用于执行用于提供经训练的函数的方法。

根据本发明的训练系统、根据本发明的计算机程序产品和根据本发明的电子可读的数据载体的优点基本上对应于根据本发明的用于提供经训练的函数的方法的在上文中详细描述的优点。在此提及的特征、优点或替选的实施方式同样可以转用于其他要求保护的主题,并且反之亦然。

附图说明

本发明的其他优点、特征和细节从在下文中描述的实施例以及根据附图得出。

附图示出:

图1示出根据本发明的用于产生医学合成图像数据的方法的第一实施方式的流程图,

图2示出根据本发明的用于提供经训练的函数的方法的第一实施方式的流程图,

图3示出根据本发明的用于提供经训练的函数的方法的第二实施方式的流程图,

图4示出时间轴,所述时间轴使根据本发明的方法中的相关的时刻可视化,以及

图5以示意图示出根据本发明的图像处理系统。

具体实施方式

图1示出根据本发明的用于产生医学合成图像数据的方法的第一实施方式的流程图。所述方法以根据方法步骤110的检测检查对象的第一图像数据和根据方法步骤120的检测检查对象的第二图像数据开始。方法步骤110和120可以连续地或至少部分同时地执行。在方法步骤130中,改变第二图像数据,包括使第二图像数据的特性与第一值相称,其中产生合成图像数据。随后根据方法步骤140提供合成图像数据。

根据方法步骤130的使第二图像数据的特性与第一值相称可以基于经训练的函数进行,所述经训练的函数可以可选地根据方法步骤200、300来提供。如果特性包括空间分辨率,第一值包括第一分辨率值并且第二值包括第二分辨率值,则根据方法步骤130的使第二图像数据的特性与第一值相称可以通过使用包括根据方法步骤131的超分辨率卷积神经网络的经训练的函数来进行。附加地和/或替选地,如果特性包括对比度,第一值包括第一对比度值并且第二值包括第二对比度值,则根据方法步骤130的使第二图像数据的特性与第一值相称可以通过使用包括根据方法步骤132的生成对抗网络的经训练的函数来进行。

图2示出根据本发明的用于提供经训练的函数的方法200的第一实施方式的流程图。根据所述方法200,在方法步骤210中检测测试对象的第一训练图像数据,所述第一训练图像数据具有用于特性的第一值并且借助于第一测试磁共振设备在第一训练时刻81被记录。在随后的方法步骤220中,检测测试对象的第二训练图像数据,所述第二训练图像数据具有用于特性的第二值并且借助于第二测试磁共振设备在第二训练时刻82被记录。在方法步骤230中,基于第一训练图像数据和第二训练图像数据来训练函数。在方法步骤240中,输出经训练的函数。

图3示出根据本发明的用于提供包括卷积神经网络和生成对抗网络的经训练的函数的方法300的第二实施方式的流程图。根据方法步骤310,方法300提出:检测测试对象的第一训练图像数据,所述第一训练图像数据具有用于初级特性的第一值、用于次级特性的第二值,其中用于初级特性的第一值和用于次级特性的第二值表征借助于第一测试磁共振设备记录的图像数据。根据方法步骤320,检测用于初级特性的第三值和用于次级特性的第四值,其中用于初级特性的第三值和用于次级特性的第四值表征借助于第二测试磁共振设备记录的图像数据。根据方法步骤330,改变第一训练图像数据,包括使第一训练图像数据的初级特性与第三值第一相称,以及使第一训练图像数据的次级特性与第四值第二相称,其中产生第二训练图像数据。随后根据方法步骤340基于第一训练图像数据和第二训练图像数据来训练函数。在方法步骤350中输出经训练的函数。

图4示出时间轴,所述时间轴使根据本发明的方法中的用于产生医学合成图像数据和用于提供经训练的函数的相关的时刻可视化。如图3所示,根据第二实施方式,根据本发明的用于提供经训练的函数的方法包括检测第一训练图像数据、例如借助于第一测试磁共振设备在第一训练时刻81记录的第一训练图像数据。第一训练时刻81和第二训练时刻82通常处于第一时刻91、第二时刻92之前,并且可能处于第三时刻93之前。第一训练时刻81和第二训练时刻82通常相差少于一个月、优选地少于一周。第一时刻91和第二时刻92通常相差至少一周、优选地至少一个月。第一时刻91与第一训练时刻81之间的持续时间是任意的,然而,如果用于产生医学合成图像数据的方法通过使用经训练的函数来进行,则方法200或方法300需要在另一时刻90执行,所述另一时刻至少处于第二时刻92之前、优选地也处于第一时刻91之前。

图5以示意图示出根据本发明的图像处理系统2。图像处理系统2包括输入接口3、输出接口4和计算单元5。

输入接口3构成用于检测检查对象的第一图像数据和/或第二图像数据,即构成用于执行方法步骤110、120。输出接口4构成用于提供合成图像数据,即构成用于执行方法步骤140。计算单元5可以包括改变单元51和经训练的函数52。计算单元5、尤其改变单元51构成用于改变第二图像数据,其中产生合成图像数据。改变第二图像数据通过使用经训练的函数52来进行。计算单元5可以包括辨识单元53,所述辨识单元构成用于通过将合成图像数据与第一图像数据进行比较来辨识检查对象的改变。因此,图像处理系统2与计算单元5一起构成用于产生医学合成图像数据,即构成用于执行根据本发明的方法。

计算单元5优选地具有计算机程序和/或软件,所述计算机程序和/或软件可以直接在计算单元5的未详细示出的存储单元中加载,所述计算机程序和/或软件具有程序机构,以便当在计算单元5中执行计算机程序和/或软件时,执行用于产生医学合成图像数据的方法。为此,计算单元5具有未详细示出的处理器,所述处理器设计用于执行计算机程序和/或软件。相对于此替选地,计算机程序和/或软件也可以存储在与图像处理系统2和/或计算单元5分离地构成的电子可读的数据载体6上,其中可以经由数据网络进行计算单元5对电子可读的数据载体6的数据访问。

用于产生医学合成图像数据的方法也可以以计算机程序产品的形式存在,当在计算单元5上执行所述计算机程序产品时,所述计算机程序产品在计算单元5上实现所述方法。同样地,可以存在具有在其上存储的电子可读的控制信息的电子可读的数据载体6,所述控制信息包括至少一个这种刚刚描述的计算机程序产品,并且设计成,使得在数据载体6使用于图像处理系统2的计算单元5中时,所述控制信息执行所描述的方法。

尽管已经通过优选的实施例详细说明和描述了本发明的细节,但是本发明并不受所公开的示例限制,并且可以由本领域技术人员从中推导出其他变型方案,而不脱离本发明的保护范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号