深谱团注剂跟踪

摘要

一种用于支持成像操作的计算机实施的系统和相关的方法。所述系统包括一个或多个输入接口(IN)，所述一个或多个输入接口用于接收输入数据，所述输入数据包括由成像装置(IA)获取的对象(OB)的管道(VS)中的目标位置(ROI)的输入图像。所述管道包括目标物质(CA)，并且所述目标物质能够在所述管道中朝向所述目标位置传播。预训练的机器学习部件(MLC2)被配置为处理所述输入数据以获得指示所述目标位置处的所述目标物质的到达的输出数据。输出接口(OUT)输出所述输出数据。

说明书

技术领域

本发明涉及用于图像处理的系统、用于训练用于图像处理的机器学习部件的系统、用于图像处理的方法、用于训练用于图像处理的机器学习部件的方法、计算机程序单元和计算机可读介质。

背景技术

计算机断层摄影血管造影(CTA)是用来可视化遍及身体的动脉和静脉的基于计算机断层摄影成像技术。

范例包括：向大脑供应血液的动脉、向心肌供应血液的冠状动脉、以及其他。CTA图像通过在将对比剂注射到血流内之后采集CT数据而产生。

成功的CT血管造影的前提是对比剂材料的动脉经过与CT数据采集之间的良好的(如果不是最佳的)同步。

提出了用于确定被注射到外周静脉的流入的对比剂到达器官的时间的若干方法：

1)以在对比剂注射之后的固定延迟开始CT扫描的固定延迟技术。由于不同患者的不同血液流速，这可能产生次佳的结果。

2)通过使用试验团注剂注射来确定渡越时间。这导致多次扫描和被施予患者的更大量的对比剂。

3)团注剂跟踪。在该方法中，使用多个短扫描定期地采集并更新薄的图像层(slab)。监测用户定义的区域中的图像强度，并且当达到指示团注剂已经到达目标区域的预定强度时，开始诊断图像采集。

然而，用于将CT扫描与对比剂流同步的团注剂跟踪方法具有若干缺点，包括：a)仅找出采集的正确开始时间所耗费的显著量的X射线剂量，b)被施予患者使得强度增强将对用户/触发CT采集的自动算法可见的足够量的对比剂，c)由各种用户设置来触发采集的主观ROI选择和阈值可能导致可变的图像质量。

发明内容

因此可能存在对于特别地但不仅仅是在团注剂跟踪方面支持基于图像的分析的替代系统或方法的需要。

本发明的目的通过独立权利要求的主题得以解决，其中，另外的实施例被并入从属权利要求中。应当注意，本发明的以下描述的方面同样适于计算机程序单元和计算机可读介质。

根据本发明的第一方面，提供了一种用于图像处理的(计算机实施的)系统，包括：

一个或多个输入接口，其用于接收输入数据，所述输入数据包括由成像装置获取的对象的管道中的目标位置(“ROI”)的输入图像，所述管道包括目标物质，所述目标物质能够在所述管道中朝向所述目标位置传播；

预训练的机器学习部件，其被配置为处理所述输入数据以获得指示所述目标位置处的所述目标物质的到达的输出数据；以及

输出接口，其用于输出所述输出数据。所述输出数据可以指示例如所述位置处的物质的质量或浓度。所述输出数据可以被用于训练目的。优选地，在实施例中，所述系统包括成像控制部件，所述成像控制部件被配置为基于所述输出数据来控制所述成像装置的操作。具体地，在实施例中，所述成像控制部件被配置为触发图像采集操作。在该实施例中，输出可以包括触发调度或指令，诸如“1”用于“开始成像”或“0”用于“保持”。

优选地，输入图像形成在监测操作中获取的感兴趣位置的“实况”图像。优选地，一系列这样的输入图像被采集作为实况馈送以针对物质(诸如医学成像中的对比剂的团注剂)的到达监测位置。简言之，一个或多个输入图像优选地在实况团注剂跟踪阶段的背景下被获取。“对象”可以是患者，并且获取与该患者有关的输入图像。

在实施例中，所述图像采集操作被触发为包括从相对于所述目标位置的不同方向采集多个投影图像。换言之，实际成像(即诊断成像)针对特定患者被触发。在CT中，优选地全扫描在具有例如大约180°的旋转的情况下被如此触发。触发的成像操作优选地用于诊断目的，并且可以以比在监测期间被用于采集(一个或多个)输入图像的剂量更高的剂量来完成。

在实施例中，所述机器学习部件被布置为神经网络，具体地被布置为卷积神经网络。

在实施例中，所述神经网络具有至少一、最好二或更多的深度。具体地，所述神经网络包括至少一个隐藏层，优选地两个或更多个隐藏层。在实施例中，所述神经网络包括至少两个隐藏层，其中，至少一个隐藏层引起数据维度的降低，并且所述至少两个层中的所述至少一个其他隐藏层引起数据维度的增加。这实施了上和下采样，其帮助实现更鲁棒的性能，因为过度拟合能够保持被控制。而且，使用深度架构允许输入影像的多尺度分析，因此更多地增强正确性能的比率。

在实施例中，所述输入图像通过所述成像装置或被配置用于谱成像的另一成像装置获取。具体地，所述输入图像可以通过谱成像算法来处理以更好地使其适应于对比剂物质。

在实施例中，所述管道至少包括人类或动物脉管的保持或传送体液的部分。在一个实施例中，管道是人类或动物(例如，哺乳动物)心脏的脉管，诸如冠脉(动脉或静脉)。在实施例中，其中，所述目标物质包括用于医学成像的对比剂。然而，在本文中也设想了非医学背景。

在实施例中，所述获取的输入图像是通过所述成像装置采集的至少一个投影图像。优选地，单个投影图像由成像装置在监测期间以合适的采样频率一次采集。在监测期间采集输入投影图像的方向可以保持恒定或可以改变。

被用于在监测期间采集(一个或多个)投影图像的成像装置优选地与被用于触发的诊断成像的成像装置相同，但是在实施例中两者可以不同，因此在本文中也可以设想相同或不同模态的两个成像装置。优选地但必要地，诊断成像以比监测成像更高的剂量来完成。

在实施例中，所述输入数据包括以下中的任一个或多个：i)描述所述对象的数据，ii)描述所述物质的传播的方式的数据。所述数据形成背景数据，其可以包括非图像数据。它允许实现机器学习部件的更好的性能，诸如更好的鲁棒性。

在实施例中，所述目标位置之前由又一机器学习部件至少基于被所述成像装置使用的成像协议来识别。换言之，在该实施例中，存在两种机器学习算法，一种机器学习算法预测跟踪参数，并且一种机器学习算法基于如上面提到的实际跟踪数据开始扫描。

在另一方面中，提供了一种支持成像操作的方法，包括：

接收输入数据，所述输入数据包括由成像装置获取的对象的管道中的目标位置的输入图像，所述管道包括目标物质，所述目标物质能够在所述管道中朝向所述目标位置传播；

通过预训练的机器学习部件处理所述输入数据以获得指示所述目标位置处的所述目标物质的输出图像；并且

输出所述输出数据。

本文中提出的系统或方法在对比剂的团注剂被施予患者的血管造影成像中具有特别的益处。本文中也设想了除了基于X射线的成像之外的应用(诸如MRI、PE、SPECT或其他)，并且成像情景包括心脏成像和其他。所提出的方法，具体地，基于深度学习的机器学习架构谱影像的使用的组合允许准确的团注剂跟踪，特别是对于CT血管造影，即使当低剂量的对比剂被使用时。本发明的另一益处在于其以下能力：对于监测成像仅仅使用投影影像而非重建的影像。如上面提到的，在实施例中，在监测期间的一次的单个投影图像可以被使用。对于准确的团注剂跟踪能够使用与一次的单个投影图像一样少可以是由于使用谱影像和/或具有具体地以深度学习架构的方式配置的机器学习部件。这样的深度学习架构包括但不限于神经网络，具体地卷积神经网络(CNN)的至少部分，具有至少一个、更好地两个或多于两个隐藏层。

在实施例中，所提出的方法和系统使用基于深度学习的谱团注剂跟踪实现了与对比剂施予的改善的、准确的、客观的且标准化的CT扫描同步。所提出的系统和方法优选地利用谱CT或放射线摄影数据以及基于深度学习的模块来自动地执行以下中的任何一个或多个：i)定位ROI，ii)跟踪团注剂，以及iiii)触发图像采集操作，诸如全CT、MRI或PET/SPECT扫描。

跟踪降低量的对比剂的团注剂的能力具有减少与当前使用的对比剂剂量相关联的不利副作用并且仍然实现特别地在CTA扫描中的更好的且更标准化的一致图像质量的可能性。

本文中设想的另外的方面包括一种用于支持成像操作的系统，包括：

一个或多个输入接口，其用于接收输入数据，所述输入数据包括成像操作的规定和/或描述要被成像的对象的数据；

预训练的机器学习部件，所述预训练的机器学习部件被配置为处理所述输入数据以获得指示以下项的输出数据：i)对象内的目标位置，和/或ii)能够朝向所述目标位置传播通过所述对象的管道的目标物质的传播方式；以及

输出接口，其用于输出所述输出数据。

在实施例中，上面提到的系统中的任何一个或多个被完全或至少部分地集成到成像装置内。

在另一方面中，提供了一种用于支持成像操作的方法，包括：

接收输入数据，所述输入数据包括成像操作的规定和/或描述要被成像的对象的数据；

通过预训练的机器学习部件来处理所述输入数据以获得指示以下项的输出数据：i)对象内的目标位置，和/或ii)能够朝向所述目标位置传播通过所述对象的管道的目标物质的传播方式；并且

输出所述输出数据。

在另一方面中，提供了一种系统，其被配置为训练上面提到的机器学习部件中的任何一个。

在另一方面中，提供了一种用于训练如在任何一个方面或实施例中使用的机器学习部件的方法。所述学习方法可以包括：

提供训练数据；

将所述训练数据应用于相应学习部件的模型；并且

运行训练算法来调整所述模型的一个或多个参数以实现所述学习。步骤可以在训练数据的项内迭代。

在另一方面中，提供了至少一个计算机程序单元，所述至少一个计算机程序单元当被至少一个处理单元执行时，适合于使所述处理单元执行根据上面提到的方面中的任何一个的方法。

优选地，所述处理单元具有多核设计和/或被配置用于并行计算。

在另一方面中，提供了其上存储有所述程序单元的至少一种计算机可读介质。

训练和部署能够在相同的计算硬件上被完成，或可以在不同的硬件布置上被完成。

如上面使用的“获取”包括通过成像装置的操作来采集投影域中的图像数据，而且包括具体地通过重建而由这样的投影数据形成图像域中的图像数据。

如本文中使用的“配置”包括在训练期间可调整的所有模型参数(权重、滤波器系数)。这样的变量的给定集合定义了MLC动作的方式，因此形成MLC的配置。

一般来说，“机器学习部件”是实施被配置为执行任务的机器学习(“ML”)算法的计算机化布置。在ML算法中，任务性能在已经为该布置提供更多训练数据TI之后可测量地改善。任务的性能可以在为系统馈送测试数据时通过客观测试来测量。任务的性能可以被定义为需要针对给定测试数据实现一定误差率。参见T.M.Mitchell,“Machine Learning”,page 2,section 1.1,McGraw-Hill,1997。

附图说明

本发明的示范性实施例现在将会参考未按比例的以下附图来进行描述，其中：

图1示出了成像装置的示意性方框图；

图2示出了根据一个实施例的机器学习部件的方框图；

图3示出了根据一个实施例的机器学习部件的人工神经网络实施例的方框图；

图4示出了根据第二实施例的机器学习部件的方框图；

图5示出了根据一个实施例的机器学习部件的人工神经网络实施例的方框图；

图6示出了根据一个实施例的用于机器学习部件的系统；

图7示出了根据一个实施例的用于训练机器学习部件的系统；

图8示出了根据一个实施例的支持成像的方法的流程图；

图9示出了根据第二实施例的支持成像的方法的流程图；并且

图10示出了训练机器学习部件的系统的流程图。

具体实施方式

参考图1的示意性方框图，示出了成像装置的示意性方框图。成像装置可以包括成像装置IA和支持成像(具体地支持通过成像装置AI或其他成像装置的成像)的计算机化系统SSI(在本文中也被称为“SSI”)。

成像装置IA优选地但不一定是基于X射线的，并且被配置为采集对象OB的一个或多个图像。

SSI被配置为通过分析与对象有关的数据来支持成像操作。数据可以包括通过对象OB的成像装置采集的(一个或多个)图像或可从如此采集的图像导出的影像。SSI优选地是计算机化系统。

尽管本文中设想的成像装置的主要应用是在医学领域中，但是本文中也不排除诸如非破坏性材料测试或行李检查等的非医学背景。因此，术语“对象OB”在本文中在一般意义上用来包括诸如人类或动物患者的有生命“对象”或其解剖部分，而且包括无生命对象。然而，提出的系统SSI将会在本文中主要参考医学领域来进行讨论，因此我们将会把对象OB称为“患者”和感兴趣位置ROI(其是患者OB的具体的解剖结构和一组解剖结构)。

SSI包括以下部件中的一个或两个：被配置为分析对象的影像并且然后基于分析来控制成像装置的操作的机器学习部件MLC2。机器学习部件MLC2可以用来有益于对象中的特定感兴趣位置需要被检查并且当所述位置不可进入、被阻挡或者被嵌入在周围非透明材料中因此避开直接视觉检查时的应用情景。

本文中设想的一种这样的应用情景是管道VS中的内部位置的基于图像的检查，其中，物质CA用来增强通过成像装置采集的位置ROI的影像中的对比度。本文中主要设想的优选的应用情景和实施例是在医学领域中，即在基于X射线的成像(特别是血管造影)中。血管造影可以基于2D影像(诸如在放射线摄影中)或基于3D影像(诸如基于CT扫描器的血管造影(CTA)或在其他旋转成像应用中(诸如在C型臂成像中))。尽管在下文中主要参考基于X射线的成像，但是提出的系统也可以被使用以使其他成像模态获益，诸如MRI成像或其他中的对比剂使用。

在基于X射线的血管造影中，团注剂通过诸如股静脉或动脉中的合适进入点被施予患者OB。患者OB可以在血管造影程序期间位于支撑物T上。团注剂是被施予以增强具体地软组织影像中的对比度的定义量的物质，对比剂CA。合适的对比剂包括用于CT的基于碘的或用于MRI的基于钆的。也设想了经口施予的对比剂，诸如硫酸钡。在施予之后，团注剂随着血流从进入点传播到目标位置。在一定量的时间(渡越时间)之后，一些或所有物质CA到达预期的目标位置并且经过该位置。目标位置可以是特定类型的脉管VS，例如患者OB的心脏的冠状动脉。为了最大化血管造影成像的益处，应当刚好在当足够量的对比剂到达并积聚在目标位置处时的正确时间采集诊断图像。如果图像采集在足够的对比剂已经积聚之前被太早触发，则图像对比度可能是差的。但是如果图像采集被太晚触发，图像对比度将同样是差的，因为对比剂可能已经经过目标位置。在该应用或与本文中主要设想的类似的应用中，使用团注剂跟踪流程。在团注剂跟踪中，目标位置通过采集一个或多个监测图像(换言之感兴趣位置的实时实况图像(在本文中也被称为感兴趣区域ROI))来监测，所述一个或多个监测图像被机器学习部件MLC2分析以建立当足够的对比剂已经到达该位置时的时间点(在本文中被称为“触发时间”)并且然后实现诊断成像采集。机器学习部件实施决策逻辑来决定何时触发诊断图像采集。对于诊断成像，一般使用比对于监测成像更高的剂量，以减少暴露于患者的X射线剂量。

触发时间应被理解为是许多因素的函数，诸如患者的身体特性、脉管管腔的状态、血液的粘度、血液流速、所使用的对比剂类型。预期这些因素对最初施予的团注剂随着周围的流体(例如，随着血液)如何分散、混合和传播具有影响。这些因素组合来赋予团注剂的形状在渡越时间期间如何改变。对于不同的患者OB，团注剂将会在它经过感兴趣位置时具有不同的外观。最终存在于感兴趣位置处的团注剂(或其至少一部分)的外观与触发时间之间存在函数关系。并且，团注剂外观进而将确定感兴趣位置处的可通过优选地投影域中的监测图像记录的强度模式。感兴趣位置处可记录的对比度分布(或强度模式)与触发时间因此存在映射。因此，这种映射(被称为潜在映射)是未知的，并且能够被预期是相对复杂的。如本文中设想的机器学习部件MLC2被配置为从历史训练数据学习到充分近似的潜在映射，并且估计用于未来血管造影应用的触发时间。学习部件MLC2的这种实施例可以在下文中被称为“团注剂跟踪器”。然而，应理解，机器学习部件MLC2也可以用来除了图像采集触发之外的成像操作，诸如停止主动图像采集、改变采集模式(高能量/低能量)中的任何一个或多个。

除了团注剂跟踪器实施例MLC2之外或代替其，支持系统SSI可以包括被配置为基于合适的输入数据(包括成像协议数据)空间地建立上面提到的目标位置的另一机器学习部件MLC1。该输入数据可以或可以不包括图像数据。额外地或替代地，机器学习部件MLC2可以被配置为建立可以被用作用于团注剂跟踪器MLC2的输入的合适团注剂跟踪参数(在本文中也被称为“BTP”)。机器学习部件的该第二实施例MLC1在本文中可以被称为“背景寻找器”。

然而，应理解，背景寻找器可以被配置为独立的应用，并不一定束缚于团注剂跟踪器。同样地，团注剂跟踪器可以在没有背景寻找器的情况下被用作独立的应用。有利地，团注剂跟踪器MLC1和背景寻找器MLC2两者可以如实施例中设想的那样被组合地使用。此外，应理解，团注剂跟踪器和背景寻找器可以被用于除了团注剂跟踪之外的医学应用。甚至设想了需要管道中的隐蔽位置的基于图像的检查的非医学应用。这可以包括水文学，例如地下洞穴系统中的水流的检查或管路系统中的泄露检测。

在进一步详细地描述两个机器学习实施例(团注剂跟踪器MLC2和背景寻找器MLC1)之前，以下术语在具体地团注剂跟踪应用的背景下会是有用的。

如本文中使用的术语“团注剂”可以涉及在增加期望目标位置(也被称为感兴趣区域ROI)处的图像对比度的目的的情况下被施予感兴趣对象(诸如人类或动物患者)的物质的量。对比剂的施予点一般不同于感兴趣位置。一般存在用于对比剂物质从施予点行进到感兴趣位置的渡越时间。

本文中使用的术语“团注剂跟踪参数(BTP)”指的是能够描述团注剂的传播和/或能够用来定义不同位置处(具体地感兴趣位置处)的团注剂的性质的参数。更具体地，团注剂跟踪参数适合于建立触发时间。

如本文中在基于X射线的实施例中主要设想的“团注剂跟踪”的流程涉及具体地但不一定基于在目标位置处采集的图像或可从如此采集的影像导出的图像数据来推测目标位置处的一些或所有施予的团注剂的存在。

继续参考图1，现在更详细地描述成像装置的上面描述的部件。首先转向成像装置，这一般包括能够生成询问信号的部件和在该询问信号与患者OB(具体地与感兴趣位置ROI)的相互作用之后检测询问信号的传感器部件。

本文中设想的成像装置的范例包括X射线成像装置。X射线装置被配置为采集患者OB的X射线图像。在X射线成像的情况下，询问信号是X射线辐射，并且上面提到的部件是X射线源XR。对应地，在X射线成像中，传感器是X射线探测器D。本文中设想的X射线成像装置的实施例包括C型臂成像装置、CBCT(锥形束CT)扫描器、CT扫描器、谱CT扫描器、乳房摄影装置或放射线摄影装置、或其他，均被配置为采集对象PAT的X射线图像。

更详细地，X射线成像装置IA包括X射线源XS和X射线敏感性探测器XD。在使用中，患者OB沿着轴线z被定位在X射线源XS和X射线探测器XD内的检查区域中。X射线源XS被激励以产生源于焦斑FS并且穿过检查区域并且因此至少穿过对象OB的感兴趣区域的X射线束XB。X辐射束XB与对象OB的物质(例如组织、骨骼等)相互作用。在相互作用之后，X辐射在对象OB的远侧处出来，然后冲击X射线探测器XD。冲击的X辐射被探测器XD探测，并且被转换成电信号。电信号被合适的转换电路(未示出)转换成形成图像(在这种情况下，X射线投影图像)的图像值的集合。X射线图像能够揭露被成像患者OB的内部解剖结构的细节。这能够有助于被成像患者OB的诊断和治疗或其他检查。图像可以包括投影影像。除了衰减是主要对比机制的X射线成像之外，本文中设想了其他变体，诸如相位对比成像或暗场成像。

在旋转3D成像中，在旋转期间通过X射线源XR沿着轨道或围绕ROI从不同方向q采集投影图像的集合。轨道一般是多达180°的弧。由旋转X射线成像器IA供应的投影影像可以被实施断层摄影重建算法(诸如基于Radon变换的算法(包括滤波反投影(FBP))、ART、迭代重建、基于傅里叶域的重建、以及基于机器学习的重建)的处理器RECON进一步处理成轴向或切片影像IM。重建算法将来自探测器域中的2D的投影影像转换成图像域中的3D体积的切片或轴向影像。图像域位于检查区域中，并且经过对象PAT。因此，可以获得由这种2D切片图像的集合或“堆叠”组成的CT 3D体积，针对成像轴线z上的每个位置一个。

在其他设想的成像模态(诸如MRI、SPECR、PET)中，可以使用将来自探测器域的信号转换成相应图像域(即，要被成像的对象位于的空间的部分)的其他重建算法。

投影或被重建图像中的图像值可以以合适数据结构(诸如一个或多个n维矩阵或“张量”(n>3))的方式被组织。合适的n值是1、2、3、4或n>4。图像可以是灰度的或彩色的。彩色影像可以以RGB方案或另一合适的编码方案被编码。例如，图像值可以以行和列i、j的方式来表示以空间地表示二维结构。三维图像值可以被空间地表示为行和列i、j以及深度分量k。

在实施例中，图像可以以具有行和列i、j的2D结构来表示，但是图像实际上形成三维体积的区段或子空间，诸如CT 3D体积的切片图像。类似地，MRI体积也可以包括为3D方式的区段的2D切片图像。通过时间采集的2D或3D影像可以分别被表示为3D或4D图像数据，其中，第三或第四分量表示采集时间。

即使影像表示2D结构，有时仍然可以使用更高维表示，诸如以RGB编码的彩色图像中。RGB图像可以被表示为三维结构，其中，两个空间维度i、j对应，而另一分量表示分别针对任何给定图像位置i、j的红色、绿色和蓝色图像值。换言之，2D彩色图像可以被表示为由分别表示针对给定图像位置的红色、绿色和蓝色图像值的三个不同2D图像的超位置形成的3D体积。因此，通过时间采集的3D彩色影像因此可以被空间地表示为七维张量：三个空间维度、针对彩色值的三个维度和针对时间的一个维度。灰值图像可以在没有另外的深度分量的情况下被表示。

当使用成像装置IA获得影像时，一个或多个采集参数AP可能需要通过控制成像器IA的成像操作的成像控制单元CC来调整。这种调整可以通过合适的成像协议被自动地完成，所述合适的成像协议通过通信网络向成像装置的控制单元CC发送合适的设置命令。替代地，采集参数AP可以由用户通过被通信性地耦接到CC的控制台(未示出)来设置。在X射线成像中，采集参数可以包括以下中的任何一个或多个：扫描类型、身体部分、XR源(管)XR设置(诸如mA、mAs、kVp、旋转时间、准直设置、螺距等)。“扫描类型”能够是螺旋的或轴向的，和/或可以指定要被成像的感兴趣区域(ROI)，诸如胸部、肺部、肺栓塞、心脏等。“螺距”是多切片螺旋CT中的参数，并且被定义为检查台增量对探测器准直内的比率。如果需要通过重建模块RECON的重建操作，诸如在CT或MR中或在发射成像(PET/SPECT)中，这可能需要重建参数的指定来相应地调整重建算法。在CT重建中设想的合适重建参数可以包括以下中的任何一个或多个：重建滤波器、重建算法(例如，FBP、iDose或IMR)，切片厚度、切片增量、图像尺寸(在像素或体素为单位，m x n)和视场等。

采集参数指定成像装置要如何操作以采集图像信号，所述图像信号然后被转换成图像值。重建参数描述图像值如何被转换成其他图像值。两个参数(采集参数和/或重建参数)因此影响初始输入影像中的图像值或其分布。采集参数AP和/或(如果适用的话)重建参数RP可以被共同成为“成像参数IP”。简言之，成像参数IP描述影像如何被获得。

继续参考图1，现在更详细地描述针对基于X射线的或MRI成像中的团注剂跟踪的应用情景。在实施例中被单独地或一起用于提出的SSI中的机器学习部件MLC1和/或MLC2可在两种模式中(在训练模式中和在部署中)操作。在下面将会在图6、7和10处更详细地解释的训练模式中，训练数据已经用来调整机器学习部件的参数，换言之，机器学习部件已经在训练阶段中针对预期目的被调整。在部署阶段中，机器学习部件然后能够被使用，对之前未被分析的图像数据进行操作。在下文中，当解释部署期间的团注剂跟踪情景时，假设机器学习部件已经被适当地训练并且为使用作好准备。

在成像情景中，定义的量和类型的对比剂CA在合适的进入点被施予患者。在一些实例中，可以使用股静脉或动脉。

目标位置ROI由用户(换言之，操作成像的临床医生)手动地定义或由机器学习部件MLC2自动地供应，机器学习部件MLC2是背景定义器MLC2。例如，由患者更早地采集的初始影像可以用来定义目标位置ROI。

用户可以例如实现影像在显示设备DD上的显示，并且用点工具(诸如鼠标、触笔或其他目标位置)来选择。一旦目标位置ROI(诸如心脏冠状动脉的一部分)已经被定义并且对比剂的团注剂已经被递送，团注剂跟踪进行如下。

成像器IA被操作为采集以合适的频率或采样速率采集的监测图像的馈送。这可以是每秒一个图像、一个帧(fps)，而且可以是更快的或更慢的。在一些例外的实例中，如果它在正确的时刻被采集，单个监测图像或帧可以是足够的，然而，在大多数实际的情况下，采集针对团注剂到达目标位置的渡越时间的时段内的多个图像。

在团注剂到达目标位置时，指定目标区域ROI中的对比剂的浓度将在它再次下降之前的一定时间内增加。随着浓度增加，这进而将导致如采集的监测帧中记录的强度模式的变化。但是这种模式一般不是固定的，因为它将取决于CA如何随着周围的流体(例如，血液)分散和混合和传播。团注剂的形状在渡越时间期间改变。机器学习允许将各种强度模式与正确触发时间相关联。

监测图像的馈送从成像器IA被转发到团注剂跟踪器MLC2。团注剂跟踪器MLC2处理接收的输入影像以及任选的背景数据，如将在下面进一步更详细地描述的。基于任选的背景数据和输入影像中的观察到的强度模式，然后由跟踪器作出是否触发诊断成像采集的决策。跟踪器MLC2的输出因此是能够被控制台CC的合适机器界面CIF转变成低水平信号的触发信息，所述低水平信号然后被实施影响诊断图像采集。具体地，如果通过当前监测图像的团注剂跟踪器MLC2的分析揭露了还未在目标位置ROI处积聚足够的对比剂，则不触发针对诊断影像的图像采集。然而，一旦跟踪器MLC2按照监测图像中的一个判断已经积聚足够的对比剂，就由触发调度输出引起触发信号，并且由成像装置IA执行的诊断成像序列被触发。

在触发之后采集的诊断影像可能需要X射线源XR以比当采集监测影像时使用的那些更高的剂量被操作。在旋转或3D实施例中，当X射线源XR沿着成像轨道或围绕目标位置ROI移动时，需要来自不同方向q的投影影像π。可以针对围绕目标位置ROI的影像使用准直器(未示出)。然而，这不是在所有实施例中都是必要的，只要主射束XB照射目标位置ROI。投影影像π被转发到使用重建算法(诸如滤波反投影)来产生感兴趣区域的轴向图像IM的重建器。这形成诊断图像，其然后能够被存储在存储器中或能够通过合适的可视化软件被可视化在显示设备DD上。取决于临床目的，感兴趣脉管VS的图像可以由临床医生针对狭窄或其他进行检查。

如所提到的，相比于被用于随后的诊断图像IM的剂量，在跟踪阶段期间采集的监测成像可以是更低的剂量。在优选的实施例中，对于监测影像，仅仅投影影像是足够的，而非将投影影像重建成轴向图像，在一些实施例中这仍然可以由重建器完成。

甚至更进一步地，在优选的实施例中，可以使用一次采集的单个投影图像。换言之，在监测阶段期间，X射线源保持不动，并且以设置的采样频率从不同方向q采集单个投影帧。

在其他实施例中，X射线源可以在监测操作期间被移动到不同的位置。

为了减少被施予患者的对比剂的量，本文中提出了使用谱成像装置IA。在实施例中，要被用作监测影像的谱成像数据可以包括以至少两个能量水平采集的图像数据(诸如CT投影图像数据)。本文中设想的其他实施例包括但不限于从利用双层探测器系统采集的CT投影数据重建的感兴趣解剖结构ROI的CT图像，所述双层探测器系统将探测器处的X射线通量分层两个能量水平。另外，通过光子计数探测器采集的谱CT数据能够被使用。再替代地，本文中还设想了具有均被配置为以不同能量水平采集影像的双X射线管的成像器。这些实施例中的任一个中记录的谱图像原始数据然后可以被计算地处理以在谱分析中计算地导出谱影像。例如，一种方法可以通过在康普顿散射与光子吸收效应之间进行区分或通过区别不同的物质类型(物质分解)。针对两种效应中的一种或针对选定物质的预定影像然后可以被计算。

换言之，如本文中使用的谱成像包括使用探测器硬件和/或信号处理技术的能力，其允许将探测器信号分解成不同的能量水平以便提取对总体信号的物质特异性贡献。优选地，要被使用的对比剂CA在被X射线源使用的能量范围内具有其K边沿下降。然后可以获得对比剂影像，其中，图像对比度准确地遵循当前对比剂浓度。从谱成像获得的对比剂影像可以是投影图像或重建图像。优选地，诸如投影或成像域中的对比剂图像被用作上面提到的监测影像。更优选地，几个(优选地单个)投影图像在监测期间被一次采集，并且分别被MLC2处理以建立触发时间。

已经发现，由于在投影影像和/或从其重建的影像中编码的谱信息，较低剂量的对比剂可以足以仍然产生临床诊断上有价值的图像并且鲁棒地拾取正确的触发时间。

在一些实施例中，但不一定在所有实施例中，并且如上面提到的，通过背景寻找器MLC1自动地寻找目标位置ROI。背景寻找器MLC1一般是与跟踪器MLC2不同的机器学习部件，并且被配置为使用要被用于诊断成像的背景数据(诸如成像协议)来自动地寻找目标位置ROI。如此寻找的目标位置可以用来自动地命令控制台发出合适的控制信号来相对于如此寻找的目标位置ROI合适地定位X射线源和探测器。准直器(如果有的话)也可以被相应地调整以围绕目标位置ROI进行准直。替代地或另外地，可以在团注剂跟踪程序的设置期间在被显示在显示设备DD上的之前图像上图形地指示如此寻找的目标位置。

通过背景寻找器MLC1寻找的目标位置ROI可以作为输入被转发到跟踪器MLC2，并且这可以被用作背景信息。额外地或替代地，背景寻找器可以提取合适的团注剂跟踪参数BTP，所述团注剂跟踪参数BTP也可以被供应作为针对跟踪器MLC2的背景数据，即，非图像输入数据。团注剂跟踪器MLC2因此能够使用图像信息(即监测影像)结合背景信息来更鲁棒地检测用于诊断成像程序的合适触发时间。尽管已经描述了结合地使用跟踪器和背景寻找器，但是任何一个能够单独地且独立于另一个地被使用。例如，如所提到的，跟踪器可以在具有或没有可以由用户而非背景寻找器提供的背景数据的情况下仅使用监测影像。同样地，对于其运行，背景寻找器可能不一定需要跟踪器，并且例如出于教导目的，可以在预期感兴趣区域、目标位置上提供指示。

背景寻找器MLC1对其操作的输入数据可以自动地或按用户需求从合适的数据库(诸如医学患者记录)检索。额外地或替代地，背景寻找器可以使用图像数据(诸如侦察图像、现有影像或其他)来基于其建立预期目标位置ROI。

现在参考图2，其更详细地解释了团注剂跟踪机器学习部件MLC2的方面。优选地但不一定在所有实施例中，跟踪器MLC2被布置为人工神经网络(在本文中被称为“NN”)，具体地为卷积神经网络(在本文中被称为“CNN”)。然而，优选地，其他架构(诸如置信网络、支持向量机(SVM)和其他)也可以在本文中被设想，并且如将会下面更详细地解释的，其中，深度架构被使用。在实施例中，深度学习架构包括具有被布置在输入层与输出层之间的至少两个或甚至更多个(诸如五个、10个或多于十个)隐藏层。然而，概念深度学习也适于其他机器学习部件，并不一定束缚于NN架构。下面将会在图10处更详细地解释如本文中将会使用的深度机器学习的概念。

宽泛地，当被布置为神经网络时，跟踪器MLC2包括多个处理节点，有时被称为“神经元”，其能够被认为在被布置在输入层IL或输入接口IN与输出层OL或输出接口OUT之间的多个层中以级联方式被组织。然而，这不一定是空间的，因为节点的层中的布置主要涉及节点之间的相互连接的方式并且因此节点之间的数据流的方式。神经网络的架构可以被布置为合适的数据结构(诸如，使用例如指针结构布置的二或更高维矩阵)，或者被布置为实施层之间的相互连接。

机器学习部件MLC2可以被保持在合适的存储器MEM中。网络在部署中的操作可以通过计算处理单元(诸如专用的微处理器)被有益地实施。优选地但不一定，处理器PU被布置用于并行计算。在实施例中，使用多核设计。具体地，图形处理单元GPU或更新的TPU能够被有益地用于神经网络所涉及的计算。神经网络结构中的机器学习部件MLC2通过定义网络NN的配置的可能非常大量的网络参数来定义。

配置通过训练来实现，并且将会在下面更详细地进行描述。在训练中，根据从合适的(一个或多个)全集获得的训练数据TD估计潜在映射。假设机器学习部件已经被适当地训练，部署包含将部署输入数据DID应用于机器学习部件MLC2的输入层处。

出于跟踪器的目的的部署DID期间的输入数据包括图像数据ID和非图像数据NID。图像数据包括感兴趣区域或目标位置ROI的影像，现有影像和/或具体地监测影像。图像数据以二或更高维阵列或矩阵的方式被布置为强度值。

在X射线影像中，每个像素值表示记录的辐射的强度，但是对于其他成像模态(诸如磁共振MRI或其他)，每个像素值的“语义学”可能是不同。

非图像数据具体地包括描述要被成像的患者的特性的数据。非图像数据具体地包括背景数据。图像数据具体地包括谱图像数据，因为这已经被发现即使在低对比剂浓度的情况下相比于能量积分的图像数据也产生良好的对比结果。

非图像数据也可以包括要被使用的成像参数IP。部署DID期间的输入数据也可以包括团注剂跟踪参数BTP，其本身可以由非图像数据或图像数据部分地构成。具体地，团注剂跟踪参数本身由另一机器学习部件(诸如要在下面更详细地描述的背景寻找器MLC1)供应。

团注剂跟踪器信息一般描述考虑到患者特性(诸如血液的流动性或粘度或其他身体生理学特点)而预期团注剂传播通过患者的方式。具体地，团注剂跟踪信息可以包括预期渡越时间。额外地或替代地，团注剂跟踪信息可以包括目标位置ROI处的针对正确量的对比剂的预期强度模式。BPT描述团注剂在其经过管道期间的行为并且具体地其ROI处的外观。额外地或替代地，团注剂跟踪参数BTP可以包括从进入点到目标位置ROI的预期渡越时间。BTP可以允许数据的个性化。BTP也可以在背景方面是有用的，其中，两种或更多种对比剂物质被施予，例如在谱或光子计数系统中出于物质分解目的。在这种或类似的背景下，BTP可以包括两种不同的渡越时间，针对每种类型的对比剂一种。如本文中设想的提供BTP作为到团注剂跟踪器的输入允许使团注剂跟踪器的操作更鲁棒。可能错误触发的似然能够在BTP将团注剂跟踪器的机器学习算法的情况下被降低，以用于更现实的解决方案。

部署DID期间的输入数据通过有线或无线连接从数据库部分地接收，并且被应用于机器学习部件的输入层。另外，图像数据(具体地监测影像)以采样频率被重复地应用于输入层IN。被应用于输入端口的部署输入数据(其也可以被称为全局输入数据)传播通过网络MLC2，以产生一系列中间输入和输出层，并且然后最终在输出层OL处合并为变换的全局输出。以这种方式将数据应用于网络在本文中可以被称为前向传播。

在团注剂跟踪实施例中，全局输出数据OD具体地包括控制成像装置的操作的触发调度，具体地触发用于诊断成像的图像采集的规定。然而，输出数据也可以包括用于成像装置的其他控制参数，诸如能量设置(X射线管的电压和/或安培数)、准直器设置和用于X射线或其他模态的任何其他成像参数的设置。在实施例中，输出可以是二值的，其中，例如“0”(零)被编码为“保持”，即，不触发诊断成像采集，而输出“1”编码对诊断成像操作的请求。其他编码方案也可以被使用。

在下文中更详细地描述机器学习部件MLC2之前，将会描述与机器学习部件实施为卷积网络或一般地完全连接神经网络特别相关的几个部件。宽泛地，机器学习部件的类似NN的结构可以包括被至少部分地相互连接并且被布置在不同层中的多个节点。层以一种或多种顺序进行布置。每个节点是能够接受值的入口，和/或能够基于它从更早层的一个或多个节点接收的输入产生输出。

在实施例中，一些或每个节点与能够是简单标量值(节点权重)而且也能够具有更复杂的线性或非线性函数的某一函数相关联。两个不同层中的节点之间的“连接”意味着更晚层中的节点能够接收来自更早层中的节点的输入。如果不存在被定义在两个节点之间的连接，则两个节点中的一个的输出不能被另一个节点接收作为输入。节点通过将其函数应用于输入而产生其输出。这能够被实施为接收的输入与节点的(权重的)标量值的乘积。来自不同节点的多于一个输入可以被更晚层中的节点接收。不通的输入可以被合并函数g合并以产生合并值，并且接收节点将它自己的函数f应用于该合并值以产生节点的输出。例如，g可以将接收的来自更早节点的输入映射到乘积的和(例如，点积)内，并且节点的函数f然后可以被应用于所述乘积的和。

连接可以具有它自己的权重(“连接权重”)。权重用来对沿着该连接行进的输出进行加权。合并函数可以使用连接权重组合针对给定节点的所有接收的输入，以产生合并的点积输出。层之间的连接可以是固定的，或可以在处理期间改变。一些层可以是完全连接的，而且其他可以不是。如果层中的每个节点与之前层的所有节点连接，则两个层是完全连接的。在部分连接的层中，不是更晚层中的所有节点都被连接到更早层中的所有节点。

给定层的所有节点的输出在本文中可以被称为“层的输出”，并且从更早层接收的输入在本文中可以被称为“层的输入”。

每个层可以被表示为二维、三维或更高维的矩阵。如果维度是三或者更高，则矩阵通常被称为张量。节点被实施为那些矩阵或张量中的条目。每个层具有尺寸(行i和列j)、深度k(其可以大于1)和可能另外的维度。替代地，尺寸、深度和一个或多个另外的维度可以通过除了矩阵或张量之外的其他数据结构来实现。

神经网络结构中的MLC分量包括一个或多个初始输入层IL和一个或多个最终输出层OL。初始输入层IL是其中分别接收初始图像IM和成像参数Ip，通过填入节点或通过呈现最终结果以便由转换电路CC或其他进一步进行。到输入层的输入是初始输入，并且输出层处的输出是最终输出。隐藏层处的输入和输出可以被称为中间输入和输出。

不同类型的层可以具有不同的功能，并且因此应用不同的操作。在更详细地解释MLC2的操作之前，我们现在首先转向讨论不同类型的层，不同组合或其子组合中的本文中设想的一些或所有，具体地(但不仅仅是)针对CNN类型的网络或具有至少一个CNN子网络的网络。

本文中设想的NN层类型组合地包括以下中的任何一个或多个或所有：完全连接层FL、卷积层CL、去卷积层和池化层P、激活层R。

具有步幅>1的卷积层和/或池化层可以用来实施一个或多个下采样层。额外地或替代地，下采样层可以通过内插或通过去卷积来实施。

层类型可以被分组成单元以形成各种操作单元，例如以不同等级水平实施处理。尽管将层分组成2、3或更多个层的这种单元能够在被表示为矩阵/张量和矩阵/张量相乘时具有实施优点，但是不一定在所有实施例中都设想了分组。

池化层作用于来自之前层的一组输入上，并且将这些瓦解成单个输出，因此减小输入数据的维度。瓦解可以以均在本文中的实施例中设想的不同方式来完成。在最大或最小池化中，产生相应组输入中的最大值或最小值作为输出，在平均池化中，形成组中的值的平均值以产生输出。

现在更详细地转向激活层R，这可以使用任何非线性函数来实施，包括基于逻辑的S形函数、arctan、softmax、修正函数(x

接下来转向完全连接层FC，本文中设想的MLC中的层不一定是完全连接的，但是在实施例中网络MLC确实包括两个或更多个完全连接层。完全连接层在上面的图3中被示为FC。完全连接层FC表示更传统的非卷积NN分量，其中，每个节点与其激活函数和权重相关联。FC的一个层中的每个节点接收来自之前层中的均根据用于连接的相应权重进行加权的所有节点，如上面在总体介绍中解释的。该总体输入然后被激活函数层R求和并评估。激活函数层被应用于相应节点的权重以产生被传到随后层中的节点上的节点输出。使用FC的优点是建模更复杂的非线性模式。

卷积层CL和去卷积层是非完全连接层的范例。更具体地，这些层不被完全连接到更早层的所有节点。另外，当处理来自更早层的(中间)输入时，连接改变。

在卷积层CL中，中间输出的每个节点通过将将卷积层与更早层的节点的子组进行卷积来获得，因此仅包含所有可能连接的子集。连接然后被重新定义以为下一中间输出层挑选新的一组节点等等，直至整个(中间)输入层已经被处理。

卷积层CL可以被构造为具有尺寸的矩阵，优选地奇数的，诸如具有中心位置的3x3或5x5。卷积/去卷积层也可以具有与它应当被应用于的中间输入的深度相对于的深度。

卷积/去卷积层的尺寸一般小于它作用于的中间输入的尺寸。就像在常规卷积中，去卷积层可以在概念上被认为在其(中间)输入层上面滑动，并且被选择性地应用于不同组节点以产生经滤波的节点作为(中间)输出。卷积操作本身可以包含形成卷积层的节点和/或其中间输入层中的即时组内的所有节点之间的乘积的和。经滤波的节点是去卷积层的奇数尺寸的矩阵的中心节点。

在去卷积层中对新的一组节点的移位可以在概念上被理解为在(中间)输入上面以步幅＝n(n是自然数)滑动卷积层CL以分别针对每组节点产生(中间)输出。步幅是指示每个移位的程度的CNN的设计参数。例如，步幅n＝1意味着当重新定义用于其值要被卷积以获得下(中间)输出节点的值的下一组节点的连接时通过将层CL有效地移位一个节点来获得新的组。对于步幅n＝2，一列或行节点被跳过并且因此对于n>2。应理解，代替上面描述的滑动窗方法，要通过卷积层处理的输入层可以替代地被分解成部分(瓦片)，并且这些中的每一个然后分别与卷积层进行卷积。

如果卷积层延伸越过它作用于的其中间输入层的最外节点，零填充可以被使用。卷积/去卷积层可以如所描述的那样被顺序地应用，或可以在整个中间输入层中被并行地应用。

去卷积层实质上是对由卷积层CL引起的卷积的逆操作。卷积层最初从像素映射到逐渐更高水平的特征，而去卷积操作将特征映射回到像素。在功能上，去卷积能够根据如上面讨论的卷积层中使用的卷积操作被公式化，所述卷积操作然后被求和，可选地在处理的位置附近具有相应的局部零填充。例如参见M D Zeiler等人的“AdaptiveDeconvolutional Networks for Mid and High Level Feature Learning”(2011International Conference on Computer Vision,Barcelona,Spain)中的第二节。去卷积层D也可以被表示为具有适当深度的矩阵。

因此，如果步幅为1，卷积和去卷积层一般保留其(中间)输入的尺寸。否则，它们能够充当下采样层。下采样被类似地构造为卷积/去卷积层，但是它们不同地作用于其输入数据。下采样/上采样层(在本文中也被简称为“下”或“上采样器”)可以是奇数或偶数尺寸的。下采样层将更早层中的一组节点聚集在一起以产生用于随后输出层的单个节点，因此减小(中间)输入层的空间(更少的行和/或列)。这能够通过形成平均值或通过从所覆盖的一组节点拾取最大/最小值或任何其他指定值来完成。组的尺寸的对应于下采样层的尺寸。

上采样器类似相反地作用于下采样器，并且在其输出处产生节点的更大集合，优选地通过输入节点之间的内插。卷积/去卷积和上采样/下采样功能可以在同一层中被组合。例如，卷积和下采样可以被实现为具有步幅>1(诸如2或更大)的卷积。以类似的方式，去卷积可以与上采样功能进行组合。

现在参考图3，这示出了如本文中在实施例中设想的用于跟踪器MLC2的前馈神经网络架构。网络是混合类型，并且包括卷积CNN子网部分和完全连接部分子网以及组合来自两个子网的输出的组合器级。在部署期间被供应给输入层IN的全局输入数据DID可以包括如上面提到的监测图像数据ID和可选地背景非图像数据NID。

图像数据ID具体地包括监测图像(帧)的馈送，但是在例外的情况下，单个监测图像可以足以建立触发时间。(一个或多个)监测图像优选地是投影或图像域中的谱图像。替代地，卷积能量积分的影像可以被使用。优选地，投影域影像被使用，并且仍然更优选地，单个投影图像在监测期间被一次采集。

非图像数据NID可以包括患者临床数据、成像参数IP或BTP的至少一部分中的任何一个。BTP可以包括描述感兴趣位置处的团注剂的预期强度轮廓的图像数据分量。在这种情况下，BTP的图像部分然后在本文中被处理为图像数据ID的一部分。BTP或其部分可以由背景寻找器MLC1供应。非图像数据形成背景数据，并且也可以包括生命体征测量，诸如心率、血压等。额外地或替代地，BTP可以包括可能依赖于所使用的特定对比剂和/或依赖于患者数据(诸如生命体征测量)的预期到达时间。图像和非图像数据可以被应用于单个输入层，然而优选地，单独的专用输入层被用于每个。优选地，还存在分别用于非图像数据和图像数据的隐藏层的单独集合。在实施例中，MLC2因此可以被认为是两个单独的卷积神经网络架构被组合。实际上，非图像数据可以由一个子网络(其是完全连接的或CNN)处理，并且图像数据可以由另一子网络(其优选地是CNN)处理。相应的输出然后可以被合并成充当组合器级的第三分量。组合器级可以它自己包括神经网络架构，不一定是CNN。具体地，处理图像数据的子网络优选地是CNN，而处理非图像数据的子网络可以是完全连接的NN，因此不是CNN。

现在更详细地转向图3中的实施例，在实施例中，用于处理非图像输入数据的子网络可以被实施为其输出如图3上示出的那样被传过激活层的单个完全连接层FL。替代地，两个(或更多个)完全连接层被串联地布置，一些或每个具有由相应激活层AL处理的其相应输出。

另一方面，图像数据的处理可以被实施为包括一个、两个或三个卷积层CL的CNN，一些或每个具有它自己的激活层AL。中间输出在最终卷积层FL的激活层处合并。

用于图像数据和非图像数据的两个子网络的中间输出然后可以一起被馈送到组合器级处的一个或多个完全连接层内。输出层处的该输出然后可以被转变成控制命令并且被发送到控制台和成像器的成像接口CIF以触发出于诊断目的的成像。如果需要二值输出来编码是否开始诊断成像，可以使用将输出转换为“0”或“1”的下游S形层L。通常，零可以指示不开始诊断成像，而一编码用于诊断成像的开始信号。其他编码可以被替代地使用。S形层的使用实质上影响有益地为一的阈值化，更早层根据是否开始诊断成像的概率产生输出。只有概率高于当前监测图像表示感兴趣位置处的足够高的对比剂量的阈值p％，S形层然后才可以用来触发成像。阈值可以被设置为例如p＝95％或其他合适的值。百分比阈值p可以是用户可调的。在备选实施例中，不存在阈值化。替代地，概率是跟踪器MLC2的最终输出，并且在显示设备DD上被显示给用户。如果概率被认为足够高，那么用户手动地触发诊断成像。

如图3中示出的架构是示范性实施例，并且本文中在实施例中也设想了CNN和完全连接的NN的其他组合。而且，如所描述的层的精确顺序和数量可以改变，并且所有这样的排列和变体在本文中被设想用于不同深度中的架构，其中，深度至少2、5、10或更多。

现在参考图4中的方框图，其提供了关于根据背景寻找器实施例的机器学习部件MLC1的更多细节。基本部件是如上面在图3中描述的，其中，相同的数字只是相同的部件和数据。

背景寻找器也可以被实施为包括卷积网络CNN的神经网络架构。如在上面关于图2提到的，除了神经网络之外的其他机器学习技术也可以被替代地使用。

部署期间的输入数据DID再次包括图像数据ID和/或非图像数据NID。如在上面关于团注剂跟踪器提到的，非图像数据形成背景数据。背景数据可以还包括生命体征测量，诸如心率、血压等。

图像数据可以例如包括第一图像，诸如感兴趣解剖结构的第一CT扫描。该第一图像具有宽到足以覆盖包括ROI的身体区域的视场。非图像数据可以包括指示哪个感兴趣区域要被成像的扫描协议。

输入数据可以诸如在医学记录或其他临床数据或一般地背景数据中进一步描述患者。

在部署期间，输入数据DID被供应给网络MLC1的输入层，并且被传播通过其中，以获得输出层OUT。在该实施例中，输出数据包括例如根据在输入层处供应的图像数据ID中的坐标的目标位置ROI的指示。换言之，ROI的位置由背景寻找器MLC1自动地递送，优选地根据要被成像的特定患者的坐标。这种自动ROI寻找能力可以被有益地用于多ROI成像情景中，其中，提出的系统能够使ROI位置适应于患者参数。额外地或替代地，输出数据可以指定描述目标位置ROI处的预期性质和行为的BTP。

现在参考图5，这示出了使用神经网络架构用于背景寻找器MCL1的具体实施例。

如之前在图3中，总体网络结构可以由子神经网络结构构成，一个用于图像数据ID，并且一个用于部署期间的全局输入数据的非图像数据DID。

非图像数据NID(诸如预期成像协议IP和/或患者数据PD、医学记录等，一般地，描述要被成像的患者的数据)可以被馈送到包括一个或两个完全连接层FL的前馈完全连接网络内。在图5中的实施例中，顺序地示出了均具有激活层AL的两个完全连接层FL。该子网络处理非图像数据。该子网络的输出然后可以被馈送到被配置为处理图像数据的第二子网络内。

现在更详细地转向第二子网络，这可以被布置为卷积网络架构。具体地，在实施例中，并且如图5中示出的，使用“U-Net”架构。U-Net网络已经例如由O.Ronneberger等人在“U-Net:Convolutional Networks for Biomedical Image Segmentation”中描述，在Navab N.等人(Eds)的“Medical Image Computing and Computer-AssistedIntervention–MICCAI 2015,MICCAI 2015、Lecture Notes in Computer Science”(Springer,Vol 9351,pp 234-241)中公布。

更一般地，并不一定在U-net架构中，被配置为处理图像数据ID的网络可以包括两个链段，一个下采样链段DS和一个上采样链段US，链段被顺序地布置，US在DS的下游。在备选实施例中，反向的布置也被设想。

宽泛地，在下采样链段DS中，输入图像数据的数据维度通过一个或多个下采样层被逐渐地减小。这允许实现图像数据的低维表示以更好地防止不期望的拟合效果。在实施例中，在随后的上采样链段中，上采样层用来对数据维度进行上采样以与如在输入层IL处接收的全局输入图像数据重新匹配。

下采样链段DS可以包括顺序地布置的一个或多个下采样层，一些或每个具有其激活层。下采样层可以被实施为具有大于1的步幅的卷积层和/或通过使用一个或多个池化层PL来实施。池化层(如果有的话)可以与可以具有或可以没有大于1的步幅的相关联的卷积层CL进行组合。

在下采样链段DS的最后一层处，出现的中间输出然后被馈送到上采样链段US内。如所提到的，上采样链段由一系列(一个或多个)上采样层构成。上采样层的数量一般匹配下采样链段DS中的下采样层的数量，以便实现全局输出处的相同维度。然而，不是在所有实施例中都是这样的情况，其中，上采样链段处的输出的维度不同于如在输入层处接收的维度。

上采样层USL可以被布置为去卷积层或为内插层，一些或每个已经附接激活层AL。在实施例中，(另外的)相应的卷积层CL与上采样层USL、任选地与如图5中示出的那样插入的激活层进行组合。

在实施例中上采样链段US的终结处的中间输出然后与组合器级中的非图像数据处理网络部件的输出进行组合以一起被处理。组合器级可以由单个层(诸如具有其激活层的卷积层)形成。组合器级连接到输出层OL，其中，最终输出根据BTP中的任何一个或两个和要被成像的感兴趣区域或感兴趣位置的指示出现。

任选地，最终输出中的一个或两个(BTP和/或ROI)然后可以作为初始输入被馈送到跟踪器网络MLC2内，如之前在图2和3中描述的。

除了或代替如上面描述的那样在组合器级处组合非图像和图像数据示出，网络MLC1可以包括将来自非图像处理子网络的中间输出馈送到上采样链段内(如图5所示)和/或到下采样链段内的一个或多个交叉馈送链路XL。更具体地并且在实施例中，非图像数据在多个这样的交叉链路中被馈送到上采样链段US或下采样链段DS的一些或每个层内。

除了或代替这样的交叉链路，可以存在从下采样链段中的一些或每个层(具体地从激活层AL)馈送到上采样链段US的相应层内(具体地到其中，的(一个或多个)去卷积层CL内)的一个或多个图像数据交叉馈送链路。两个链段的交叉链接允许将网络MLC1配置用于多尺度识别。

如图5中示出的架构是示范性实施例。本文中在备选实施例中也设想了CNN和完全连接NN的其他组合。而且，如所描述的层的精确顺序和数量可以改变，并且所有这样的排列和变体在本文中被设想用于不同深度中的架构，其中，深度至少2、具体地多达并且包括5、或更具体地多达并且包括10或更多。

作为变体，图5的架构可以被替代地或另外地用于团注剂跟踪器MLC2中。同样地，按照图3的团注剂跟踪器的架构可以被替代地或另外地用于背景寻找器MLC1。

现在参考图6，这示出了如上面在图4、5中描述的用于训练机器学习部件MLC1的系统的方框图。

在输入层处接收的训练数据TD包括训练图像数据TID和/或非图像数据，后者具体地包括指示哪个ROI要被成像的成像协议。

在训练开始之前，机器学习部件在选定的模型(例如，完全连接NN、CNN架构或其他)中进行设置，并且然后架构初始模型参数(例如随机参数)或利用相同的参数被初始化。换言之，并且使用CNN作为范例，用于节点连接、滤波器等的权重被预先填入。CNN中的选定架构定义例如隐藏层的数量、激活函数的类型、卷积层滤波器(如果有的话)的尺寸和形状等。

学习算法然后在合适的处理单元PU上运行。学习算法可以被公式化优化问题。目的是优化目标函数。训练数据中的每个样本在初始化时被应用于机器学习部件。机器学习部件在其输出层处产生训练输出数据TOD，其然后借助于目标函数与参考训练数据TRD进行比较。最可能地，可能在参考数据TRD与目标训练输出数据TOD之间带来误差，并且该误差通过目标函数来测量。优化算法然后重新调整当前(初始)参数，并且如果需要的话，为网络重新填入新的或更新的模型参数NP。程序然后被迭代地重复，并且训练数据TD的新项被馈送到机器学习部件内。在迭代的过程期间，网络参数被重新调整以最终到达用于背景寻找器MLC1的完全训练版本。训练参考数据TRD可以具体地包括如历史阶段的团注剂跟踪阶段中使用的历史BTP和根据图像坐标或以另外的方式的ROI的合适识别。

在图7中概述了用于跟踪器实施例MLC2的类似训练程序。在这种情况下，训练数据TD包括在历史(更早)团注剂跟踪阶段中针对其他患者采集的监测影像。具体地，引起那些历史阶段中的诊断图像采集的监测图像被用作训练图像数据。训练输入数据可以包括背景数据NID(诸如BTP)和可选地如上面描述的患者的临床数据。参考训练数据RTD具体地包括那些历史阶段中的触发时间。训练如在上面关于图6描述的那样进行。尽管跟踪器优选地被设想为仅在部署中对投影图像操作，但是在训练中可以有益的是提供作为训练输入数据，投影影像和图像域中的相关联的被重建图像两者。

应理解，图6和7中描述的训练系统可以使用优选地被配置用于并行计算的GPU或类似的处理器(诸如多核处理器和其他)来实施，许多已经在上面关于部署进行描述。

用来调整机器学习部件MLC1和MLC2的参数的学习算法将会取决于所选择的架构。例如，对于如本文中主要设想的包括卷积网络的神经网络，可以使用梯度和下降优化方案(诸如反向传播算法)。对于其他架构(诸如决策树或支持向量机)，可能需要不同的优化方案。

支持系统SSI和训练系统中的总体相应输入端口/接口IN允许将输入数据(出于训练或部署目的)应用于输入层IL。类似地，总体输出端口OUT从相应输出层OL读出输出数据。端口IN、OUT可以与相应层IL、OL逻辑地或物理地组合。

现在将在下面的图10处进一步详细地描述训练数据的学习阶段和选择。

现在首先转向图8和9，这些示出了描述突出上面描述的图2-5中的预训练的机器学习部件MLC1、MLC2的操作的方法的流程图。然而，应理解，如图8和9中呈现的以下方法也可以被理解为凭借它们自身的能力进行教导，并且可以具体地不一定束缚于上面在图2-5中描述的架构存在。

现在首先转向图8，这描述了用于支持具体地团注剂跟踪实施例或类似的情景中的成像的方法，其中，观察到物质朝向感兴趣位置传播通过管道。

在步骤S810处，接收输入数据。输入数据具体地包括目标位置的通过成像装置(诸如X射线装置)采集的输入图像。优选地，X射线成像装置被配置用于谱成像。尽管在一些情况下单个图像可以是足够的，但是通常以预设或可调的采样频率接收在时间系列中采集的多个图像的馈送。

监测图像可以是从投影影像重建的图像域影像：然而，优选地，投影图像本身可以被使用。在一个实施例中，以所需的采样频率一次采集单个投影图像。可以遍及监测阶段从固定方向采集投影图像，但是在备选实施例中，方向的改变仍然可以被设想。

在其他实施例中，例如也设想了通过X射线源的移动的从一个成像方向到另一个的改变。

在步骤S820处，然后通过预训练的机器学习部件来处理监测影像。

在步骤S830处，机器学习部件MLC2产生指示传播的物质到达目标位置的输出。

输出可以是二元的，并且可以指定图像装置的成像操作是否要被执行。具体地，设想了诊断图像操作的触发。

在随后的步骤S840处，如果输出数据如此指示，则可以开始诊断成像。如果输出数据指示基于当前监测图像不应当开始诊断成像，则方法的过程流返回到接收步骤S810，并且处理针对馈送中的新接收的监测帧重复。

在诊断成像中，与监测阶段不同，通常以被用于监测图像的序列更高的剂量采集影像。例如在CT中，触发事件引起X射线源围绕感兴趣位置移动(不一定一次完整的回转)，以所需剂量从不同方向采集多个投影图像，其然后被重建器组装成轴向图像。被用于采集监测图像的成像器IA优选地被合适地装备并且被配置用于谱成像，并且在步骤S810处接收的监测图像是谱图像，优选地适应于所使用的对比剂的物质特性。

然而，应理解，触发命令被发送给第二成像装置以执行诊断成像，而监测影像由另一成像装置采集。优选地，然而，同一成像装置被用于监测影像和诊断成像的采集两者。

由机器学习部件在步骤S820处产生的输出数据可以需要被转变成更低层硬件命令，并且能够通过合适的接口来完成以实际上实现诊断成像操作(具体地诊断成像采集操作)的开始。

然而，应理解，由机器学习部件产生的输出数据也可以被设想用于除了仅仅触发图像采集序列之外的成像装置的其他控制操作，诸如停止正在进行图像采集、在正在进行的采集期间改变成像参数(例如，从高能量改变为低能量)或其他。

现在转向图9，这涉及支持成像(具体地所描述的背景寻找器的背景或类似的应用)的操作的方法。

在步骤S910处，接收输入数据。输入数据可以具体地包括要被执行的成像操作的规定。额外地或替代地，输入数据关于一般身体特性和/或生命体征(诸如血压、心率等)描述要被成像的患者的对象。

在步骤S920中，输入数据然后被预训练的机器学习部件处理以获得输出数据，基本上与上面在步骤S820处描述的一样。

在该实施例中，输出数据在实施例中指示要被成像的患者内的目标位置。它可以例如根据图像坐标指示感兴趣解剖结构(诸如冠状动脉、肝脏等)的邻域或中心。额外地或替代地，输出数据可以包括上面提到的为团注剂跟踪参数BPI。

团注剂跟踪参数PTB是能够建立团注剂是否已经到达目标位置的参数。具体地，BTP至少部分地描述团注剂朝向目标位置传播的方式。这些传播方式例如包括例如关于秒或分钟的预期到达时间。额外地或替代地，PTB也可以根据强度概况曲线描述目标位置处的预期强度模式。预期强度模式对应于在绝对项方面或在浓度方面、和/或在当到达目标位置时的团注剂或其部分的形状上的量。

可以在步骤S930处输出如此获得的输出数据以便进一步处理、存储或其他。

在步骤S930处产生的输出数据的一种应用可以包括在步骤S940处发送该输入数据用于在上面描述的图8中的团注剂跟踪方法中使用。在该实施例中，所产生的输出数据在如上面描述的接收步骤S810处被接收作为背景和/或图像数据。

现在参考图10，这更详细地描述了构成如上面讨论的机器学习部件的训练的基础的处理步骤。具体地，以下步骤还提供关于上面在图6、7处描述的训练系统的更多细节。在训练或学习阶段中，机器学习部件是要学习行动步骤的模型，诸如对于MLC2，团注剂到达检测，或对于背景寻找器MLC1，ROI位置寻找。更详细地：

在步骤S1010处，提供训练数据TD以训练上面描述的机器学习部件，其中，部件被合适地初始化。

宽泛地，训练数据包括被馈送到机器学习部件内的训练输入数据和与训练输入数据v相关联的目标数据v’。目标表示对给定训练输入数据的正确响应。训练数据因此包括被顺序地或并行地馈送到要被训练的机器学习部件内的成批的数据对(v，v’)。

在团注剂跟踪器MLC2训练中或在类似的实施例中，训练输入数据包括如之前在上面讨论的被用作触发诊断成像的决策基础的监测图像数据和背景数据(诸如患者临床数据，患者特性(年龄、性别、体重等)或之前测量的生命体征)，并且在实施例中，前者依赖于团注剂跟踪器参数或成像参数。

在该实施例中，数据的目标部分那么包括为例如在那些更早情况下的相应团注剂的到达时间的合适触发时间，并且特别地，在历史情况下引起相应诊断成像触发的监测图像。

有趣的是，在实施例中，被用作决策基础的训练影像具有指定的或以另外的方式标记的相应感兴趣区域不是必要的。图像全局地用来学习正确的触发或成像控制参数。然而，用于该实施例的训练影像仍然可以包括这种标记的指定，诸如相应感兴趣位置的轮廓或其他图形可视化。

用于训练背景寻找器MLC1实施例的训练数据包括所使用的更早扫描协议、和/或患者临床记录、其他临床数据等，并且任选地，更早的影像依赖于在那些历史情况下。在该实施例中，目标然后依赖于BTP和/或相应感兴趣区域的指定。感兴趣区域/位置能够被图形地表征和/或通过图像坐标来表征。例如，邻域可以被定义在感兴趣区域周围，诸如圆形、椭圆形、或正方形或以另外的形式，和/或相应感兴趣区域的中心部分的坐标可以被替代地或另外地使用。

应意识到，能够从在之前的几十年在全世界的诊所中已经进行的成功的血管造影成像阶段的优选地现有数字记录容易地获得训练数据的获取而无需许多手动努力或根本无需手动努力。以这种方式，能够获得可能几万或几十万对这样的训练数据。上面讨论的大多数训练数据信息例如已经被编码在图像数据本身的头文件中，以广泛使用的DICOM标准的方式存储的图像就是这样的情况。在这种情况和类似的情况下，数据抓取器(诸如脚本程序)可以用来从头文件或从患者的相关联的健康记录自动地提取训练数据。数据抓取器可以访问HIS或其他数据存储库(诸如PACS)。合适的脚本语言(诸如Pearl、Python、PHP或其他)可以用来制定这样的数据抓取器。

例如，与历史血管造影成像阶段有关的头文件或其他记录将会指示流程何时已经在那些历史阶段中开始和诊断成像然后何时被触发，这通过简单的减法而为触发时间提供目标数据。

一旦训练数据被获得并识别，它就可以被转变成结构化格式，诸如数值形式。训练输入数据v、v’可以优选地以二或更高维矩阵的向量的方式被格式化。当卷积网络架构要被训练时，矩阵格式是特别有利的，因为CNN的训练(并且实际上部署)期间的操作可以根据向量和矩阵或张量操作被公式化。

具体地，为了在训练中(而且在部署中)一起处理图像数据和非图像数据，如在图3、5中的网络的合并器或组合器级处完成的，非图像数据可以被重新格式化成能够与图像数据一起被处理的伪图像。这种伪影像的形成可以通过数值地编码数据并且然后将这些数值填入2或更高维矩阵(“数据体积”)来完成。具体地，这种数据体积的相应层可以被填入有相应非图像数据项的相同副本，并且下一数据项的相应副本被填入下一层，等等。通过体积的层然后均保持相应数据项的副本，其中，不同数据项沿着通过非图像数据体积的深度尺寸被布置。以这种或类似的方式，非图像数据然后可以在神经网络架构(具体地CNN)被一起处理。其他重新格式化技术也被设想。

在步骤S1020中，训练数据然后被顺序地或并行地被馈送到相应的学习部件内以获得训练输出数据。

在步骤S1030中，优化算法然后被执行以实现学习。在优化算法中，机器学习部件的初始模型的(一个或多个)模型参数被调整以(可能在一个或多个迭代之后)到达最终的完全训练的机器学习部件MLC1、MLC2，为部署作好准备。学习可以是一次性操作，或一旦新的训练数据可获得，完全训练的机器学习部件MLC1、MLC2可以在一个或多个另外的训练阶段中被进一步训练。一旦以足够量的训练数据被训练，ML部件MLC1、MLC然后就可以在部署中被应用于新的输入数据，即，不是训练数据的一部分的数据。

现在在下面提供了关于上面提到的图10中的方法的步骤的进一步细节。

初始地，机器学习原型、学习模型被设置。学习模型(诸如上面讨论的CNN、NN、SVM或其他)利用参数被初始化，作为设置的一部分。模型可以在初始设置中被填入有随机值或恒定值。这些初始参数然后在训练期间被调整。训练程序本身可以以设置的步数迭代地进行或直至满足停止条件。

本文中设想的一些训练算法能够被公式化为优化问题，其中，优化函数被优化。优化包括目标函数的最小化或最大化。目标函数是网络参数的函数，并且优选地映射成数值。优化包括通过根据所使用的优化算法调整机器学习部件的参数而寻找目标函数的最小值或最大值。不一定以这种方式找到全局最优。在大多数情况下，寻找局部最优(即，局部最小值或局部最大值)可以是足够的。而且，可以直到完全收敛才运行算法到局部或全局最优的迭代，但是对照阈值测量收敛，并且一旦阈值被遵守，就停止迭代。替代地，但是迭代可以根据仍然在多个迭代循环之后被更早地中止。

在与机器学习部件的训练有关的一些优化问题中，这些能够根据要被最小化的损失函数f

一般来说，损失函数f是将v、v’映射到数值的函数。损失函数f

其中，Δ是误差(正数)，并且μ(·)是考虑到模型参数NP的当前集合的合适接近性度量。本文中设想的度量μ包括欧式平方距离(M(v)-v’)

在背景寻找器MLC1的实施例中，以下均方根误差损失函数能够被用于训练：

其中，M(v

在团注剂跟踪器的实施例中，损失函数可以基于针对μ的Kullback-Leibler散度(KBD)。具体地，二值交叉熵损失函数可以被用于训练。在如本文中主要设想的分立设置中，KBD降至二值交叉熵损失函数的以下公式化：

f

其中，v′＝y

应理解，损失函数(2)、(3)是示范性实施例，并且也设想了其他类型的公式化。此外，交叉熵设置(3)可以被额外地或替代地用于训练背景寻找器MLC1，并且(2)中的最小二乘法可以被额外地或替代地用于训练团注剂跟踪器MLC2。

考虑到损失函数，优化(具体地最小化问题)可以被公式化为寻找将损失函数(局部地或全局地)降至最小值的模型参数NP：

argmin

替代地，可以仅仅需要(4)降至预定接受阈值之下f

优化(4)可以经受正则化以强制要在参数空间中寻找的模型参数解的某些期望性质。正则化可以通过将要在求解(4)时考虑的函数约束来实施。在实施例中，正则化可以例如通过稀疏约束来强制。除了或代替显式正则化，其他隐式正则化设置可以通过诸如在CNN建模中将一个或多个丢弃(drop-out)层包括到模型内来实施。丢弃层随机地或以确定方式切断不同层中的节点之间的连接，以在执行期间将优化算法调整到更简单的解，以防止过度拟合现象。

如果机器学习部件是人工神经网络(诸如完全连接网络或卷积网络或其组合)，递归或前馈类型、梯度下降类型优化中的任一种可以用来求解(4)，在一个实施例中，其包括反向传播算法。

当优化算法执行时，(当前)模型参数被递增地调整以便最小化损失函数，这种调整在针对给定训练数据项i的多个迭代循环内被重复。存在在训练数据输入的不同项内迭代的第二迭代。以这种方式，双循环被实施。应意识到，损失函数的累积贡献测量优选地由训练数据集中的所有项引起的所有误差的累积贡献。

在一个实施例中，其中，反向传播被使用。在该实施例中，训练数据被应用于具有当前模型参数的NN模型。训练输入数据被前向传播通过其中以获得训练输出数据作为最终输出。目标与训练输出之间的损失或偏差根据网络中的个体神经元节点的误差贡献来表示。这些误差贡献在反向传播步骤中被建立，其中，如通过损失函数测量的总体误差依赖于其对误差的贡献而跨神经元被分布。贡献通过其连接的当前权重来测量。误差贡献然后在梯度下降步骤中用来改善损失函数，通过在更新步骤中调整当前的新网络参数。如此更新的模型参数然后在下一迭代步骤中通过将训练数据前向传播通过(新更新的)网络而被用于相同的数据集，等等。

尽管像机器学习部件的网络(诸如人工神经网络CNN)的学习依赖于所描述的基于下降的优化方案(诸如反向传播)，其他备选优化方案也可以被有益地使用。这些备选方案包括例如共轭梯度下降方法、随机梯度下降方法、BFGS方法、Nelder-Mead方法、Newton-Raphson算法和其他。然而，这不是说基于梯度的方法在所有实施例中都是必定需要的。在其他实施例中，具体地在要被训练的机器学习部件具有非类似网络的结构的实施例中，也可以使用其他优化方案(统计、随机或其他)。本文中设想的非类似网络的机器学习部件的备选方案包括上面提到的支持向量机、决策树、回归方法，所有都在本文中在备选实施例中被设想。

尽管在本文中主要设想了人工神经结构(诸如卷积神经网络结构)或其他(诸如完全连接结构)，但是这不排除其他类似网络的机器学习设置，诸如(深度)置信网络、玻尔兹曼机器、而且马尔可夫模型、随机场和其他图形模型。至少为这种种类的机器算法所共有的是它们由多个处理节点构成，每个处理节点能够产生它们从它们连接到的其他节点接收或传到它们连接到的其他节点的输入和输出。

如更早提到的，如果深度学习架构被使用，已经观察到提出的系统产生良好的结果。深度学习的概念不仅适于神经网络，而且适于其他备选网络类型机器学习架构。在如上面讨论的前馈人工神经网络中，深度对应于输入和输出层之间的隐藏层的数量。然而，在其他网络中，这种对应可以不一定如此。网络深度的一般概念能够根据通过网络的原因路径被定义，所述原因路径将给定最终输出联系到初始输入。该路径描述了对观察到的输出有贡献的所有处理节点。这些路径的长度能够通过路径经过的节点的数量来定义。因此能够例如假设递归网络可以实际上比具有更多隐藏层的前馈网络更深。这是因为在递归网络中，深度通过路径穿过网络结构以产生输出的次数而不仅仅是通过隐藏层的数量来定义。换言之，具有更少隐藏层的递归网络可以比具有更多隐藏层的前馈网络更深。深度以例如最大原因路径长度(“PL_max”)的方式或以根据路径长度的任何其他度量的方式而被测量。

已经发现两者的深度(如以合适的原因路径长度(诸如PL_max)的方式测量)产生良好的结果，但是在本文中也设想了其他更深的架构(诸如3、4、5、6、7、8、9或10或多于10中的任何一个)。在一些实施例中，深度是数十或数百，但是当在部署时和在学习期间深度必须对照响应性来进行平衡。出于本目的，已经发现具有大约10的深度的CNN在部署期间以快速的周转产生准确结果，具有接近准实时性能。取决于硬件和负荷，大约毫秒的性能可以在部署期间被实现，具体地在通过神经网络结构的前馈传播中。

根据成对的输入v和目标v’的训练数据的以上公式化可以暗含监督式学习方法。然而，不存在所需的显式标记。替代地，使用如上面描述的合适数据抓取器在医学数据库中运行合适的搜索是它开始执行提出的学习系统的训练。因此可以将提出的系统称为非监督式学习的实例。例如，本文中不需要诸如图像识别任务中的用于自主驱动的显式标记，这允许实现MLC2、MLC1的高吞吐量和快速的训练。在实施例中也可以考虑加强学习方案和/或各种混合方法。

如上面在图3、5处讨论的网络设置能够被视为具有混合特征，因为它们包括被完全连接的部分和未被完全连接的CNN部分。也设想了具有完全和非完全连接子网络的其他这样的混合网络。纯或混合网络的节点可以在软件中被实施为子例程以实施其激活函数。替代地，每个或一些节点可以在硬件中均被公式化为单独的计算单元。网络可以在部署或训练期间被操作为分布式计算网络。计算负担跨相互连接的计算单元的网络被共享。(联合)云架构可以被有益地用于这些类型的实施例中。这种分布式方法可以被有益地用于具有完全连接和CNN类型子网络的混合网络，其中，子网络通过云中的可能远离彼此但是被通信性地耦合以分别在彼此之间和从彼此提供或接收输入或输出的不同计算单元(例如，服务器)来实施。在备选实施例中也设想了中心服务器上的中心处理。

应理解，ML部件MLC1和/或MLC2和/或其训练可以通过处理单元PU(诸如GPU或其他)被合适地实施。GPU(图形处理单元)或TPU(张量处理单元)被优化以执行张量或矩阵操作(其为一系列点积)。已经发现，张量或矩阵操作能够被有益地用于训练或部署。GPU、TPU或类似的微处理器一般被优化用于并行计算，诸如在多核系统中。

以软件的方式实施上面描述的系统SSI的合适电路被布置在计算设备(诸如固定计算机、工作站(例如笔记本电脑、手持设备、平板电脑或其他))上。

所提出的部署和/或训练也可以被实施在基于客户端-服务器的环境中。具体地，训练或部署可以由基于云的架构中的一个或多个服务器执行。

除了基于软件的电路之外，用于如上面描述的部署或训练的系统也可以被实施为硬编码的微芯片。特定电路(诸如专用集成电路ASICS电路)可以被使用。片上系统(SOC)可以包括分立和/或集成电路和其组合。在备选实施例中，电路可以包括合适地配置的现场可编码门阵列FGPA。具体地，所描述的成像支持系统SSI可以至少部分地集成到成像装置的控制器CC内，或可以以另外的方式被集成到成像装置内。系统SSI可以被集成到与成像装置相关联的工作站或其他计算机单元内。

经训练的MLC可以被保持在中心存储器MEM中，或可以被分布在优选地可连接到终端用户计算设备(笔记本电脑、智能手机、台式计算机等)的多个服务器或存储器设备中以请求根据上面描述的系统中的任何一个的训练和/或部署的执行。

训练和部署可以在硬件设备上运行，或可以在不同的计算硬件上运行。优选地，用于训练的硬件被配置用于比用于部署更高的性能，因为训练会是计算要求更高的。尽管训练最初可以是一次性操作，但是它可以利用新的训练数据被重复。机器学习部件MLC1、MLC2可以被切换成训练或部署模式。

在本发明的另一示范性实施例中，提供了一种计算机程序或计算机程序单元，其特征在于适于在适当计算机化系统上运行根据前述实施例中的任何一个所述的方法的方法步骤。

因此，计算机程序单元因此可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行或诱导上述方法的步骤的执行。此外，其可以适于操作上面描述的装置的部件。计算单元能够适于自动操作和/或适于执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，数据处理器可以被装备为执行本发明的方法。

本发明的该示范性实施例涵盖从最开始使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。

此外，计算机程序单元可以能够提供所有必要步骤，以履行如上面描述的方法的示范性实施例的流程。

根据本发明的又一示范性实施例，提出了一种计算机可读介质，诸如CD-ROM，其中，所述计算机可读介质具有被存储在其上的计算机程序单元，前述章节描述了所述计算机程序单元。

计算机程序可以被存储和/或分布在适当的介质(瞬态或非瞬态)上，诸如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质，但是所述计算机程序也可以以其他形式分布，诸如经由互联网或其他有线或无线(远程)通信系统分布。

然而，计算机程序也可以被提供在如万维网的网络上并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的又一示范性实施例，提供一种用于令计算机程序单元可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的前面描述的实施例中的一个的方法。

必须注意，参考不同主题描述了本发明的实施例。尤其是，参考方法类型的权利要求描述了一些实施例，而参考设备类型的权利要求描述了其他实施例。然而，除非另有说明，本领域技术人员将从以上和以下描述中获悉，除属于一个类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被视为由本申请所公开。然而，能够组合所有特征，从而提供比特征的简单加和更多的协同效果。

尽管已经在附图和上述描述中详细图示并描述了本发明，但是这些图示和描述应被视为是说明或示范性的，而不是限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容和从属权利要求，在实践所请求保护的本发明时，能够理解并实现所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行在权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求书中的任何附图标记都不应被解释为对范围的限制。