使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法

摘要

本发明题为“使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法”。本发明提供了用于根据抽取策略使用一个或多个深度神经网络由测量数据重建图像的方法和系统。在一个实施方案中，一种使用测量数据重建图像的方法包括：接收由成像设备采集的测量数据；选择抽取策略；使用抽取策略和一个或多个深度神经网络由测量数据产生重建图像；以及经由显示设备显示重建图像。通过抽取测量数据以形成一个或多个抽取的测量数据阵列，可将测量数据映射到图像数据的计算复杂性从O(N4)(其中N是测量数据的大小)降低到O(M4)(其中M是单个抽取的测量数据阵列的大小)，其中M

说明书

技术领域

本文公开的主题的实施方案涉及医疗成像，并且更具体地涉及使用深度神经网络来重建医疗图像的系统和方法。

背景技术

医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医疗成像系统可用于获得患者的骨骼结构、脑部、心脏、肺部和各种其它特征的图像。医疗成像系统可包括磁共振成像(MRI)系统、计算机断层摄影术(CT)系统、正电子发射断层摄影术(PET)系统、混合PET/MR系统、X射线系统、超声系统、C型臂系统和各种其它成像模态。

由医疗成像系统获得的测量数据(例如，CT成像中的X射线投影数据，或MRI中的k空间数据)不适合由人类进行视觉分析/诊断，因为其中编码的解剖信息可能是人脑不容易或不直观处理的形式。例如，在MRI成像中，测量数据(也称为K空间数据)包括图像数据的二维或三维傅里叶变换，其中K空间的每个点与对应图像的每一个像素/体素的图像强度相关，因此将K空间数据与其中编码的潜在解剖特征相关对于人类心智而言可能过于困难。因此，测量数据通常被重建以形成以更适合人类检查的形式显示解剖结构的医疗图像，从而使人类专家能够对所采集的医疗图像进行诊断等等。

最近，已经实施机器学习方法来将测量数据直接映射到医疗图像数据，而不依赖于常规方法，诸如滤波反向传播(FBP)、零差算法、零填充方法、字典学习和凸集投影等。机器学习方法可实现更快速的医疗图像重建，从而实现更短的扫描时间和/或更小的扫描辐射剂量。然而，在当前方法中训练和实施能够将测量数据直接映射到图像数据的完全连接的深度神经网络所需的计算复杂性(以及因此时间/计算资源)将医疗图像的矩阵大小增加了四次方。这种“参数激增”限制了在计算受限的环境中实施此类方法或与高分辨率或三维(3D)医疗图像一起使用。因此，通常希望探究使用深度神经网络来降低医疗图像重建的计算复杂性的技术。

发明内容

在一个实施方案中，一种用于由测量数据重建图像的方法包括：接收由成像设备采集的测量数据；选择抽取策略；使用抽取策略和一个或多个深度神经网络由测量数据产生重建图像；以及经由显示设备显示重建图像。以这种方式，可根据抽取策略对测量数据进行降采样/抽取，从而大幅减少一个或多个深度神经网络的参数数量。通过抽取测量数据以形成一个或多个抽取的测量数据阵列，可将测量数据映射到图像数据的计算复杂性从O(N

在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过阅读以下具体实施方式并且参考附图，可以更好地理解本公开的各个方面，其中：

图1示出了图像重建系统的示例性实施方案的框图；

图2是示出能够实施图1的图像重建系统的成像系统的示意图；

图3是示出根据抽取策略使用一个或多个深度神经网络由测量数据重建医疗图像的方法的流程图；

图4是示出使用训练数据对来训练图3的一个或多个深度神经网络的示例性方法的流程图，该训练数据对包括测量数据和对应于测量数据的基准医疗图像；并且

图5示出了根据本公开的示例性实施方案重建的图像与使用常规方法重建的医疗图像之间的比较。

附图示出了所描述的使用深度神经网络和递归抽取策略来重建图像的系统和方法的具体方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在附图中，为了清楚起见，部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。

具体实施方式

以下描述涉及使用神经网络通过递归流形近似由其对应的测量数据重建医疗图像的系统和方法。该方法适用于图像重建，在图像重建中测量数据通过线性变换(例如，傅里叶变换、拉东变换等)与对应的重建图像或对应的结果相关。虽然本文在医疗图像的上下文中进行讨论，但应当理解，本公开提供实质上任何成像模态的图像重建，而不限于医疗图像。试图学习高维流形关系的现有基于神经网络的方法直接受到神经网络的参数数量随着测量数据大小增加而激增的影响，使得此类方法对于在实践中观察到的数据大小不太实际。本公开通过将测量数据递归地抽取为较小的子单元(本文称为抽取的测量数据阵列)，这些子单元通过第一神经网络变换成潜在的流形嵌入(本文称为抽取的图像数据阵列)，实现直接由测量数据重建基于神经网络的图像，其中所使用/学习的神经网络参数的数量减少。之后，使用聚合网络来递归聚合抽取的图像数据阵列，以产生重建医疗图像。使用监督训练以联合方式一起学习第一神经网络和聚合网络两者的参数。

本发明所公开的系统和方法实现将测量数据映射到图像数据的计算复杂性从O(N

由本公开提供的降低的计算复杂性使得能够使用在MRI、CT和PET临床扫描仪中生成的大三维(3D)体积上的测量数据来重建基于神经网络的图像。本公开通过将测量数据抽取到更小和/或更低维度阶数的阵列中来实现测量数据的维度降低，然后可由一个或多个更小的深度神经网络处理该阵列。一个或多个深度神经网络的减小的内存占用使该方法能够在硬件受损的设备诸如移动电话或仅CPU系统上实施。此外，本公开的方法适用于多种成像模态，包括磁共振成像(MRI)、计算机断层摄影术(CT)、正电子发射断层摄影术(PET)、PET/MR和C型臂。本文所公开的系统和方法可实现在现有计算机平台上部署基于机器学习的图像重建，而不需要专用GPU硬件。

在一个实施方案中，图1所示的图像重建系统100可由图2所示的医疗成像系统200实施，以根据图3所示的方法300的一个或多个操作由测量数据来重建医疗图像。简而言之，方法300包括：接收患者的解剖区域的测量数据；根据抽取策略递归地抽取测量数据以形成多个抽取的测量数据阵列；使用一个或多个经训练的深度神经网络将该多个抽取的测量数据阵列映射到多个抽取的图像数据阵列；以及使用一个或多个经训练的聚合网络递归地聚合该多个抽取的图像数据阵列以形成重建医疗图像。图4示出了一种使用联合训练方法来训练方法300中采用的多个深度神经网络和一个或多个聚合网络的方法，其中使用相同的训练数据集一起学习深度神经网络和聚合网络的参数。图5示出了使用方法300的步骤由测量数据重建的第一医疗图像502与使用常规图像重建方法产生的第二医疗图像504之间的比较。

参见图1，该图示出了示例性图像重建系统100。图像重建系统100是根据本公开的图像重建系统的一个实施方案。具体地讲，图像重建系统100实施二进制抽取策略的一个示例，其中将测量数据102划分成第一抽取的测量数据阵列110和第二抽取的测量数据阵列112。应当理解，本公开提供了各种抽取策略，其中可根据一个或多个采样模式和采样密度来采样测量数据，以产生基本上任何数量的抽取的测量数据阵列。例如，可采用三进制抽取策略，其中将测量数据阵列106划分成/抽取成第一抽取的测量数据阵列、第二抽取的测量数据阵列和第三抽取的测量数据阵列。

此外，测量数据102包括对应于重建医疗图像128的二维(2D)k空间数据(也称为傅里叶平面)，该重建医疗图像包括人脑的2D MRI图像切片。然而，应当理解，本公开的方法可用于重建各种成像模态的各种图像，包括3D图像、CT图像、PET图像等。

图像重建系统100可从一个或多个可通信地耦接的设备(包括非暂态数据存储设备)接收测量数据102。在一个实施方案中，图像重建系统100从成像设备诸如成像设备240接收测量数据102，下文将参考图2更详细地讨论。在图1所示的实施方案中，测量数据102包括对应于2D医疗图像的k空间数据的128×128 2D阵列，其中2D医疗图像的强度分布的空间频率(和相位)被编码在作为傅里叶平面的测量数据102内。应当理解，本公开提供了由各种类型和各种维度阶数(包括2D、3D等)的测量数据重建医疗图像，其中测量数据经由线性变换与医疗图像数据相关。

在图像重建系统100接收到测量数据102之后，经由如平坦化104所指示的平坦化操作将测量数据102重新格式化为一维(1D)测量数据阵列106。平坦化104包括测量数据102的向量化，其中测量数据102的2D布置被变换为等效向量。在图1所示的一个实施方案中，测量数据阵列106包括对应于测量数据102的测量数据的16,384行向量。通过使测量数据102平坦化，可更容易地抽取数据，因为2D或3D数据可平坦化为等效的1D表示，其中抽取可以计算上更有效的方式进行。例如，2D采样模式可指示第一维度和第二维度两者中的采样频率，其中，平坦化图像数据的采样模式可使用单个1D采样模式来表达2D采样模式。计算节省对于三维(3D)测量数据甚至可能更多，其中平坦化104可将测量数据的维度从3D降低到1D，从而能够采用包括1D采样模式的抽取策略。

在一些实施方案中，附加数据可与测量数据阵列106连结。在一个示例中，在MRI中，多线圈数据(包括复杂k空间数据)可具有相关联的灵敏度标测图。灵敏度标测图数据可以类似于关于测量数据102描述的方式平坦化，并且平坦化的灵敏度标测图数据可与测量数据阵列106连结。这将提供k空间数据和灵敏度标测图数据两者的连结向量。在其它实施方案中，诸如在彩色成像中，测量数据102可包括多条颜色通道(例如，RGB颜色通道，或CMYK颜色通道，其中每条通道均包括对应于相关联颜色的强度值)。每种相关联颜色的多个强度值可被单独平坦化，然后连结，以产生测量数据阵列106。

然后，可抽取测量数据阵列106，如抽取108所指示。抽取108包括根据抽取策略将测量数据阵列划分成两个或更多个抽取的测量数据阵列，其中抽取策略指示抽取因子、采样模式和采样密度(该采样密度可为抽取因子的函数)中的一者或多者。关于抽取因子，抽取因子可包括大于一的整数或有理分数。抽取因子可用于确定采样速率或采样间隔/模式。例如，如果测量数据阵列106包括16,384行向量，其中每行包括来自测量数据102的不同强度值，并且使用抽取因子4抽取测量数据阵列106，则将产生四个抽取的测量数据阵列，每个阵列包括4,096行强度值。

在图1所示的实施方案中，使用二进制抽取策略将测量数据阵列106划分成第一抽取的测量数据阵列110和第二抽取的测量数据阵列112。在一个实施方案中，二进制抽取策略包括抽取因子2和均匀采样模式，该均匀采样模式可包括将测量数据阵列106的每个奇数行分配到第一抽取的测量数据阵列110，并且将测量数据106的每个偶数行分配到第二抽取的测量数据阵列112。在其它实施方案中，可采用不均匀采样模式，其中采样模式作为测量数据阵列106内的位置函数而变化。应当理解，可使用多个采样模式/采样频率来各自获得产生两个、三个等抽取的测量数据阵列的二进制、三进制等抽取策略，并且本公开提供多个采样模式/频率中的每个采样模式/频率。例如，虽然二进制抽取策略可包括通过在测量数据阵列106中每隔一个选择强度值来生成第一抽取的测量数据阵列，但也可采用其它采样模式，诸如选择测量数据阵列106的两个连续强度值，之后不选择测量数据阵列106的后两个连续值。在另一个示例中，抽取策略可包括不均匀采样模式，其中第一采样模式用于测量数据阵列106的第一部分，并且第二采样模式用于测量数据阵列106的第二部分，等等。

第一抽取的测量数据阵列110和第二抽取的测量数据阵列112可各自包括相同数量的条目/强度值。第一抽取的测量数据阵列和第二抽取的测量数据阵列中的条目/强度值的总和可等于测量数据102和/或测量数据阵列106中的条目/强度值的数量。具体地讲，第一抽取的测量数据阵列110和第二抽取的测量数据阵列112各自包括布置成8,192行向量的8,192个强度值。

第一抽取的测量数据阵列110由第一网络114的输入层接收。在一个实施方案中，第一网络114包括实施为致密层的一个或多个2D卷积层，从而避免通过利用卷积层的平行化而在行和列上迭代。致密层/完全连接层中的每个层可之后使用机器学习领域中已知的一种或多种激活函数进行非线性激活。在一个示例中，通过设置步幅和接收域，使得当前层的每个输出被映射到下一层的每个输入，可将致密层/完全连接层实施为2D卷积层。完全连接层/致密层可包括一个或多个经学习的滤波器，该滤波器将第一抽取的测量数据阵列110的傅里叶平面强度数据映射到第一抽取的图像数据阵列118的图像强度数据。

类似地，第二抽取的测量数据阵列112由第二网络116的输入层接收。在一个实施方案中，第二网络116包括实施为致密层的一个或多个2D卷积层，从而避免通过利用卷积层的平行化而在行和列上迭代。致密层/完全连接层中的每个层可之后使用机器学习领域中已知的一种或多种激活函数进行非线性激活。在一个示例中，通过设置步幅和接收域，使得前一层的每个输出被映射到下一层的每个输入，可将致密层/完全连接层实施为2D卷积层。完全连接层/致密层可包括一个或多个经学习的滤波器，该滤波器将第二抽取的测量数据阵列112的傅里叶平面强度数据映射到第二抽取的图像数据阵列120的图像强度数据。第一网络114和第二网络116的一个或多个完全连接层/致密层的一个或多个经学习的滤波器可经由训练方法诸如下文参考图4所述的训练方法来学习。

第一抽取的图像数据阵列118和第二抽取的图像数据阵列120可各自包括相同数量的图像强度值。在图1所示的示例中，第一抽取的图像数据阵列118和第二抽取的图像数据阵列120各自包括8,192个强度值，该强度值分别对应于第一抽取的测量数据阵列110和第二抽取的测量数据阵列112的8,192个傅里叶强度值。

第一抽取的图像数据阵列118和第二抽取的图像数据阵列120都被输入到聚合网络112的输入层中。在一个实施方案中，第一抽取的图像数据阵列118和第二抽取的图像数据阵列120在被聚合网络122接收之前成行连结。聚合网络122可被配置为接收多个输入数据源。在一个示例中，聚合网络122可被配置为从相同成像模态(例如多线圈MR数据)或从不同成像模态(例如PET/CT数据)接收图像数据。

在图1所示的实施方案中，聚合网络112是1D卷积神经网络，包括一个或多个完全连接层/致密层，包括一个或多个经学习的1D卷积滤波器。聚合网络122的1D卷积滤波器可在训练例程诸如下文参考图4所描述的训练例程期间学习。1D完全连接层/致密层将第一抽取的图像数据阵列118和第二抽取的图像数据阵列120映射到图像数据阵列124。

图像数据阵列124包括由第一抽取的图像数据阵列118和第二抽取的图像数据阵列120的图像强度数据合成的图像强度数据。在图1所示的示例中，图像数据阵列124包括对应于16,384个图像强度值的16,384行向量。

图像数据阵列124被重新成形以产生重建医疗图像128，如重新成形126所指示。重新成形126包括将图像数据阵列124的行重新布置成矩阵。在一个示例中，重新成形126包括在多个预定行处划分图像数据阵列124以产生多个列，并且将行重新布置成预定阶数，从而产生列数等于该多个列数量的矩阵。

重建医疗图像128包括对应于测量数据102的患者解剖结构的医疗图像。在图1所示的实施方案中，重建医疗图像126包括患者脑部的128×128像素2D MR图像。

图1的图像重建系统100实现使用一个或多个经训练的深度神经网络直接由测量数据快速、高效且稳健地重建医疗图像，同时通过根据预定抽取策略抽取测量数据来降低计算复杂性/减少经学习的参数的数量。

参见图2，该图示出了根据示例性实施方案的医疗成像系统200。医疗成像系统200包括图像处理系统202、显示设备220、用户输入设备230和成像设备240。在一些实施方案中，图像处理系统202的至少一部分设置在经由有线连接和/或无线连接可通信地耦接到医疗成像系统200的设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理系统202的至少一部分设置在单独的设备(例如，工作站)处，该单独的设备可从医疗成像系统200从存储由医疗成像系统200所生成的图像的存储设备接收图像。

图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以可选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

非暂态存储器206可存储深度神经网络模块208、图像重建模块212和图像数据214。深度神经网络模块208可包括一个或多个深度神经网络，该一个或多个深度神经网络包括多个权重和偏差、激活函数、损失函数以及用于实施该一个或多个深度神经网络以将测量数据映射到图像数据和/或将抽取的图像数据映射到单个图像数据阵列的指令。例如，深度神经网络模块208可存储用于根据在下面详细地讨论的方法300和400的一个或多个步骤来实施一个或多个神经网络的指令。深度神经网络模块208可包括经训练和/或未经训练的神经网络，并且还可包括与存储在其中的一个或多个神经网络模型相关联的各种数据，诸如训练数据、训练例程或参数(例如，权重和偏差)。深度神经网络模块208可包括用于训练深度神经网络中的一个或多个深度神经网络的指令。在一个实施方案中，深度神经网络模块208可包括梯度下降算法、损失函数以及用于生成和/或过滤训练数据的规则。深度神经网络模块208可包括指令，这些指令在由处理器204执行时，使图像处理系统202进行在下面详细地讨论的方法400的步骤中的一个或多个步骤。在一个示例中，深度神经网络模块208包括用于从图像数据214接收训练数据对的指令，该训练数据对包括测量数据和对应基准医疗图像的对，以用于训练存储在深度神经网络模块208中的深度神经网络中的一个或多个深度神经网络。在一些实施方案中，深度神经网络模块208不设置在图像处理系统202处。

深度神经网络模块208可包括经训练和/或未经训练的神经网络，并且还可包括与经训练和/或未经训练的网络有关的各种深度神经网络元数据。在一些实施方案中，深度神经网络元数据可包括用于训练经训练的深度神经网络的训练数据的指示、用以训练经训练的深度神经网络的训练方法、经训练的深度神经网络的准确性/验证得分、以及可应用经训练的深度神经网络的成像模态/成像协议的类型。

非暂态存储器206还可包括图像重建模块212，该图像重建模块包括指令，该指令用于结合深度神经网络模块208的一个或多个神经网络实施一个或多个抽取策略，以根据下图3所示的方法300的步骤中的一个或多个步骤由测量数据重建医疗图像。

非暂态存储器206还可存储图像数据214，诸如由成像设备240采集的测量数据或对应重建医疗图像。存储在图像数据214中的医疗图像可包括由MRI系统捕获的MR图像(在其中成像设备240是MRI成像设备的实施方案中)、由CT成像系统捕获的CT图像(在其中成像设备240是CT成像设备的实施方案中)和/或一种或多种类型的测量数据/原始成像数据。例如，图像数据214可包括测量数据和对应基准医疗图像，该测量数据和对应基准医疗图像可以有序格式存储，使得受检者的解剖区域的测量数据与同一受检者的同一解剖区域的基准医疗图像相关联。

在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的联网存储设备。

医疗成像系统200还包括成像设备240，该成像设备可包括基本上任何类型的医疗成像设备，包括MRI、CT、PET、混合PET/MR、超声等。成像设备240可采集患者的解剖区域的测量数据，其中测量数据可包括解剖区域的成像数据的非人类可理解的编码。测量数据和由其重建的医疗图像可存储在图像数据214中，或存储在与医疗成像系统200可通信地耦接的其它非暂态存储设备中。

医疗成像系统200还可包括用户输入设备230。用户输入设备230可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统202内的数据交互并操纵该数据的其它设备中的一者或多者。

显示设备220可包括几乎利用任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备220可包括计算机监视器，并且可显示医疗图像和测量数据。显示设备220可与处理器204、非暂态存储器206和/或用户输入设备230结合在同一封装件中，或者可为外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其它显示设备，该其它显示设备可使用户能够查看由成像设备240采集的测量数据重建的医疗图像，并且/或者与存储在非暂态存储器206中的各种数据交互。

应当理解，图2中所示的医疗成像系统200是用于说明而非限制。另一种合适的医疗成像系统可包括更多、更少或不同的组件。

转到图3，该图示出了使用深度神经网络和抽取策略由测量数据重建医疗图像的示例性方法300。方法300可由上述系统中的一个或多个系统来实施。在一个实施方案中，医疗成像系统200可实施方法300以重建对应于由成像设备240采集的测量数据的医疗图像。

方法300从操作302处开始，其中医疗成像系统接收测量数据。在一个实施方案中，医疗成像系统可使用成像设备诸如成像设备240来采集患者的解剖区域的医疗成像数据。在另一个实施方案中，医疗成像系统可从可通信地耦接的设备(诸如从经由互联网、局域网连接或其它数字连接而连接到医疗成像设备的外部成像设备)接收测量数据。在一些实施方案中，在操作302处接收的测量数据可包括k空间数据、CT正弦图数据、PET正弦图数据、光学成像器件和采用阿达玛变换数据作为测量数据的光谱仪(光学光谱仪、红外光谱仪等)中的一者。另选地，在一些实施方案中，可在操作304之前将测量数据变换到线性变换空间。在一些实施方案中，如果数据是非笛卡尔的(例如，径向或螺旋轨迹)，则可在方法300进行到操作304之前将数据重新网格化为笛卡尔网格。

在操作304处，医疗成像系统选择抽取策略。在一个实施方案中，用户可使用用户输入设备选择抽取策略。在另一个实施方案中，医疗成像系统可基于测量数据的一个或多个属性自动选择抽取策略。在一个实施方案中，可响应于包括3D测量数据的测量数据选择第一抽取策略，并且可响应于包括2D测量数据的测量数据选择第二抽取策略。在一个实施方案中，医疗成像系统可基于测量数据的大小和指示阵列大小的预定非零整数值M来选择抽取策略，其中抽取策略可包括将测量数据抽取成多个抽取的测量数据阵列，每个阵列的大小为M。在一些实施方案中，可使用相同的抽取策略抽取由可分离的线性变换表示的成像模态。

在操作306处，医疗成像系统根据在操作304处选择的抽取策略递归地抽取测量数据，以产生多个抽取的测量数据阵列。在一些实施方案中，抽取策略包括抽取因子、采样模式和采样频率(其中采样频率可为抽取因子的函数)。在一些实施方案中，抽取测量数据包括使用所指示的采样模式和采样频率来采样测量数据，以产生多个抽取的测量数据阵列。在一些实施方案中，根据抽取策略递归地抽取测量数据包括从测量数据中采样数据的第一部分并将数据的该第一部分分配给第一抽取的测量数据阵列，以及从测量数据中采样数据的第二部分并将该数据的第二部分分配给第二抽取的测量数据阵列。在一些实施方案中，可抽取第一抽取的测量数据阵列和第二抽取的测量数据阵列，以产生包括更少数据和/或更低维度阶数数据的附加的抽取的测量数据阵列。该过程可继续，直至获得预定大小的抽取的测量数据阵列。

在一些实施方案中，用户可选择抽取的测量数据阵列的大小M，并且操作306可包括抽取测量数据以产生多个大小为M的阵列，其中M包括大于一的整数。在一个示例中，测量数据可包括100行向量，并且响应于用户选择抽取的测量数据阵列大小20，医疗成像系统可将抽取因子设置为5，并且将采样频率设置为0.20，并且可抽取100行向量以产生五个抽取的测量数据阵列，每个阵列包括20行。

在操作308处，医疗成像系统使用多个经训练的深度神经网络将多个抽取的测量数据阵列映射到多个抽取的图像数据阵列。在一个实施方案中，将多个抽取的测量数据阵列映射到多个抽取的图像数据阵列包括使多个抽取的测量数据阵列通过深度神经网络中的一个或多个深度神经网络的一个或多个完全连接层/致密层，其中一个或多个深度神经网络的一个或多个完全连接层/致密层包括在训练阶段期间学习的一个或多个经学习的滤波器，如下文参考图4更详细地讨论。

在操作310处，医疗成像系统使用一个或多个经训练的聚合网络递归地聚合多个抽取的图像数据阵列以产生图像数据阵列。在一些实施方案中，聚合多个抽取的图像数据阵列包括将多个抽取的图像数据阵列中的每个抽取的图像数据阵列输入到聚合网络的输入层中。然后，聚合网络可将一个或多个一维(1D)卷积滤波器应用于多个抽取的图像数据阵列以产生图像数据阵列，其中该图像数据阵列具有比多个抽取的图像数据阵列高的分辨率。在一些实施方案中，可使用聚合网络来聚合抽取的图像数据阵列的对，其中可将多个抽取的图像数据阵列成对地聚合成图像数据阵列的越来越大的子单元。在例示性示例中，可通过将第一抽取的图像数据阵列和第二抽取的图像数据阵列输入到聚合网络中来聚合第一抽取的图像数据阵列、第二抽取的图像数据阵列、第三抽取的图像数据阵列和第四抽取的图像数据阵列，其中聚合网络输出第一部分聚合的图像数据阵列(在本文中也称为图像数据阵列子单元)。类似地，可将第三抽取的图像数据阵列和第四抽取的图像数据阵列输入到聚合网络中，并且映射到第二部分聚合的图像数据阵列。然后，可将第一部分聚合的图像数据阵列和第二部分聚合的图像数据阵列输入到聚合网络中，并且映射到图像数据阵列。在前述示例中，第一部分聚合的图像数据阵列和第二部分聚合的图像数据阵列的分辨率大于第一抽取的图像数据阵列、第二抽取的图像数据阵列、第三抽取的图像数据阵列或第四抽取的图像数据阵列的分辨率，但小于图像数据阵列的分辨率。在一些实施方案中，两个或更多个抽取的图像数据阵列的聚合可包括对准抽取的图像数据阵列向量，并且按通道/行将两个或更多个抽取的图像数据阵列内的数据连结，以产生按通道连结的抽取的图像数据阵列。然后，可将按通道连结的抽取的图像数据阵列输入到聚合网络的输入层中，从而保留空间信息并且为聚合网络提供两个或更多个抽取的图像数据阵列的强度值之间的空间关系。

在操作312处，医疗成像设备将图像数据阵列重新成形以产生重建医疗图像。在一些实施方案中，将图像数据阵列重新成形以形成重建医疗图像包括将图像数据阵列的行重新布置成矩阵，其中该矩阵的每列由相等数量的行组成。在一个示例中，操作312可包括在多个预定行处划分图像数据阵列以产生多个列，并且根据预定阶数重新布置列，从而产生矩阵，以人类可识别的格式描绘图像数据阵列的图像数据。

在操作314处，医疗成像设备经由显示设备向用户显示重建图像。

在操作314之后，方法300可结束。以这种方式，与常规方法相比，方法300可实现计算上更有效的医疗图像重建，而不降低图像分辨率，并且不增加重建图像中的噪声量。

抽取测量数据以形成一个或多个抽取的测量数据阵列的技术效应是，可将测量数据映射到图像数据的计算复杂性从O(N

转到图4，该图示出了可由上述系统中的一个或多个系统执行的训练方法400的示例。在一个实施方案中，方法400可用于训练医疗图像重建系统，诸如图1所示的医疗图像重建系统100。在一些实施方案中，训练方法400可用于训练在方法300中使用的深度神经网络中的一个或多个深度神经网络，以由测量数据重建医疗图像。在一个实施方案中，训练方法400可用于学习在用于将抽取的测量数据阵列映射到抽取的图像数据阵列的多个卷积神经网络中的一个或多个卷积神经网络中使用的一个或多个卷积滤波器。方法400实现使用一组相同的训练数据基本上同时训练医疗图像重建系统的卷积神经网络和聚合网络两者，从而提高训练过程的效率。

方法400从操作402处开始，其中医疗成像系统基于被训练的当前医疗图像重建系统来选择包括测量数据和对应基准医疗图像的训练数据对。在一个示例中，训练数据对可基于与其相关联的元数据从训练数据(诸如医疗成像系统200的图像数据214)的储存库中进行选择。在一些实施方案中，针对每个成像模态，可训练不同的医疗图像重建系统，从而使得给定医疗图像重建系统的深度神经网络和聚合网络能够学习将特定成像模态中的测量数据与图像数据相关的流形。换句话讲，通过使用包括单一类型成像模态的测量数据和对应基准医疗图像的训练数据选择性地训练医疗图像重建系统，可增强医疗图像重建系统的性能。因此，在操作402处，医疗成像系统可基于针对要训练当前图像重建系统的预定成像模态来选择训练数据对。与训练数据对相关联的元数据可指示与训练数据对相关联的成像模态的类型。

在操作404处，医疗成像系统基于被训练的当前医疗图像重建系统来选择预定抽取策略。在一些实施方案中，针对每个抽取策略，可训练不同的医疗图像重建系统，从而使得给定医疗图像重建系统的深度神经网络和聚合网络能够学习从特定大小的抽取的测量数据阵列到图像数据的映射。换句话讲，可通过使用单个抽取策略选择性地训练医疗图像重建系统来增强医疗图像重建系统的性能。因此，在操作404处，医疗成像系统可基于被训练的当前医疗图像重建系统来选择抽取策略，其中医疗图像重建可包括医疗图像重建系统的深度神经网络所兼容的相关联抽取策略的指示。

在操作406处，医疗成像系统根据所选的抽取策略递归地抽取测量数据，以产生多个抽取的测量数据阵列。在一些实施方案中，根据所选的抽取策略递归地抽取测量数据可包括根据在操作404处选择的抽取策略设置抽取因子、采样模式和采样密度(该采样密度可为抽取因子的函数)，以及产生多个抽取的测量数据阵列。上文已参考图1的抽取108更详细地讨论抽取。

在操作408处，医疗成像系统使用当前医疗图像重建系统的多个深度神经网络将多个抽取的测量数据阵列映射到多个抽取的图像数据阵列，其中多个深度神经网络包括一个或多个未经训练的卷积神经网络。

在操作410处，医疗成像系统使用一个或多个聚合网络递归地聚合多个抽取的图像数据阵列以产生预测图像数据阵列，如上文参考图3的操作310更详细地描述。

在操作412处，医疗成像系统将预测图像数据阵列重新成形以产生预测医疗图像，如上文参考图3的操作312更详细地讨论。

在操作414处，医疗成像系统通过使用损失函数比较预测医疗图像和基准医疗图像来计算预测医疗图像的误差。在一个实施方案中，可通过将预测图像的像素强度(针对一种或多种颜色)和基准医疗图像的对应像素的像素强度(针对一种或多种颜色)输入到损失函数中来确定像素方面的误差。可对每个像素方面的误差求和，以产生预测医疗图像的总误差(本文中更简单地称为误差)。

在操作416处，医疗成像系统通过使用反向传播算法反向传播误差经过一个或多个聚合网络和多个深度神经网络来调整一个或多个聚合网络和多个深度神经网络的参数。在一个实施方案中，操作416包括图像处理系统基于在操作414处计算的误差来调整一个或多个聚合网络和多个深度神经网络的权重和偏差。在一些实施方案中，根据梯度下降算法可发生误差的反向传播，其中针对多个深度神经网络和一个或多个聚合网络的每个权重和偏差确定误差函数的梯度(一阶导数或一阶导数的近似)。然后，根据以下等式，通过将针对权重(或偏差)确定(或近似)的梯度乘积的负数与预定步长大小相加来更新多个深度神经网络和一个或多个聚合网络的每个权重(和偏差)。

其中P

在操作416之后，方法400可结束。应当理解，可重复方法400，直至满足一个或多个条件。在一些实施方案中，一个或多个条件可包括一个或多个聚合网络和多个深度神经网络的权重和偏差会聚(即，多个深度神经网络和一个或多个聚合网络的参数的变化速率减小至低于预定阈值速率)，在操作414处确定的误差减小至低于预定非零阈值(在一些示例中，可使用不同于训练数据集的验证数据集来确定误差)。

以这种方式，多个深度神经网络和一个或多个聚合网络均可使用联合训练方法进行训练，其中可使用单个训练数据集来调整多个深度神经网络和一个或多个聚合网络的参数(例如，滤波器/权重和偏差)，从而提高训练效率并缩短训练医疗图像重建系统所需的持续时间。

转到图5，该图将使用本公开的方法重建的医疗图像(第一医疗图像502)与使用常规且计算昂贵的重建方法重建的医疗图像(第二医疗图像504)进行比较。可以看出，第一医疗图像502与包括在第二医疗图像504中的解剖结构密切匹配，并且提供相当水平的分辨率。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或耦接到另一个对象，而无论该一个对象是否直接连接或耦接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。

除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。