基于流形优化的用于磁共振动态成像的深度学习方法

摘要

本申请公开了一种基于流形优化的用于磁共振动态成像的深度学习方法、装置、设备及其存储介质，该方法包括：建立基于固定秩流行空间，通过将整个优化过程展开至神经网络中，获得基于流行优化的深度模型；针对帧与帧之间存在相互关系的动态MR图像，在非线性流形空间上，构建图像重建模；设计对应流形上的迭代重建算法；展开成深度神经网络。本申请提供的上述方案，避免了复杂的调参过程，且重建时间大大加快；同时，将原本在线性空间中复杂的非线性优化过程转变为在流行空间中的线性优化过程，有望进一步提升重建性能。

说明书

技术领域

本发明磁共振成像技术领域，具体涉及一种基于流形优化的用于磁共振动态成像的深度学习方法、装置、设备及其存储介质。

背景技术

磁共振动态成像(Dynamic MR Imaging，dMRI)是一种非侵入式的成像技术，例如心脏电影成像能够用于评估心功能，室壁运动异常等，为心脏临床诊断提供丰富的信息。然而，由于磁共振物理及硬件、和心脏运动周期时长的制约，磁共振心脏电影成像往往时间和空间分辨率受限，无法准确评估部分心脏疾病，如心率不齐等的心功能情况。因此，在保证成像质量的前提下，利用快速成像方法提高磁共振心脏电影成像的时间和空间分辨率尤为重要。

目前，传统的并行成像或者压缩感知技术，没有利用大数据先验，并且这种迭代优化方法往往是耗时的且参数较难选择。而基于深度学习的神经网络方法(DC-CNN、CRNN、DIMENSION)能够避免迭代求解步骤，加速了重建时间。但是，此类方法一般构建于线性欧式(图像)空间，故而难以精确刻画图像内在非线性和非局部的依赖关系,限制了重建性能的提升。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于流形优化的用于磁共振动态成像的深度学习方法、装置、设备及其存储介质。

第一方面，本申请实施例提供了一种基于流形优化的用于磁共振动态成像的深度学习方法，该方法包括：

建立基于固定秩流行空间，并在所述流行空间中展开动态优化过程，通过将整个优化过程展开至神经网络中，获得基于流行优化的深度模型；

针对帧与帧之间存在相互关系的动态MR图像，在非线性流形空间上，构建图像重建模；

设计对应流形上的迭代重建算法；

展开成深度神经网络。

在其中一个实施例中，所述构建图像重建模包括：

采用流形空间度量设计模型。

在其中一个实施例中，所述设计对应流形上的迭代重建算法包括：

根据流形结构设计迭代重建算法，即于切矢空间计算目标函数梯度，并朝负梯度方向沿流形测地线迭代更新。

在其中一个实施例中，所述展开成深度神经网络包括：

将设计对应流形上的迭代重建算法中的对应算子或者迭代规则替换为网络模块；

对所搭载的神经网络模块训练；

从训练数据中学习数据自身所包含的先验信息。

第二方面，本申请实施例还提供了一种基于流形优化的用于磁共振动态成像的深度学习装置，该装置包括：

建立单元，用于建立基于固定秩流行空间，并在所述流行空间中展开动态优化过程，通过将整个优化过程展开至神经网络中，获得基于流行优化的深度模型；

构建单元，用于针对帧与帧之间存在相互关系的动态MR图像，在非线性流形空间上，构建图像重建模；

设计单元，用于设计对应流形上的迭代重建算法；

展开单元，用于展开成深度神经网络。

在其中一个实施例中，所述构建图像重建模包括：

采用流形空间度量设计模型。

在其中一个实施例中，所述设计对应流形上的迭代重建算法包括：

根据流形结构设计迭代重建算法，即于切矢空间计算目标函数梯度，并朝负梯度方向沿流形测地线迭代更新。

在其中一个实施例中，所述展开成深度神经网络包括：

替换单元，用于将设计对应流形上的迭代重建算法中的对应算子或者迭代规则替换为网络模块；

训练单元，用于对所搭载的神经网络模块训练；

学习单元，用于从训练数据中学习数据自身所包含的先验信息。

第三方面，本申请实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例描述中任一所述的方法。

第四方面，本申请实施例还提供了一种计算机设备一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如本申请实施例描述中任一所述的方法。

本发明的有益效果：

本发明提供的基于流形优化的用于磁共振动态成像的深度学习方法，针对帧与帧之间存在明显依赖关系的动态MR图像，于学习所得到的(自适应)非线性流形空间上，构建合适的图像重建模型，设计相应的流形上的迭代重建算法，再依此展开成深度神经网络，实现有利于刻画图像内在依赖关系的学习迭代重建方法设计，有望进一步改善重建结果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的基于流形优化的用于磁共振动态成像的深度学习方法的流程示意图；

图2示出了本申请又一实施例提供的基于流形优化的用于磁共振动态成像的深度学习方法的流程示意图；

图3示出了根据本申请一个实施例的基于流形优化的用于磁共振动态成像的深度学习装置300的示例性结构框图；

图4示出了本申请又一实施例的基于流形优化的用于磁共振动态成像的深度学习装置400的示例性结构框图；

图5示出了适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

请参考图1，图1示出了本申请实施例提供的基于流形优化的用于磁共振动态成像的深度学习方法的流程示意图。

如图1所示，该方法包括：

步骤110，建立基于固定秩流行空间，并在流行空间中展开动态优化过程，通过将整个优化过程展开至神经网络中，获得基于流行优化的深度模型；

步骤120，针对帧与帧之间存在相互关系的动态MR图像，在非线性流形空间上，构建图像重建模；

步骤130，设计对应流形上的迭代重建算法；

步骤140，展开成深度神经网络。

采用上述技术方案，针对帧与帧之间存在明显依赖关系的动态MR图像，于学习所得到的(自适应)非线性流形空间上，构建合适的图像重建模型，设计相应的流形上的迭代重建算法，再依此展开成深度神经网络，实现有利于刻画图像内在依赖关系的学习迭代重建方法设计，有望进一步改善重建结果。

在一些实施例中，构建图像重建模包括：采用流形空间度量设计模型。

在一些实施例中，设计对应流形上的迭代重建算法包括：根据流形结构设计迭代重建算法，即于切矢空间计算目标函数梯度，并朝负梯度方向沿流形测地线迭代更新。

在一些实施例中，请参考图2，图2给出了本申请又一实施例提供的基于流形优化的用于磁共振动态成像的深度学习方法的流程示意图。

如图2所示，展开成深度神经网络包括：

步骤210，将设计对应流形上的迭代重建算法中的对应算子或者迭代规则替换为网络模块；

步骤220，对所搭载的神经网络模块训练；

步骤230，从训练数据中学习数据自身所包含的先验信息。

具体地，本申请的方法首先构建了基于固定秩流行空间，并在该流行空间中展开动态优化过程，通过将整个优化过程展开至神经网络中，我们获得了基于流行优化的深度模型Manifold-Net。针对帧与帧之间存在明显依赖关系的动态MR图像，于学习所得到的(自适应)非线性流形空间上，构建合适的图像重建模型，设计相应的流形上的迭代重建算法，再依此展开成深度神经网络，实现有利于刻画图像内在依赖关系的学习迭代重建方法设计。

(1)低维流形表示方法

以训练数据数量、质量为基础，提供流形表示不同方案。当数据数量少、质量较低时，难以训练冗余的神经网络以表示流形，故而考虑较为“轻量”的表示模型。具体地，给出如下两种方案，方案一：直接利用已有的流形表示方法，如图拉普拉斯特征变换、核主成分分析等方法。此类方法在理论上有一定理论保证，可惜的是，此类方法具体实现策略是通过截取某矩阵部分奇异值和特征向量以表示低维流形，由此存在一定的信息损失。方案二：通过训练一个较冗余的神经网络令动态MR图像嵌入到某个已有的低维流形中，如，固定秩矩阵/张量流形空间。此方法的技术路线遵循先冗余后低维的规则，既保证满足“低维”先验同时尽量避免信息损失。另一方面，当训练数据数量充足、质量较高时，充分冗余的参数化表示能更为准确地刻画数据所蕴含的信息。于是，考虑方案三：利用深度神经网络表示流形空间上设计迭代算法所必要结构，如图像空间到流形的同胚映射、流形上的切矢空间、测地线等，充分挖掘数据自身信息，自适应地选择“合适”的流形表示。

(2)流形上的动态MR图像重建模型及迭代算法设计

以往基于低维流形重建动态MR图像模型中，流形“低维性”通常作为正则项，而所设计迭代算法仍位于图像(欧式)空间，采用图像空间中的度量和迭代规则，其输出解往往不能很好地反映流形所刻画的依赖关系。本项目考虑直接于学习所得流形空间上设计动态MR图像重建模型以及相应迭代算法。其中，(变分)模型设计将采用流形空间度量，算法迭代设计则遵循流形结构，即，于切矢空间计算目标函数梯度，并朝负梯度方向沿流形测地线迭代更新。

(3)多空间并行重建动态MR图像算法设计

结合当前国内外研究较为成熟的中心分布式框架，即计算目标分配给各计算单元，且存在中心处理器汇总各计算单元计算所得信息。本项目中，将不同性质或内部依赖关系刻画的目标分配到不同流形空间，各计算单元计算各空间中的计算目标。中心处理器位于图像空间，通过图像空间到各流形空间的同胚映射实现信息传递，中心处理器汇总各流形空间(计算单元)中计算信息并对整体图像更新。

(4)图像重建迭代算法展开成深度神经网络

遵循迭代算法展开成神经网络的一般规则，将所设计多空间并行重建算法中的某些算子或者迭代规则替换为网络模块实现更自适应地迭代重建。通过对所搭载的神经网络模块训练，从训练数据中充分学习数据自身所包含的先验信息，更为精确地描述适合于此类数据的图像重建过程。此外，通过借助于图形处理单元(GPU)的高性能计算能力，展开所得网络相比于原迭代算法通常具有更高的效率。值得注意的是，不同于一般分布式优化算法，此处中心处理器对于各计算单元的信息采用网络融合形式汇总，进一步提高工作效率。

进一步地，参考图3，图3示出了根据本申请一个实施例的基于流形优化的用于磁共振动态成像的深度学习装置300的示例性结构框图。

如图3所示，该装置包括：

建立单元310，用于建立基于固定秩流行空间，并在流行空间中展开动态优化过程，通过将整个优化过程展开至神经网络中，获得基于流行优化的深度模型；

构建单元320，用于针对帧与帧之间存在相互关系的动态MR图像，在非线性流形空间上，构建图像重建模；

设计单元330，用于设计对应流形上的迭代重建算法；

展开单元340，用于展开成深度神经网络。

采用上述装置，针对帧与帧之间存在明显依赖关系的动态MR图像，于学习所得到的(自适应)非线性流形空间上，构建合适的图像重建模型，设计相应的流形上的迭代重建算法，再依此展开成深度神经网络，实现有利于刻画图像内在依赖关系的学习迭代重建方法设计，有望进一步改善重建结果。

进一步地，请参考图4，图4给出了本申请又一实施例的基于流形优化的用于磁共振动态成像的深度学习装置400的示例性结构框图。

如图4所示，该装置包括：

替换单元410，用于将设计对应流形上的迭代重建算法中的对应算子或者迭代规则替换为网络模块；

训练单元420，用于对所搭载的神经网络模块训练；

学习单元430，用于从训练数据中学习数据自身所包含的先验信息。

应当理解，装置300-400中记载的诸单元或模块与参考图1-2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置300-400及其中包含的单元，在此不再赘述。装置300-400可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置300-400中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考图1-2描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种基于流形优化的用于磁共振动态成像的深度学习方法，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1-2的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一子区域生成单元、第二子区域生成单元以及显示区域生成单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，显示区域生成单元还可以被描述为“用于根据第一子区域和第二子区域生成文本的显示区域的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中前述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本申请的应用于透明窗口信封的文本生成方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。