实时MR电影数据重建方法和系统

摘要

一种方法包括：使用完全采样的回顾式MR电影数据来训练算法；以及将训练过的算法应用于实时MR电影数据，以产生重建的MR图像。

说明书

本申请要求2019年11月29日提交的美国临时申请号62/941,904和2020年10月1日提交的美国临时申请号17/060,988的权益，此处以引证的方式将该申请全文并入。

技术领域

本公开的方面总体涉及磁共振成像(MRI)，具体涉及将并行成像用于实时MR电影图像重建。

背景技术

MRI是一种广泛使用的医疗技术，其使用磁和射频能量产生感兴趣区域的图像。在MRI扫描期间，容积线圈(例如，体线圈)和局部线圈(例如，表面线圈)可以采集由正被检查的对象内部的核弛豫产生的MR信号。心血管MRI(cMRI)是用于心脏结构和功能的临床评估的公认黄金标准，即，被广泛认可是特别有效的程序。诸如回顾式电影(retro-cine)的标准CMR应用依赖于ECG门控外加几次屏气，以提供高诊断图像质量。这可能存在困难，因为可能需要对心脏结构和功能进行评估的典型患者可能具有不规则的心跳信号并且难以屏住呼吸。实时心脏电影MRI利用相对较快的图像采集，因此，与回顾式电影MRI相比，在数据采集过程期间既不需要ECG门控也不需要屏气。因此，实时电影对于在MRI检查期间可能难以屏住呼吸或可能具有不规则心脏信号的患者可能更有用。然而，为了实现所需的快速图像采集速度，实时电影通常可以在利用并行成像技术的同时采集高度欠采样的数据(通常使用大于10X的加速度)。这可能在重建欠采样数据和从在并行成像中使用的多个线圈重建数据时对MRI图像重建提出计算挑战。

已经提出了基于压缩感知的方法用于实时电影重建。另外，也已经提出了若干基于深度学习的方法用于MRI重建。例如，Qin等人(Qin、Chen等人，“Convolutionalrecurrent neural networks for dynamic MR image reconstruction.”IEEEtransactions on Medical Imaging 38.1(2018年)：第280-290页)已经开发了一种用于心脏MRI图像重建的卷积循环神经网络。然而，这些研究具有若干限制。在传统的机器学习或深度学习框架中，需要黄金标准或金标准数据集来教导深度学习模型如何重建图像。然而，考虑到采样时间和线圈的数量，获取心跳之间的完全采样的实时电影数据几乎是不可能的。由此可见，所提出的方法从回顾式电影数据重建模拟的欠采样数据，而不是使用实际的实时电影数据来评估；加速率低于10X；先前的方法仅被设计用于单线圈图像重建而不是多线圈图像重建(即，并行成像)；并且评估仅使用图像质量度量而不使用临床有用性来执行。

发明内容

提供实现实时心脏电影MRI的高质量重建的方法和系统将是有利的。所公开的实施例涉及利用一种算法，该算法用于并行成像的欠采样的实时电影数据的实时心脏电影MR图像重建。

根据本公开的一个方面，一种方法包括：使用完全采样的回顾式电影数据来训练算法；以及将训练过的算法应用于实时MR电影数据，以产生重建的MR图像。

方法可以包括使用一个或多个经降采的回顾式电影数据和降采掩码中来训练算法。

方法还可以包括使用来自多线圈MR扫描仪的单独线圈的回顾式电影数据来训练算法。

实时MR电影数据可以包括来自多线圈MR扫描仪的单独线圈的实时MR电影数据。

完全采样的回顾式电影数据可以用于计算训练期间的损失，其中，损失可以包括均方误差损失、L1损失、结构相似度指数(SSIM)损失或胡伯(Huber)损失中的一个或多个。

算法可以包括残差卷积循环神经网络。

实时MR电影数据可以包括欠采样多线圈实时MR电影数据。

实时MR电影数据可以包括来自多线圈MR扫描仪的单独线圈的实时MR电影数据，并且算法可以包括多种算法，每种算法被配置为应用于来自多线圈MR扫描仪的不同单独线圈的数据。

方法可以包括使用和的平方根法(root sum of squares)或线圈灵敏度图来组合来自多个算法的重建图像，以生成最终组合图像。

实时MR电影数据可以包括来自多线圈MR扫描仪的单独线圈的实时MR电影数据，并且算法可以包括单个算法，该算法被配置为应用于来自多线圈MR扫描仪的单独线圈的数据。

根据本公开的另一方面，一种系统包括：实时MR电影数据源；和计算电路，其实施使用完全采样的回顾式电影数据训练的算法，其中，训练过的算法被配置为当应用于实时MR电影数据时产生重建的MR图像。

从结合附图考虑的本文所述的实施例，示例性实施例的这些和其它方面、实施形式以及优点将变得显而易见。然而，应当理解，说明书和附图仅被设计用于例示的目的，而不是作为对所公开发明的限制的定义，对所公开发明的限制应当参考所附权利要求。本发明的另外方面和优点将在以下描述中阐述，并且部分地将从描述显而易见，或者可以通过本发明的实践来了解。而且，本发明的方面和优点可以通过在所附权利要求中特别指出的装置和组合来实现和获得。

附图说明

在本公开的以下详细部分中，将参见附图所示的示例实施例更详细地说明本发明。这些实施例是非限制性的示例性实施例，其中在附图的若干视图中，同样的附图标记表示类似的结构，附图中：

图1例示了根据所公开实施例的方面的示例性处理流程；

图2例示了并入有所公开实施例的方面的示例性系统的实施例；

图3例示了并入有所公开实施例的方面的另一示例性系统的实施例；

图4例示了根据所公开实施例的示例性多线圈MRI数据源的示意框图；

图5A和图5B例示了根据所公开实施例的不同的MRI多线圈布置；

图6例示了根据所公开实施例的其中可以实施算法的计算电路的示例性架构；

图7例示了为深度残差卷积循环神经网络形式的算法的示例；以及

图8例示了双向卷积循环神经网络单元的示例。

具体实施方式

在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关公开的透彻理解。然而，对于本领域技术人员而言应当显而易见的是，可以在没有这种细节的情况下实践本公开。在其它情况下，为了避免不必要地模糊本公开的方面，已经以相对高的级别描述了公知的方法、过程、系统、部件和/或电路，而没有详细描述。对所公开的实施例的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神和范围的情况下，本文所定义的一般原理可以应用于其他实施例和应用。由此，本公开不限于所示的实施例，而是应被赋予与权利要求一致的最广范围。

应当理解，本文所用的术语“系统”、“单元”、“模块”和/或“块”是一种以升序区分不同级别的不同部件、元件、零件、部分或组件的方法。然而，如果术语和其他表达可以实现相同的目的，则术语可以被其他表达替换。

应当理解，当单元、模块或块被称为在另一单元、模块或块“上”、“连接到”或“联接到”另一单元、模块或块时，它可以直接在另一单元、模块或块上、直接连接或联接到另一单元、模块或块，或者可以存在中间单元、模块或块，除非上下文明确地另外指示。如本文所用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。

通常，如本文所用的词语“模块”、“单元”或“块”指代在硬件或固件中具体实施的逻辑，或者指代软件指令的集合。本文所述的模块、单元或块可以被实施为软件和/或硬件，并且可以被存储在任何类型的非瞬时性计算机可读介质或另一储存装置中。在一些实施例中，软件模块/单元/块可以被编译并链接到可执行程序中。应当理解，软件模块可以从其他模块/单元/块或从它们自身调用，和/或可以响应于检测到的事件或中断而被调用。被配置为在计算装置上执行的软件模块/单元/块可以设置在计算机可读介质上，诸如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质，或者设置为数字下载资料(并且可以最初以在执行之前需要安装、解压缩或解密的压缩或可安装格式来存储)。这种软件代码可以部分地或完全地存储在执行计算装置的储存装置上，以便由计算装置执行。软件指令可以嵌入固件中，诸如可擦可编程只读存储器(EPROM)中。还应当理解，硬件模块/单元/块可以包括在连接的逻辑部件中，诸如门和触发器中，和/或可以包括在可编程单元中，诸如可编程门阵列或处理器中。本文所述的模块/单元/块或计算装置功能可以被实施为软件模块/单元/块，但是可以以硬件或固件来表示。通常，本文所述的模块/单元/块指代可以与其他模块/单元/块组合或被划分为子模块/子单元/子块的逻辑模块/单元/块，而不管它们的实体组织或储存器如何。该描述可以适用于系统、引擎或其一部分。

本文所用的术语仅用于描述特定示例和实施例的目的，而不旨在为限制性的。如本文所用的，单数形式“一”、“一个”以及“该”也可以旨在包括复数形式，除非上下文明确地另外指示。还应当理解，术语“包括”在本公开中使用时，指定整数、装置、行为、所述特征、步骤、元件、操作和/或部件的存在，但是不排除一个或多个其他整数、装置、行为、特征、步骤、元件、操作、部件和/或其组的存在或添加。

本公开的这些和其它特征和特性、以及结构的相关元件的操作方法和功能以及零件的组合和制造的经济性，在参见附图考虑以下描述时可以变得更加明显，所有附图形成本公开的一部分。然而，应当明确地理解，附图仅用于例示和描述的目的，而不旨在限制本公开的范围。应当理解，附图不是等比例。

所公开的实施例涉及一种方法，该方法包括：使用完全采样的回顾式电影数据来训练算法；以及将训练过的算法应用于多线圈实时MRI电影数据，以产生重建的MRI图像。

所公开的实施例还涉及一种系统，该系统包括：完全采样的回顾式电影MR数据的源；算法，其被配置为使用完全采样的回顾式电影MR数据来训练；以及多线圈实时MR电影数据的源，其中，训练过的算法可以应用于多线圈实时MR电影数据，以产生重建的MR图像。

参见图1，例示了并入有所公开实施例的方面的示例性系统100的示意框图。该系统可以包括多线圈实时MR电影数据的源102、算法104以及完全采样的回顾式电影MR数据的源106。完全采样的回顾式电影数据106可以用于训练算法104，并且训练过的算法104可以应用于多线圈实时MR电影数据102，以产生重建的MR图像108。

图2和图3例示了并入有所公开实施例的方面的示例性系统200、300的实施例。图2例示了通过为多线圈MR系统的各个线圈提供为深度学习模型形式的算法来提供独立的多线圈重建的示例性实施例。可以对经降采的k空间实时多线圈数据202执行逆傅里叶(Fourier)变换(iFT)，以产生包括由于降采而导致的混叠和伪影的多线圈图像204。具有混叠和伪影的图像204可以根据从中获得它们的单独线圈而被分成单独图像206

图3例示了通过向来自线圈的图像应用单个算法来提供并行多线圈重建的示例性实施例。可以对经降采的k空间实时多线圈数据302执行逆傅里叶变换(iFT)，以产生包括由于降采而导致的混叠和伪影的多线圈图像304。具有混叠和伪影的图像304可以根据从中获得它们的单独线圈而被分成单独图像306

图4示出了根据所公开实施例的为用于提供多线圈MRI数据的MRI设备402形式的示例性多线圈MRI数据源的示意框图。MRI设备402可以包括MRI扫描仪404、控制电路406以及显示器408。MRI扫描仪404的功能、尺寸、类型、几何形状、位置、数量或量级可以根据一个或多个特定条件来确定或改变。例如，MRI扫描仪404可以被设计为围绕受试者(或受试者的区域)，以形成隧道式MRI扫描仪(称为闭孔MRI扫描仪)或开放式MRI扫描仪(称为开孔MRI扫描仪)。作为另一示例，MRI扫描仪可以是便携式的，并且可以沿着走廊并通过门口运输到患者，从而向患者提供MR扫描服务，与将患者运输到MRI扫描仪相反。在一些示例中，便携式MRI扫描仪可以被配置为扫描受试者的感兴趣区域，例如，受试者的大脑、脊髓、四肢、心脏、血管以及内脏。

如图4中的剖视图所示，MRI扫描仪404可以包括磁场发生器410、梯度磁场发生器412以及射频(RF)发生器414，所有发生器都围绕被研究受试者可以定位于其上的台416。MRI扫描仪404还可以包括：一个或多个线圈阵列418；ECG信号传感器420，其用于在MRI扫描期间从被研究受试者捕获为ECG信号形式的MRI数据；以及照相机422，其用于在MRI扫描期间捕获被研究受试者的视频图像形式的MRI数据。

在一些实施例中，MRI扫描仪404可以对受试者或受试者的区域执行扫描。受试者例如可以是人体或其它动物体。在一些实施例中，受试者可以是患者。受试者的区域可以包括受试者的一部分。例如，受试者的区域可以包括患者的组织。组织可以包括例如肺、前列腺、乳房、结肠、直肠、膀胱、卵巢、皮肤、肝脏、脊柱、骨骼、胰腺、子宫颈、淋巴、甲状腺、脾、肾上腺、唾液腺、皮脂腺、睾丸、胸腺、阴茎、子宫、气管、骨骼肌、平滑肌、心脏等。在一些实施例中，扫描可以是用于校准成像扫描的预扫描。在一些实施例中，扫描可以是用于生成图像的成像扫描。

主磁场发生器410可以产生静磁场B

在一些实施例中，RF发生器414可以使用RF线圈来发射RF能量通过受试者或受试者的感兴趣区域，以在感兴趣区域中感应电信号。所得RF场通常被称为B

图5A和图5B例示了不同的MRI多线圈布置。多线圈布置可以包括相控阵线圈布置和并行阵线圈布置。图5A示出了示例性相控阵线圈布置，在该相控阵线圈布置中，线圈重叠并且联接在一起，以增强增益和信噪比特性。图5B示出了示例性的并行阵布置，在该并行阵布置中，线圈被分离并优化，以便并行成像。线圈布置可以包括任何数量的线圈，这取决于特定的应用。线圈的示例性数量可以包括12、16、24、32、64或更多。

回到图4，控制电路406可以控制MRI扫描仪404的整体操作，具体地，控制磁场发生器410、梯度磁场发生器412、RF发生器414以及线圈阵列418的整体操作。例如，控制电路406可以控制磁场梯度发生器产生沿着X、Y和Z轴中的一个或多个的梯度场，并且控制RF发生器生成RF场。在一些实施例中，控制电路406可以从例如用户或另一系统接收命令，并且相应地控制磁场发生器410、梯度磁场发生器412、RF发生器414以及线圈阵列418。

控制电路406可以通过网络424连接到MRI扫描仪404。网络424可以包括可以促进MRI扫描仪404的信息和/或数据交换的任何合适的网络。网络424可以是和/或包括公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN))等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅仅通过示例的方式，网络424可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等、或其任意组合。在一些实施例中，网络424可以包括一个或多个网络接入点。例如，网络424可以包括有线和/或无线网络接入点，诸如基站和/或互联网交换点，通过这些接入点，MRI扫描仪402的一个或多个部件可以与网络424连接以交换数据和/或信息。

根据一些实施例，算法可以在控制电路406的计算电路中实施，而在其他实施例中，算法可以在远离控制电路406的计算电路中实施。

图6例示了根据所公开实施例的计算电路600的示例性架构。计算电路600可以包括计算机可读程序代码，该计算机可读程序代码存储在至少一个计算机可读介质602上，用于进行和执行本文所述的处理步骤。用于进行本公开方面的操作的计算机可读程序代码可以以一种或多种编程语言的任意组合来编写，这些编程语言包括面向对象的编程语言(诸如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等)、常规程序设计语言(诸如“C”编程语言、Visual Basic、Fortran 2103、Perl、COBOL 2102、PHP、ABAP)、动态编程语言(诸如Python、Ruby以及Groovy)、或其它编程语言。计算机可读程序代码可以完全在计算电路600上执行，部分在计算电路600上执行，作为独立软件包执行，部分在计算电路600上并且部分在远程计算机或服务器上执行，或者完全在远程计算机或服务器上执行。在后一场景中，远程计算机可以通过任何类型的网络连接到计算电路600，该网络包括上面关于网络424提及的网络。

计算机可读介质602可以是计算电路600的存储器。在替代方面中，计算机可读程序代码可以存储在计算电路600外部或远离计算电路600的存储器中。存储器可以包括磁介质、半导体介质、光介质或计算机可读和可执行的任何介质。计算电路600还可以包括计算机处理器604，其用于执行存储在至少一个计算机可读介质602上的计算机可读程序代码。在一些实施例中，计算机处理器可以是图形处理单元(GPU)。在至少一个方面，计算电路600可以包括一个或多个输入或输出装置，通常称为用户界面606，其可以操作为分别允许到计算电路600的输入或提供来自计算电路600的输出。计算电路600可以以硬件、软件或硬件和软件的组合来实施。

图7例示了为深度残差卷积循环神经网络(Res-CRNN)700形式的算法的示例，并且图8例示了双向卷积循环神经网络单元800的示例。深度残差卷积循环神经网络的一个特征是：常规循环神经网络(RNN)的状态神经元可以被分成负责正时间方向(正向状态)的部分和负责负时间方向(反向状态)的部分。另外，来自正向状态的输出不连接到反向状态的输入，并且来自反向状态的输出不连接到正向状态的输入。

双向卷积RNN可以对心脏电影数据的动态信息、确保重建数据与观测数据一致的数据一致性层、以及促进网络学习高频细节并增加训练过程稳定性的残差连接进行建模。Res-CRNN 700可以包括三个这种构建块702

如图7所示，来自MRI扫描仪404的多线圈经降采的实时电影数据706可以提供给算法700。来自各个阶段的重建电影图像可以提供给下一阶段，直到实现最终的重建电影图像708为止。

可以使用回顾式电影数据和由算法700重建的图像来训练算法700。完全采样的回顾式电影数据可以用采样掩码进行降采，这些采样掩码与在MRI图像采集期间在实时电影中使用的采样掩码类似。经降采的回顾式电影数据、采样掩码以及完全采样的数据回顾式电影数据中的一个或多个也可以用于训练算法700。回顾式电影训练数据可以包括来自MRI扫描仪404的单独线圈的完全采样图像。为了节省内存消耗，例如在算法计算电路包括图形处理单元的情况下，回顾式电影图像可以被裁剪至更小的尺寸以便训练。

在训练期间，完全采样的回顾式电影可以用于计算损失。训练损失可以以均方误差损失、L1损失、结构相似度指数(SSIM)损失、胡伯损失或用于图像质量评估的任何损失中的一个或任何组合来实施。

一旦被训练，算法700就可以应用于用于图像构建的欠采样实时电影数据，包括来自多线圈采集的图像和全尺寸未裁剪图像。

由此，虽然已经示出、描述并指出了应用于本发明的示例性实施例的本发明的基本新颖特征，但是应当理解，本领域技术人员可以在所例示装置和方法的形式和细节以及它们的操作方面进行各种省略、替换和改变，而不脱离当前公开的发明的精神和范围。进一步地，明确预期的是以基本上相同的方式执行基本上相同的功能以实现相同结果的那些元件的所有组合都在本发明的范围内。而且，应当认识到，结合本发明的任何公开形式或实施例示出和/或描述的结构和/或元件可以作为设计选择的一般问题而并入任何其他公开或描述或建议的形式或实施例中。因此，本发明旨在仅由所附权利要求的范围指示的来限制。