一种跨模态医学图像配准方法及计算机可读存储介质

摘要

本发明提供一种跨模态医学图像配准方法及计算机可读存储介质，方法包括：构建全分辨率残差配准网络的跨模态医学图像配准模型；包括：采用全分辨率流连接浮动图像和参考图像，依次将与全分辨率流并行的多尺度残差流返回的残差相加以丰富全分辨率流的全分辨特征信息；通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；基于全分辨率变形场，通过空间变换网络对浮动图像进行扭曲，以评估扭曲后的浮动图像与参考图像之间的相似性；训练模型；输入待配准的浮动图像及参考图像进行配准得到多模态图像配准。通过增加全分辨流来解决常规单流编码器‑解码器结构潜在的在全分辨率预测上信息损失、局部配准质量不佳的问题。

说明书

技术领域

本发明涉及多模态医学图像配准技术领域，尤其涉及一种跨模态医学图像配准方法及计算机可读存储介质。

背景技术

多模态医学图像配准是将一对不同模态的浮动图像和参考图像对齐的过程，其目标是找到使配准图像对中感兴趣区域对齐的最佳空间变换。在图像引导治疗(IGT)中，如术前规划、干预和诊断，多模态可变形图像配准是整合不同图像模态中包含的互补信息的关键。近年来，由于计算效率比传统的迭代配准方法有了很大的提高，基于深度学习的图像配准方法在时间密集型应用中变得更加突出。大多数基于学习的配准方法使用完全监督的或半监督的学习策略，严重依赖于真实变形场(Ground Truth)和/或器官分割标签。然而，获取真实变形场(Ground Truth)和三维分割标签极具挑战性且成本高昂。因此，基于无监督学习的配准方法相继出现。

现有大多配准方法使用的是常规的“高到低、低到高”的单流网络结构。这种结构可以显著增加网络感受野的大小，有助于提升网络识别物体的能力及抵抗细微数据集噪声的能力，但是在解码阶段需要从低分辨率特征中恢复高分辨率信息。这些结构会使网络优先考虑整体配准精度，而忽略了一些严重变形的局部区域。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种跨模态医学图像配准方法及计算机可读存储介质。

为了解决上述问题，本发明采用的技术方案如下所述：

一种跨模态医学图像配准方法，包括如下步骤：S1：构建全分辨率残差配准网络的跨模态医学图像配准模型；所述跨模态医学图像配准模型包括：采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息；通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；基于所述全分辨率变形场，通过空间变换网络对所述浮动图像进行扭曲，以评估扭曲后的浮动图像与所述参考图像之间的相似性；S2：训练所述跨模态医学图像配准模型；S3：输入待配准的浮动图像和参考图像进行配准得到多模态图像配准。

优选地，采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息包括如下步骤：S11：将所述浮动图像和所述参考图像合并，通过卷积模块和残差学习模块初步提取全分辨率下的特征；S12：将所述特征同时输入到并行的所述全分辨率流和所述多尺度残差流；S13：所述多尺度残差流包括上采样和下采样操作，在每个采样操作之间，采用多尺度残差模块处理对应图像尺度下的图像特征；所述全分辨率流上使用加法操作与所述多尺度残差模块相连；S14：所述多尺度残差模块根据当前所述多尺度残差流的图像尺度，通过对所述全分辨率流的全分辨率特征进行适应性的下采样至与所述多尺度残差流的图像尺度一致后，合并所述全分辨率流和所述多尺度残差流的特征，得到合并特征；S15：通过卷积模块和残差学习模块从所述合并特征中提取输出特征，所述输出特征输入到所述多尺度残差流的下一阶段，同时通过一个卷积核大小为1x1x1的卷积及适应性的上采样操作将低分辨率特征恢复到全分辨率特征，通过加法操作与原来的所述全分辨率流的全分辨率特征融合后输入到所述全分辨率流。

优选地，所述多尺度残差流包括四个下采样和四个上采样操作。

优选地，所述残差学习模块的输出z

其中，R表示由核大小为3×3×3的两个3D卷积组成的残差分支，该卷积分支只需要计算残差R，然后将残差特征加到原输入分支上。

优选地，所述多尺度残差模块具有两个输入，l

l

优选地，训练所述跨模态医学图像配准模型时的网络损失函数由图像相似性损失

优选地，所述图像相似性损失

其中，I是图像，x是图像中的位置，r是距离矢量，p是图像块大小，V(I，x)是局部方差的估计，D

通过如下公式最小化扭曲后的浮动图像

其中，N表示扭曲后的浮动图像

优选地，所述正则化损失采用L2范数。

优选地，所述全分辨率变形场为3通道；所述3D卷积模块中的卷积为3通道；所述全分辨率流中的卷积为16个通道。

本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。

本发明的有益效果为：提供一种跨模态医学图像配准方法及计算机可读存储介质，通过两条高度交互的全分辨率流和多尺度残差流来更好地将深层多尺度的图像表征和解剖结构的精确全分辨率空间定位结合起来。通过在整个网络中提供精确的全分辨率信息，帮助多尺度网络在解码阶段将低分辨特征图还原至全分辨特征图，同时避免在传统结构中由于增加感受野导致的对难以对齐的边界细节区域不敏感的问题。

进一步地，通过多尺度残差模块使全分辨流和多尺度残差流通过残差学习的方式进行交互，一方面，通过计算连续的多尺度残差，反复融合全分辨流和多尺度残差流之间的特征，丰富了密集变形场预测的全分辨率表示；另一方面，更丰富的全分辨率信息可以反过来增强多尺度残差流内的高级语义信息。

附图说明

图1是本发明实施例中一种跨模态医学图像配准方法的示意图。

图2是本发明实施例中基于全分辨率残差配准网络的整体结构示意图。

图3是本发明实施例中采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息的方法示意图。

图4是本发明实施例中残差卷积网络模块的示意图。

图5是本发明实施例中多分辨率残差块(MRB)结构示意图。

图6(a)-图6(c)是本发明实施例中多尺度残差流内部特征图的示意图，分别为初始特征图、最低分辨率时的特征图、经过与全分辨率流交互后解码出的残差特征的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提供一种跨模态医学图像配准方法，包括如下步骤：

S1：构建全分辨率残差配准网络的跨模态医学图像配准模型；所述跨模态医学图像配准模型包括：

采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息；

通过连续的残差学习模块逐步减少通道数，并通过3D卷积模块估计全分辨率变形场；

基于所述全分辨率变形场，通过空间变换网络对所述浮动图像进行扭曲，以评估扭曲后的浮动图像与所述参考图像之间的相似性；

S2：训练所述跨模态医学图像配准模型；

S3：输入待配准的浮动图像和参考图象进行配准得到多模态图像配准。

如图2所示，是本发明基于全分辨率残差配准网络(F3RNet)的整体结构示意图。

本发明通过两条高度交互的全分辨率流和多尺度残差流来更好地将深层多尺度的图像表征和解剖结构的精确全分辨率空间定位结合起来。通过在整个网络中提供精确的全分辨率信息，帮助多尺度网络在解码阶段将低分辨特征图还原至全分辨特征图，同时避免在传统结构中由于增加感受野导致的对难以对齐的边界细节区域不敏感的问题。

即本发明通过增加全分辨流来解决常规单流编码器-解码器结构潜在的在全分辨率预测上信息损失、局部配准质量不佳的问题。

可以理解的是，传统网络在低分辨率时，丧失了很多器官位置信息，会造成网络对像素定位困难，趋向于忽略一些需要局部配准的区域。传统方法要从中间的低分辨率图解码出准确的形变场会更困难。但本发明的方法，由于全分辨率流一直在传递全分辨率信息，所以解码也更简单，并且会对一些难对准的区域更敏感。

全分辨率流连接浮动图像I

与全分辨率流相反，多尺度残差流整体结构与常规的UNet结构相似，用于捕获提升器官识别性能的高级特征，但在边缘和体素位置保留方面的能力较差，从而导致潜在的信息损失。具体而言，多尺度残差流利用连续的下采样和卷积操作增大感受野并增强对图像中的小噪声的鲁棒性。在两个流上操作的多尺度残差块(MRB)的帮助下，高层特征可以直接与低层特征交互。与VoxelMorph中使用的UNet一致，多尺度残差流也对图像进行四次下采样，最低分辨率是原始图像的1/16，并以残差学习的方式融合两条并行处理流内的信息。

如图3所示，采用全分辨率流连接浮动图像和参考图像，依次将与所述全分辨率流并行的多尺度残差流返回的残差相加以丰富所述全分辨率流的全分辨特征信息包括如下步骤：

S11：将所述浮动图像和所述参考图像合并，通过卷积模块和残差学习模块初步提取全分辨率下的特征；

S12：将所述特征同时输入到并行的所述全分辨率流和所述多尺度残差流；

S13：所述多尺度残差流包括上采样和下采样操作，在每个采样操作之间，采用多尺度残差模块处理对应图像尺度下的图像特征；所述全分辨率流上使用加法操作与所述多尺度残差模块相连；

S14：所述多尺度残差模块根据当前所述多尺度残差流的图像尺度，通过对所述全分辨率流的全分辨率特征进行适应性的下采样至与所述多尺度残差流的图像尺度一致后，合并所述全分辨率流和所述多尺度残差流的特征，得到合并特征；

S15：通过卷积模块和残差学习模块从所述合并特征中提取输出特征，所述输出特征输入到所述多尺度残差流的下一阶段，同时通过一个卷积核大小为1x1x1的卷积及适应性的上采样操作将低分辨率特征恢复到全分辨率特征，通过加法操作与原来的所述全分辨率流的全分辨率特征融合后输入到所述全分辨率流。

本发明通过残差学习机制结合全分辨率信息流和多尺度残差信息流，全分辨率流利用了有助于精确体素级别配准的全分辨率信息，使网络保持对难配准区域的敏感性；多尺度残差流通过学习深度多尺度残差表示以获得图像的高级语义特征。

多尺度残差模块来自适应地融合来自全分辨率流和多尺度残差流的特征信息，以实现两条信息流的高度交互性。

具体地，将移动图像和参考图像分别表示为I

在给定移动图像和参考图像I

如图4所示，是本发明残差卷积网络模块的示意图。残差学习模块的输出z

其中，R表示由核大小为3×3×3的两个3D卷积组成的残差分支，该卷积分支只需要计算残差R，然后将残差特征加到原输入分支上。

将上述特征同时输入到并行的全分辨率流和多尺度残差流。相比于传统的“高到低，低到高”的单流网络，在本发明中，一方面，多尺度残差流利用连续的下采样和卷积操作增大感受野，增强对图像中的小噪声的鲁棒性，用于捕获提升器官识别性能的高级特征，但在边缘和体素位置保留方面的能力较差，从而导致潜在的信息损失。与此同时，在另一条并行地全分辨率流上，全分辨率流连接浮动图像I

具体而言，全分辨率流和多尺度残差流的相互性由多个以下提出的多尺度残差融合块实现：

如图5所示，是本发明的多分辨率残差块(MRB)结构示意图。所述多尺度残差模块具有两个输入，l

l

具体地说，首先，通过下采样操作将l

实验中，多尺度残差流对图像进行四次下采样，最低分辨率是原始图像的1/16，以残差学习的方式使两条并行处理流内的信息相互交互，使网络对不匹配的难配准区域更为敏感。全分辨率流不使用任何下采样操作，能够保持更为准确的像素级位置信息，难以对齐的区域将在整个全分辨率流中存在，避免出现常规单流网络中感受野增加而导致的局部信息损失问题。在我们的实验中，除了用于生成变形场的卷积为三通道，全分辨率流中的卷积均为16个通道。在得到变形场后，空间变换网络(STN)对浮动图像I

训练所述跨模态医学图像配准模型时的网络损失函数由图像相似性损失

在本发明的一种实施例中，所述图像相似性损失

其中，I是图像，x是图像中的位置，r是距离矢量，p是图像块大小，V(I，x)是局部方差的估计，D

通过如下公式最小化扭曲后的浮动图像

其中，N表示扭曲后的浮动图像

在本发明的另一种实施例中，所述正则化损失采用L2范数。

如图6(a)-图6(c)所示，是本发明多尺度残差流内部特征图的示意图，分别为初始特征图、最低分辨率时的特征图、经过与全分辨率流交互后解码出的残差形变场。

本发明的网络不仅继承了现有网络中的大多数多尺度融合方案(例如UNet)，通过跳跃连接来融合编码器和解码器中相同尺度的特征，而且还能够使用我们提出的多尺度残差模块(MRB)，反复融合两个并行流，最终获得更为可靠的全分辨率变形场。此外，两个流的融合使用了残差学习机制，即全分辨率流作为本体，多尺度残差流专注于计算残差，使网络对未配准区域更加敏感。

本发明选用Dice系数和对称位置的平均表面距离(ASD,Average SymmetricSurface Distance)评估不同跨模态配准模型的性能。其中，Dice系数值越高越好，ASD指标越小越好。

在一个由50对腹部CT和MRI组成的临床数据集上验证了本发明的有效性(如表1-2所示)。与传统的跨模态配准算法SyN和基于UNet的医学图像配准网络相比，本发明提出的基于全分辨率残差配准网络的多模态图像配准技术同时在CT到MRI、MRI到CT的配准实验中显著优于现有技术。

表1 CT到MRI的实验结果

表2 MRI到CT配准的实验结果

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。