一种基于深度学习的二维三维医学图像配准方法

摘要

一种基于深度学习的二维三维医学图像配准方法，包括：将二维浮动图像和三维固定图像传入第一网络模型，生成刚体变换参数，获取三维固定图像中对应的二维固定图像；对二维浮动图像和二维固定图像分别进行多分辨率采样，获得多组不同分辨率的浮动图像和固定图像，再传入第二网络模型，生成变形场；对二维浮动图像进行插值变换得到二维变形图像；计算相似度，二维固定图像、二维变形图像和变形场计算损失函数，分别对两个网络模型的网络参数进行训练；将新的一组二维浮动图像和三维固定图像传入网络模型，得到刚体变换参数和变形场，并对二维浮动图像进行变换得到配准后的二维变形图像。本发明可以提高二维三维医学图像配准的准确度和速度。

说明书

技术领域

本发明涉及医学图像配准技术领域，特别是涉及一种基于深度学习的二维三维医学图像配准方法。

背景技术

近年来，基于医学图像处理技术的计算机辅助诊断和治疗取得了长足的进步。其中，医学图像配准作为核心关键技术一直是科研人员的研究热点。

医学图像配准技术可以分为单模态图像配准和多模态图像配准。单模态图像配准是指目标图像和待配准图像是相同维度、相同模态的图像进行配准。多模态图像配准是指目标图像和待配准图像是不同维度或不同模态的图像进行配准，例如二维X光和三维CT配准、二维B超和三维MR配准，三维CT和三维MR配准等。传统图像配准技术基于两张图像的相似度和迭代优化算法寻找最佳的配准参数或变形场，一般需要提前给定初始解，否则很容易陷入局部最优点，无法搜寻到全局最优点解。此外传统图像配准是基于图像中的像素值或结构信息计算相似度，没有利用图像中的高维特征，因此配准精度不够理想，另一方面，迭代优化算法非常耗时，使得传统配准算法比较慢，无法满足有实时性要求的场景。随身深度学习的快速发展，基于深度学习的配准技术也成为了研究热点，依靠大量真实的医学图像数据进行训练，网络模型通过提取高维特征，获取两组图像间的相关信息，实现配准参数或变形场的回归计算，具备一次正向计算即可得到配准参数或变形场的能力，具有配准精度高、配准速度快的优点。

发明内容

本发明实施例的目的在于提供一种基于深度学习的二维三维医学图像配准方法，以实现二维和三维医学图像的快速、精准配准。具体技术方案如下：

本发明实施例提供了一种基于深度学习的二维三维医学图像配准方法，所述方法包括：

S1获取一张二维浮动图像和一张三维固定图像，将两张图像传入第一网络模型，生成刚体变换参数；

S2基于刚体变换参数和插值变换获取三维固定图像中对应的二维固定图像；

S3对二维浮动图像和二维固定图像分别进行多分辨率采样，获得多组不同分辨率的浮动图像和固定图像；

S4再将不同分辨率的浮动图像和固定图像传入第二网络模型，采用多分辨率由粗到细的配准策略生成变形场；

S5用变形场对二维浮动图像进行插值变换得到二维变形图像；

S6利用二维浮动图像和二维固定图像计算相似度，二维固定图像、二维变形图像和变形场计算损失函数，分别对两个网络模型的网络参数进行训练；

S7训练好网络参数后，将新的一组二维浮动图像和三维固定图像传入两个网络模型，得到刚体变换参数和变形场，并对二维浮动图像进行变换得到配准后的二维变形图像。

本发明的一个实施例中，步骤S1中所述二维浮动图像是二维X光、二维B超、二维CT、二维MR、二维PET、二维OCT等医学图像中的一种；所述三维固定图像是三维B超、三维CT、三维MR、三维PET、三维OCT等医学图像中的一种；所述浮动图像和固定图像可以是同模态图像，也可以是不同模态的图像。

本发明的一个实施例中，步骤S1中所述第一网络模型和步骤S4中所述第二网络模型包括卷积网络、变压器网络、全连接网络；所述网络首尾相连组成配准网络模型，输入一组图像后，生成刚体变换参数、变形参数或变形场；

所述变形场由网络模型直接生成，或由网络模型输出的变形参数计算生成。

本发明的一个实施例中，步骤S2中所述插值变换优选线性插值变换；步骤S5中所述插值变换优选B样条插值变换，作为替代可以是薄板样条插值变换、三次样条插值变换、线性插值变换。

本发明的一个实施例中，步骤S3中所述多分辨率采样优选对所述二维浮动图像和所述二维固定图像的长和宽分别进行1/2、1/4下采样，得到二维浮动图像M

本发明的一个实施例中，步骤S4中所述多分辨率由粗到细的配准策略优选方式为先用低分辨率的图像进行配准，得到低分辨率的变形场，对低分辨率的变形场上采样后作用到高分辨率的浮动图像，再用高分辨率的固定图像和变形后的高分辨率浮动图像进行配准，得到高分辨率的变形场，最终将低分辨率的变形场和高分辨率的变形场整合成最终的变形场。

本发明的一个实施例中，步骤S6中所述相似度优选归一化互相关，作为替代有梯度相关、梯度差、互信息、均方误差、相关率等，可以是其中的一个函数，也可以是其中几个函数的线性组合。

本发明的一个实施例中，步骤S6中所述损失函数优选两张图像间的相似度和正则项的组合，所述正则项优选变形场的扩散函数。

本发明的一个实施例中，步骤S6中所述网络参数的训练是一个迭代优化的过程，采用梯度下降法和反向传播对网络模型中的参数进行优化更新，直到相似度大于最大阈值或损失函数小于最小阈值或达到最大迭代次数停止网络训练，保存最新的网络参数；所述第一网络模型和所述第二网络模型优选分开单独训练；两个模型也可以一起训练。

本发明的一个实施例中，步骤S7中所述新的一组浮动图像和固定图像传入所述第一网络模型和所述第二网络模型，模型会调用所述最新的网络参数生成刚体变换参数和变形场，并用所述变形场对二维浮动图像进行变换得到配准后的二维变形图像。

由以上可见，采用本发明实施例提供的方案进行二维三维医学图像配准时，可以对两张不同模态、不同维度的医学图像进行非刚体配准，无需额外的处理步骤。并且所述方案采用非监督学习的方式对网络进行训练，无需大量耗费人力的标注工作，使得所述方案更加容易进入实际应用，减轻训练数据的准备工作。所述方案采用多分辨率配准策略，由粗到细分阶段进行配准，提高了配准精度。另一方面，在损失函数中加入了变形场的正则项，保证了原有图像中器官的拓扑结构不发生改变，也维持了变形场的光滑性。

此外，本发明在完成网络的训练之后，一次正向运算即可得出配准后的变形图像，极大缩短了配准时间。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明的优点是：能实现医学图像的快速、精准配准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的一种基于深度学习的二维三维医学图像配准的方法流程示意图；

图2为本发明实施例提供的一种第一网络模型的示意图；

图3为本发明实施例提供的第一种第二网络模型的示意图；

图4为本发明实施例提供的第二种第二网络模型的示意图；

图5为本发明实施例提供的一种变压器网络的结构示意图；

图6为本发明实施例提供的一种卷积网络的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

为提高两张不同维度的医学图像间非刚体配准的速度和准确度，本发明实施例提供了一种基于深度学习的二维三维医学图像配准方法，下面进行详细说明。

参见图1，为本发明实施例提供的一种基于深度学习的二维三维医学图像配准的方法流程示意图。

S1首先获得一张二维浮动图像和一张三维固定图像，将两张图像传入第一网络模型，生成刚体变换参数；S2基于刚体变换参数和插值变换获取三维固定图像中对应的二维固定图像；S3对二维浮动图像和二维固定图像分别进行多分辨率采样，获得多组不同分辨率的浮动图像和固定图像；S4再将不同分辨率的浮动图像和固定图像传入第二网络模型，采用多分辨率由粗到细的配准策略生成变形场；S5用变形场对二维浮动图像进行插值变换得到二维变形图像；S6利用二维浮动图像和二维固定图像计算相似度，二维固定图像、二维变形图像和变形场计算损失函数，分别对两个网络模型的网络参数进行训练；S7训练好网络参数后，将新的一组二维浮动图像和三维固定图像传入两个网络模型，得到刚体变换参数和变形场，并对二维浮动图像进行变换得到配准后的二维变形图像。

其中，步骤S1中所述二维浮动图像是二维X光、二维B超、二维CT、二维MR、二维PET、二维OCT等医学图像中的一种；所述三维固定图像是三维B超、三维CT、三维MR、三维PET、三维OCT等医学图像中的一种；所述浮动图像和固定图像可以是同模态图像，也可以是不同模态的图像。

步骤S1中所述第一网络模型和步骤S4中所述第二网络模型包括卷积网络、变压器网络、全连接网络；所述网络首尾相连组成配准网络模型，输入一组图像后，生成刚体变换参数、变形参数或变形场；此外变形场可以由网络模型直接生成，也可以由网络模型输出的变形参数计算生成。

步骤S2中所述插值变换优选线性插值变换；步骤S5中所述插值变换优选B样条插值变换，作为替代可以是薄板样条插值变换、三次样条插值变换、线性插值变换。

步骤S3中所述多分辨率采样是对所述二维浮动图像和所述二维固定图像的长和宽分别进行1/2、1/4下采样，得到二维浮动图像M

步骤S4所述多分辨率由粗到细的配准策略是指先用低分辨率的图像进行配准，得到低分辨率的变形场，对低分辨率的变形场上采样后作用到高分辨率的浮动图像，再用高分辨率的固定图像和变形后的高分辨率浮动图像进行配准，得到高分辨率的变形场，最终将低分辨率的变形场和高分辨率的变形场整合成最终的变形场。

步骤S6所述相似度优选归一化互相关，作为替代有梯度相关、梯度差、互信息、均方误差、相关率等，可以是其中的一个函数，也可以是其中几个函数的线性组合。

具体的，两张图像间的归一化互相关，可以通过以下公式获得。

在上述公式中，NCC(F,M(φ))表示固定图像F和变形图像M(φ)间的互相关系数，M为浮动图像，φ为变形场，F^(p)和M^((φ(p))分别表示固定图像的像素平均值和变形图像的像素平均值。

当相似度包含多个函数时，可以表示成多个函数的线性组合，具体的，以两个相似度的组合为例，可以表示成如下公式：

sim＝α1×A(F,M(φ))+α2×B(F,M(φ)) (2)

所述公式中sim表示相似度，A和B表示两种相似度函数，α1和α2表示系数，系数的总和等于1。

上述损失函数包含两张图像间的相似度和正则项，所述正则项由变形场的扩散函数计算得到。

正则项的计算公式如下：

因此完整的损失函数可表示为

其中，λ为正则化参数。

步骤S6中所述网络的优化过程利用相似度和损失函数可以计算梯度，然后采用反向传播的方式将梯度回传至网络模型中，对网络参数进行更新，使得整个网络的损失值逐步减小，达到最佳性能。

所述第一网络模型和所述第二网络模型优选分开单独训练；两个模型也可以一起训练。

由以上可见，采用本发明实施例提供的方案进行医学图像配准时，可以对两张不同模态、不同尺寸的二维三维医学图像进行非刚体配准，无需额外的处理步骤。并且所述方案采用非监督学习的方式对网络进行训练，无需大量耗费人力的标注工作，使得所述方案更加容易进入实际应用，减轻训练数据的准备工作。所述方案采用多分辨率配准策略，由粗到细分阶段进行配准，提高了配准精度。另一方面，在损失函数中加入了变形场的正则项，保证了原有图像中器官的拓扑结构不发生改变，也维持了变形场的光滑性。

此外，本发明在完成网络的训练之后，在配准环节无需初始化参数、无需反复的迭代计算，一次正向运算即可得出配准后的变形图像，极大缩短了配准时间。

本发明实施例提供的一种基于深度学习的二维三维医学图像配准的方法可以划分了两个阶段，第一阶段用于生成刚体变换参数，第二个阶段用于生成变形场。接下来参照图2、图3和图4进行详细说明。

参见图2，为本发明实施例提供的一种第一网络模型示意图。

由图2可见，所述二维浮动图像传入一个卷积网络提取特征，所述三维固定图像传入另一个卷积网络提取特征；两个特征合并后再传入两个级联的卷积网络提取高维特征；然后再依次传入变压器网络和全连接网络，最后输出刚体变换参数。

刚体变换参数是一个六维向量，六个数值分别表示三维空间中沿着X轴、Y轴、Z轴的平移量和绕X轴、Y轴、Z轴的旋转角度。

参见图3，为本发明实施例提供的第一种第二网络模型示意图。

由图3可见，首先将所述1/4下采样的所述二维浮动图像M

合并各阶段变形场的公式如下：

φ＝φ

其中UP()表示对变形场进行两倍上采样。

参见图4，为本发明实施例提供的第二种第二网络模型示意图。

由图4可见，首先将所述1/4下采样的所述二维浮动图像M

上述变形优选放射变换，对应的变形参数包含3个平移量、3个旋转量、3个尺度量、3个剪切量，也可以是他们中的任何一个或他们之间的任意组合。三组变形参数可以转化为三个4×4的矩阵，分别为mat1、mat2、mat3，合并后的矩阵mat＝mat3*mat2*mat1，再由mat生成变形场φ。

采用多分辨率的配准策略可以将整体的变形场划分为多个阶段，每个阶段的变形场的变形量更小，更利于变形场的计算和提高配准精度。

此外，所述发明实施例中将所述多分辨率配准策略划分成了三个阶段，但并不表示本发明只能使用三个阶段的配准策略，两个及以上阶段的所述多分辨率配准都应该包含在本发明的保护范围内。

参见图5，为本发明实施例提供的一种变压器网络(transformer)的结构示意图，上述网络结构包括层标准化(Layer Norm)、多头自注意力(MSA)、多层感知机(MLP)并加入残差机制，可由多个重复的变压器网络块级联组成。其中层标准化是将个输入特征转化成均值为0方差为1的数据，能够加快网络训练的速度，并提高训练稳定性；多头自注意力是为了更好地提取两张图像间最相关的特征，提高配准准确度；多层感知机由全连接层组成；残差机制的加入是为了防止梯度消失，网络性能退化。

由以上可见，采用本发明实施例提供的方案进行图像配准时，由于引入了变压器网络，不仅充分提取了两张图像间相关性最高的特征用于配准，而且残差机制和层归一化的应用使得网络的训练更加高效和稳定，提升了配准网络的性能，缩短了正向预测时间。

参见图6，为本发明实施例提供的一种卷积网络的结构示意图，包括：卷积层(ConvLayer)、Relu激活函数层、实例标准化(instance norm)和最大池化层(Max-pool)；依次连接卷积层、Relu激活函数层和实例标准化，然后再接一个同样的结构，最后经过最大池化层的处理提取视野更大通道数更多的高维特征。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。