基于深度学习的无监督单模态医学图像配准方法

摘要

一种基于深度学习的无监督单模态医学图像配准方法，首先获取图像数据，对图像进行裁剪、仿射空间归一化等操作，得到预处理后的图像；再随机选取一对图像分别作为固定图像和运动图像，输入卷积神经网络；利用编码器提取图像对的空间对应关系，解码器将编码器所供的信息处理成密集位移场；然后利用相似性测度及位移场平滑性测度组成的损失函数进行迭代训练，不断优化参数，达到设定的迭代次数后训练停止；最终得到优化好的变换模型。在推理测试阶段能够利用最优变换模型，输入待配准的图像对，得到配准后的图像及评价。本发明通过在卷积神经网络的编码器与解码器之间采用密集连接以及在解码器进行上采样后引入通道注意力模块，提高了配准的精度。

说明书

技术领域

本发明属于图像配准技术领域，具体来说涉及一种基于深度学习的无监督单模态医学图像配准方法。

背景技术

图像配准是指利用空间变换等手段，将不同时刻或不同设备拍摄的图像转换到同一坐标系，进行对齐操作。医学图像配准是图像配准领域的一个研究重点，其在临床医学中有着重要意义。

目前基于深度学习的医学图像配准方法主要有：在传统配准算法的基础上进行深度迭代、基于监督学习的配准方法以及基于无监督学习的配准方法。基于深度迭代的方法指的是利用深度学习网络，在传统配准方法的基础上，提取适当的特征，选择相似度度量(评估配准质量)，进行迭代优化，得到适合的变换模型。基于监督学习的方法需要获得图像的分割标签作为金标准，神经网络输出预测的位移场，目标函数为金标准与预测位移场的差值。基于无监督的方法则无需标注的数据，直接利用输入生成变换参数，构建转换参数的预测模型，通过最小化配准能量函数进行训练。

基于深度迭代的方法只减轻了传统配准方法的非凸导数的问题，仍存在计算要求高、迭代慢的问题。基于监督学习的方法的局限性在于图像的标签需要专家标注，成本高昂。目前的研究热点放在基于无监督学习上，然而，目前的无监督学习的方法虽然克服了对金标准的依赖，但配准的精度仍不能与传统方法相匹敌。

发明内容

本发明的目的是在于解决现有利用卷积神经网络的配准方法，编码器与解码器的跳跃连接使得特征图存在较大的语义差距的问题，提出一种基于深度学习的无监督单模态医学图像配准方法，引入密集连接以及在解码器上添加通道注意力模块，提高了配准精度。

为实现上述发明目的，本发明提供一种基于深度学习的无监督单模态医学图像配准方法，包括以下步骤：

步骤S1：获取二维或者三维脑部核磁共振图像；

步骤S2：对二维或者三维的脑部核磁共振图像进行预处理：将图像裁剪到相同大小，并进行仿射对齐处理；

步骤S3：训练时，每次从数据集中随机选取两张图像：一张作为固定图像I

步骤S4：将固定图像I

步骤S5：深度学习网络的编码器捕捉图像对的空间对应关系，解码器将来自编码器的信息处理成密集的位移场

步骤S6：使用空间变换网络对移动图像I

步骤S7：配准网络通过最小化损失函数进行训练；

步骤S8：配准网络进行迭代训练；对于训练好的模型，利用Dice评分来作为量化配准性能的优劣指标。

优选的是，本发明步骤S4中的深度学习网络，采用卷积神经网络，编码器采用卷积核大小为3、步长为1的一层卷积，后接LeakRelu激活函数，利用最大池化进行下采样，得到不同分辨率的图像；解码器采用卷积及上采样交替进行；在每次上采样后引入通道注意力模块，对上采样后的特征进行重校准，获得各个通道维度上的权值。

优选的是，本发明为避免直接连接编码器与解码器而引起的较大的语义差距，对编码器与解码器采用密集连接的方式代替跳跃连接，即编码器的每一级分辨率对应的特征图都与编码器下一级重新进行上采样得到的特征图像拼接，所有相同分辨率的特征图拼接在一起递送给解码器，解码器依次上采样得到卷积神经网络的输出。

优选的是，本发明步骤S6中的空间变换网络由三部分组成：本地网络、网格生成器、采样器，本地网络将输入的特征转换为空间变换参数；网格生成器依据空间变换参数得到

优选的是，本发明步骤S7中的最小化损失函数是来源于传统配准方法的能量函数：

损失函数的表达式为：

优选的是，本发明步骤S8中的Dice评分，表达式为：

本发明涉及基于深度学习的无监督单模态医学图像配准方法，是一种以卷积神经网络为理论基础的实现方法。本发明对于卷积神经网络的设计方法能够提高配准精度，同时网络的复杂度没有大幅提升，保证了训练时的收敛速度以及推理测试时的时间要求。

现有技术的方案中卷积神经网络的解码器与编码器之间的连接仅采用长连接的方式。本发明在卷积神经网络的编码器与解码器中引入密集连接，并在解码器上采样后增加通道注意力模块，能够提高有用信息的权重，抑制噪音的影响，实现了配准精度的提升。

附图说明

图1为本发明的整体流程图。

图2为本发明的配准方法框架图。

图3为本发明的网络结构图。

具体实施方案

本发明实施例提供了一种基于深度学习的无监督单模态医学图像配准方法，下面结合附图和实施例对本发明的技术方案作进一步说明。

图1展现了本发明的流程，具体来说包括以下步骤：

步骤S1：获取二维或者三维脑部核磁共振图像。本发明既可配准二维图像，也可配准三维图像。

本实施例采用公开的医学图像数据集OASIS，此数据集包括425个T1加权的脑部核磁共振图像(MRI)，来自年龄在18至96岁之间的受试者。

步骤S2：对二维或者三维的脑部核磁共振图像进行预处理：将图像裁剪到相同大小，并进行仿射对齐处理(提高后续可变形配准的精度)。

将所有MRI图像重新采样为256×256×256的大小，然后使用FreeSurfer软件对每张 MRI图像进行标准预处理步骤，包括运动校正、颅骨剥离、仿射空间归一化和皮层下结构分割。最终将生成的MRI图像居中裁剪为144×192×160的大小。再将数据集随机分为 297张用于训练的图像以及128张用于推理测试的图像。

步骤S3：训练时，每次从数据集中随机选取两张图像：一张作为固定图像I

随机选取一对图像分别作为固定图形和运动图像。训练时每次用随机数生成函数在训练集中选取一张图像作为固定图像，不重复的选取另一张图像作为运动图像。参照图2，图像对输入配准网络。

步骤S4：将固定图像I

为避免直接连接编码器与解码器而引起的较大的语义差距，对编码器与解码器采用密集连接的方式代替跳跃连接，即编码器的每一级分辨率对应的特征图都与编码器下一级重新进行上采样得到的特征图像拼接，所有相同分辨率的特征图拼接在一起递送给解码器，解码器依次上采样得到卷积神经网络的输出。

参照图3，卷积神经网络采用类似U-Net的结构，引入密集连接减轻了编码器与解码器之间的语义差距，在解码器路径加入通道注意力模块，能够对上采样后的特征进行重校准，强调有用信息，减少噪音。

本实施例以三维图像为例，卷积神经网络的具体参数设置为：编码器进行5次三维卷积及4次下采样，输入分辨率为144×192×160。第一个卷积层有16个卷积核，卷积核的大小为3，步长为1。第二到第五个卷积层都有32个卷积核，卷积核的大小为3，步长为 1，每层卷积(Conv)后跟LeakRelu激活函数，并采用最大池化(MaxPooling)。经过四次下采样后的分辨率降为9×12×10。在每次下采样后跟一次上采样(Upsamping)和卷积交替，后接LeakRelu激活函数进行的解码操作，使得分辨率恢复原来的大小。将相同分辨率的特征图拼接(Concatenation)在一起，形成密集连接。

在解码器的最后一层上采样后跟通道注意力模块(Channel Attention)，具体来说通道注意力模块包括：首先对解码器上采样得到的特征图采用全局平均池化进行通道压缩，通过大小为K的快速一维卷积后跟sigmoid激活函数来生成各通道的权重信息。其中，卷积核大小为K代表了局部跨信道交互的覆盖率，K的取值应该根据通道数C调节。K的取值表达式为：

从解码器输出的特征图个数为32个，即采用了32个卷积核，而从卷积神经网络输出的特征图数量为3个。因此，本发明进行了两次特征图大小不变的卷积操作，特征图数量从32个依次变为16个、3个，继而输入到后续操作中。

步骤S5：深度学习网络的编码器捕捉图像对的空间对应关系，解码器将来自编码器的信息处理成密集的位移场

步骤S6：使用空间变换网络(Spatial Transformation Network，STN)对移动图像I

本发明的STN由三部分组成：本地网络(Localisation Network)、网格生成器(Grid Genator)、采样器(Sampler)。本地网络将输入的特征转换为空间变换参数；网格生成器依据空间变换参数得到

步骤S7：配准网络通过最小化损失函数进行训练。

最小化损失函数是来源于传统配准方法的能量函数：

得到最优变换模型。本实施例中设置为2000个epoch，每个epoch迭代100次，使用Adam优化器驱动网络优化。完成迭代次数后，得到最终的模型。

步骤S8：配准网络进行迭代训练；对于训练好的模型，利用Dice评分来作为量化配准性能的优劣指标。

利用训练好的模型进行推理测试。测试时在测试集中按序依次选取一对图像作为输入，同时还要输入图像对应的分割标签，在本实施例中，三维图像的分割标签有35个。测试网络输出配准结果及配准评价指标，评价指标表达式为：

综上所述，本发明涉及基于深度学习的无监督单模态医学图像配准方法，是一种以卷积神经网络为理论基础的实现方法。本发明对于卷积神经网络的设计方法能够提高配准精度，同时网络的复杂度没有大幅提升，保证了训练时的收敛速度以及推理测试时的时间要求。

本发明并不局限于上述实例，凡是在权利要求范围内做出的任何形式的变形或者修改，均属于本发明的保护范围。