用于医学影像的图像配准方法及图像处理方法、介质

摘要

本发明提供一种用于医学影像的图像配准方法，遍历浮动图像和固定图像，提取固定尺寸的图像块，之后通过深度卷积网络对遍历得到的图像块进行二分类；随后将深度卷积网络划分为正类图像块的中心视为候选特征点，采用RANSAC算法进行特征点的筛选，随后利用筛选后的特征点对浮动图像进行仿射配准；其次计算浮动图像中经过仿射变换后的候选特征点集，之后在固定图像中搜素对应特征点集合；然后利用前面得到的特征点集合进行配准。本发明还涉及图像处理方法、介质。本发明通过将深度学习和传统方法相结合，提供了一种高适用性以及高性能的医学图像配准算法，可以对待配准图像执行高效高精度配准。

说明书

技术领域

本发明涉及医学图像处理与分析领域，尤其涉及用于医学影像的图像配准方法及图像处理方法、介质。

背景技术

在做医学图像分析时，经常要将同一患者几幅图像放在一起分析，从而得到该患者的多方面的综合信息，提高医学诊断和治疗的水平。对几幅不同的图像作定量分析，首先要解决这几幅图像的严格对齐问题，这就是图像的配准。医学图像配准是指对于一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致，这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。

目前主流图像配准方法主要是应用于二维自然图像的配准，但是医学图像在成像原理和成像方式上与自然图像具有显著差异，使得自然图像配准方法无法有效应用于医学图像。此外，近年来医学图像配准方法耗时较大，误差大且针对不同模态(CT、MRI等)的影像数据需要重新调参，难以满足临床的速度需求，同时也难以处理日益增长的海量医学图像数据。

发明内容

为了克服现有技术的不足，本发明提供一种用于医学影像的图像配准方法，包括如下步骤：

获取待拼接的医学图像，所述医学图像至少包括一幅固定图像以及与所述固定图像高度重合的一幅浮动图像；

以相同的采样步长分别从所述固定图像、浮动图像中有重叠地提取若干固定尺寸的图像块集，分别记为：固定图像块集、浮动图像块集；

将所述固定图像块集、浮动图像块集通过深度卷积分类网络进行分类，以分别获取正类图像块，所述正类图像块为对配准有益的解剖结构图像块；

分别获取所述固定图像块集、浮动图像块集中划分为正类图像块的中心点坐标，以得到固定图像候选特征点集、浮动图像候选特征点集；所述中心点坐标为正类图像块在其对应图像中的三维坐标点；

对所述获取的固定图像候选特征点集、浮动图像候选特征点集通过RANSAC算法进行筛选以得到一一对应的候选特征点对集合；

根据所述候选特征点对集合对所述固定图像、浮动图像进行仿射配准，以得到仿射配准后的初态浮动图像；

根据所述候选特征点集合对浮动图像候选特征点集进行仿射变换，以得到其在初态浮动图像中的浮动图像配准特征点集合；根据所述浮动图像配准特征点集合在所述固定图像中搜索与其具有匹配关系的对应特征点，以构成固定图像配准特征点集合；

根据所述浮动图像配准特征点集合、固定图像配准特征点集合获取所述初态浮动图像的形变量，根据所述形变量对所述初态浮动图像进行弹性形变，以最终得到配准后的浮动图像。

优选地，还包括步骤：

建立针对图像块的深度卷积分类网络；

根据训练数据集训练所述深度卷积分类网络，以得到训练后的深度卷积分类网络对所述固定图像块集、浮动图像块集进行分类。

优选地，还包括步骤：

获取待检测对象的至少两个不同模态下的所有医学图像，所述至少两个相同模态或不同模态下的医学图像均包括感兴趣区域；

对所述所有医学图像进行预处理并从预处理后的所有医学图像中根据相同的采样步长有重叠地提取若干固定大小的图像块，以获得初始训练数据集；

对所述获取的初始训练数据集进行数据清洗、数据标注以获取用于训练所述深度卷积分类网络的最终训练数据集。

优选地，对所述所有医学图像进行预处理的步骤还包括：

通过高斯滤波算法对所有医学图像进行去噪处理并对其灰度进行归一化处理。

优选地，在对所述固定图像、浮动图像进行仿射配准时，还包括步骤：

根据所述候选特征点对集合获取仿射矩阵的参数；

根据所述仿射矩阵的参数对所述固定图像、浮动图像进行仿射配准，以得到仿射配准后的初态浮动图像。

优选地，在获取所述形变量时，还包括步骤：

遍历初态浮动图像中的浮动图像配准特征点集合；

计算其与固定图像上对应的固定图像配准特征点集合之间的位移向量；

根据所述位移向量通过TPS算法计算，以获取所述初态浮动图像的形变场。

本发明还提供一种用于医学影像的图像处理方法，在执行如上所述的用于医学影像的图像配准方法后，还包括步骤：

通过加权平均算法将初配准后的初态浮动图像与所述固定图像进行融合，以实现初态浮动图像和固定图像的拼接，所述拼接后的图像记为：新的待拼接的医学图像。

优选地，还包括以下步骤：

统计所述新的待拼接的医学图像的数量；

根据所述统计结果判断所述待拼接的医学图像的数量是否大于等于2；

若所述新的待拼接的医学图像的数量小于2，则输出所述新的待拼接的医学图像作为最终拼接完成的医学图像。

优选地，若所述新的待拼接的医学图像的数量大于等于2，则配置所述新的待拼接的医学图像重新执行用于医学影像的图像配准方法。

本发明还提供一种介质，其上存储有计算机程序，所述计算机程序被处理器执行如上所述的方法。

相比现有技术，本发明的有益效果在于：

本发明公开了用于医学影像的图像配准方法，借助于深度学习的杰出的运算性能以及强大的特征提取能力，将深度学习和传统方法相结合，提供一种高适用性以及高性能的医学图像配准算法，可以对待拼接图像实现高效、高精度配准。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的用于医学影像的图像配准方法的流程图；

图2为本发明的初态浮动图像的形变场的流程图；

图3为本发明训练深度卷积分类网络的流程图；

图4为本发明的一种训练数据集获取方法的流程图；

图5为本发明的一种图像拼接方法的流程图；

图6为本发明的获取最终拼接完成的医学图像的方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

现有技术中，假设有两个超声图像(或不同模态下的图像)，是从不同角度拍的，需要拼接在一起才能完整显示目标图像。传统的方法是通过算法得到图像中的特征点，如SIFT之类的算法等。但是这种方法得到的特征点：(1)不一定是目标器官相关的特征点，或者是噪声点，也就是对配准无益的。(2)这类方法针对不同模态的影像数据(CT，MRI)需要重新调参。(3)速度较慢。因此，需要提供一种高效精准的图像配准方法，即一种用于医学影像的图像配准方法，包括如下步骤，如图1所示：

S101：获取待拼接的医学图像，所述医学图像至少包括一幅固定图像F以及与所述固定图像高度重合的一幅浮动图像M；在一些实施例中，会对待拼接的医学图像先进行预处理，该预处理步骤包括：首先，采用高斯滤波算法对所有图像进行去噪处理并对其灰度进行归一化处理；其次，将所有图像采样到同一个空间分辨率(所有图像的空间分辨率的最大值)；从预处理后的待拼接图像中任选一幅作为固定图像F(Fixed Image)，再从剩下的待拼接图像中选取一幅与固定图像重叠区域面积最大的图像作为浮动图像M(Moving Image)。该待拼接的医学图像可为同一医学检测设备下的多个图像，如CT获得的多个待拼接图像；也可为不同检测设备下的多个图像，如CT、MRI分别获取的多个不同待拼接图像。

S102：以相同的采样步长分别从所述固定图像F、浮动图像M中有重叠地提取若干固定尺寸的图像块集，分别记为：固定图像块集B

S103：将所述固定图像块集B

S104：分别获取所述固定图像块集、浮动图像块集中划分为正类图像块的中心点坐标，以得到固定图像候选特征点集、浮动图像候选特征点集；所述中心点坐标为正类图像块在所述对应图像中的三维坐标点；具体地，分别获取所述固定图像块集B

S105：对所述获取的固定图像候选特征点集、浮动图像候选特征点集通过RANSAC算法进行筛选以得到一一对应的候选特征点对集合；具体地，对所述获取的固定图像候选特征点集P

S106：根据所述候选特征点对集合对所述固定图像、浮动图像进行仿射配准，以得到仿射配准后的初态浮动图像；具体地，根据所述候选特征点对集合

根据所述候选特征点对集合

根据所述仿射矩阵的参数θ

即通过步骤S105得到了经过筛选的且具有一一匹配关系的特征点对集合

在S105中的RANSAC算法即随机一致采样算法，该算法流程如下：(1)随即选取特征点集合P中的m(m>＝4)个点(局内点)计算出仿射矩阵A。(2)计算P中剩余的特征点P

即θ

S107：根据所述候选特征点集合对浮动图像候选特征点集进行仿射变换，以得到其在初态浮动图像中的浮动图像配准特征点集合；根据所述浮动图像配准特征点集合在所述固定图像中搜索与其具有匹配关系的对应特征点，以构成固定图像配准特征点集合；具体地，根据所述候选特征点集合

S108：根据所述浮动图像配准特征点集合、固定图像配准特征点集合获取所述初态浮动图像的形变量，根据所述形变量对所述初态浮动图像进行弹性形变，以最终得到配准后的浮动图像。具体地，根据所述特征点集合

在获取所述形变量

S181：遍历初态浮动图像中的浮动图像配准特征点集合；具体地，遍历浮动图像

S182：计算其与固定图像上对应的固定图像配准特征点集合之间的位移向量；计算所述特征点

S183：根据所述位移向量通过TPS算法计算，以获取所述初态浮动图像的形变场；根据所述位移向量u＝{u

通过执行S101-S108用于医学影像的图像配准方法，借助于深度学习的杰出的运算性能以及强大的特征提取能力，我们将深度学习和传统方法相结合，研究并设计了一种高适用性以及高性能的医学图像配准算法，可以对CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)以及US(Ultrasound Image)等大视场图像进行高效准确地配准。

在一些实施例中，用于分类的深度卷积分类网络的获取方式还包括如下步骤，具体如图3所示：

S201：建立针对图像块的深度卷积分类网络；该深度卷积分类网络还包括由卷积层、批归一化层、非线性激活函数Leaky Relu、最大池化层以及全连接层构成的DenseNet网络结构。

S202：根据训练数据集训练所述深度卷积分类网络，以得到训练后的深度卷积分类网络对所述固定图像块集、浮动图像块集进行分类。即在建立好如S201中的针对图像块的深度卷积分类网络后，对该深度卷积分类网络进行训练；训练分类网络的方法为：首先获取待训练的图像块进行随机增强(平移、旋转、翻转等)并送入分类网络得到分类结果(该分类结果即图像块为正类或负类的结果，正类指的是该图像块具有对配准有益的图像块，如果没有就是负类)，其次将得到的结果与标签一起计算交叉熵损失函数，然后利用随机梯度下降算法对网络参数进行优化更新，最后在经过多次迭代更新后，将最终求得的各个网络层的参数进行保存。

S202中的训练数据集的获取方式，还包括步骤，如图4所示：

S210：获取待检测对象的至少两个相同模态或不同模态下的所有医学图像，所述至少两个相同模态或不同模态下的医学图像均包括感兴趣区域；该模态包括CT、MRI以及US等，该感兴趣区域为包含解剖结构的医学图像；例如：可获取至少两个CT模态下的医学图像；或获取CT模态下的医学图像以及MRI模态下的医学图像。

S211：对所述所有医学图像进行预处理并从预处理后的所有医学图像中根据相同的采样步长有重叠地提取若干固定大小的图像块，以获得初始训练数据集；首先采用高斯滤波算法对所有医学图像进行预处理，再遍历所有图像，分别将(16,16,4)作为三个方向的采样步长，有重叠地提取32×32×8大小的图像块，获得初始训练数据集，该预处理至少包括对所有医学图像去噪处理并对其灰度进行归一化处理。

S212：对所述获取的初始训练数据集进行数据清洗、数据标注以获取用于训练所述深度卷积分类网络的最终训练数据集。对提取到的初始数据集进行数据清洗，剔除无效数据；然后，邀请多位具有丰富临床经验的影像科医生对数据进行标注；其中，将包含对配准有益的解剖结构的图像被标注为正类，反之为负类；最后，再次对数据和标注结果进行清洗，筛选出标注一致的数据构建最终的训练数据集；该训练数据集相对于普通数据集具有较高的准确性。

实施例二

一种用于医学影像的图像处理方法，在执行完实施例一中的用于医学影像的图像配准方法后，还包括步骤，如图5所示：

S301：通过加权平均算法将初态浮动图像与所述固定图像F进行融合，以实现初态浮动图像和固定图像F的拼接，所述拼接后的医学图像记为：新的待拼接的医学图像。

从S108中得到仿射配准后的浮动图像

在高效获取高精度的配准图像后，在保证拼接图像准确性的同时提高了拼接效率。

在执行完S301后还包括步骤，如图6所示：

S302：统计所述新的待拼接的医学图像的数量；

S303：根据所述统计结果判断所述待拼接的医学图像的数量是否大于等于2；

S304：若所述新的待拼接的医学图像的数量小于2，则输出所述新的待拼接的医学图像作为最终拼接完成的医学图像。即若不存在两张及以上的未配准的图像时，即只有一张由所有图像拼接后得到的图像，则对医学图像的拼接结束。

若所述新的待拼接的医学图像的数量大于等于2，则配置所述新的待拼接的医学图像重新执行S101-S108中的用于医学影像的图像配准方法。

本发明还涉及一种介质，其上存储有计算机程序，计算机程序被处理器执行如实施例一或实施例二所述的方法。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。