基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法

摘要

本发明涉及医学图像处理领域，旨在提供一种基于双路径U‑net卷积神经网络的PET/CT图像中高代谢淋巴结的分割方法。该分割方法包括下述过程：实验数据的获得与处理；构建双路径U‑net卷积神经网络；训练双路径U‑net卷积神经网络；采用训练好的双路径U‑net卷积神经网络对PET/CT图像中高代谢淋巴结进行分割，得到分割结果。本发明借助于双路径U‑net卷积神经网络，可以很好的将PET/CT图像中的高代谢淋巴结分割出来。

说明书

技术领域

本发明涉及医学图像处理领域，尤其涉及一种基于双路径U-net卷积神经网络的PET/CT图像中高代谢淋巴结的分割方法。

背景技术

淋巴瘤严重威胁人民的健康和生命，但部分患者可以治愈。¹⁸F-FDG-PET/CT对于以霍奇金淋巴瘤(HL)和弥漫大B细胞淋巴瘤(DLBCL)为代表的侵袭性淋巴瘤的诊疗发挥重要作用。淋巴瘤对于全身的侵犯以淋巴结受累为主，在PET/CT图像上表现为FDG摄取增高，目前对淋巴瘤患者的PET/CT影像评估主要依赖于影像医师的手工测量，具有消耗大量人工、测量存在主观性等缺陷。因此，对淋巴瘤受累淋巴结的所在分区、大小、代谢程度进行自动化分析具有重要意义，但目前尚无针对淋巴瘤PET/CT影像的智能评估软件出现，我们的研究力图寻找一个相对准确的分割方法，使系统在PET/CT上自动识别出表现为FDG摄取增高的受累淋巴结(即高代谢淋巴结)，以利于后期自动测量其大小及SUV值，对淋巴瘤患者进行自动化分期，以达到尽量排除影像医师主观因素的影响、减少人力消耗的目的，以利于临床正确评估病情，尽早开始规范治疗，改善预后。

目前已有多种算法用来分割PET/CT图像中的高代谢淋巴结，主要包括区域生长法、填充法和卷积法等。但大部分的淋巴结分割方法无法实现完全自动化，仍需要人工参与，例如区域生长法需要手动选择区域生长的种子点，填充法需要手动选择初始的感兴趣区域等。而卷积等数学计算方法是由人工设计，卷积层数受限，对于位置特征和形状特征无法方便准确地提取。2015年，Jonathan Long等人将全卷积网络(Fully ConvolutionalNetworks，FCN)成功应用于图像分割领域，并且取得了显著的效果。该网络能够对图像中对立位置的每个像素进行分类，从而实现图像分割的任务。FCN可以实现端到端的预测，例如输入一张512*512尺寸的灰度或彩色图像，输出是同样大小的矩阵，包含对每个像素点的类别预测结果。U-net卷积神经网络是在2015年国际生物医学会议ICMICCAI中提出的，具有与FCN类似的网络结构，近年来成为了用于医学图像分割的主要网络之一。

U-net的结构如图1所示，包括收缩路径和扩张路径两部分，因网络结构的形状与字母‘U’相似，所以称为U-net。收缩路径包含收缩模块1～5，其中收缩模块1～4的内部结构如图2(a)所示，每个模块有一个输入和两个输出，输入是初始的待分割图像或者上层收缩模块的池化输出，输入经过两层卷积操作得到卷积输出，卷积输出经过最大池化得到池化输出；收缩模块5的结构如图2(b)所示，包含一个输入和一个输出，其输入为收缩模块4的池化输出，经过两层卷积操作和一层反卷积操作得到反卷积输出。扩张路径包括扩张模块1～4，其中扩张模块1～3的内部结构如图2(c)所示，每个模块有2个输入，1个输出，输入为收缩模块5(或上层扩张模块)的反卷积输出和相应收缩模块的卷积输出，两个输入经过融合、两层卷积操作和一层反卷积操作得到反卷积输出；扩张模块4的内部结构与扩张模块1～3基本相同，只是不含反卷积层，输入经过若干层卷积操作得到输出。如图1所示，扩张模块4的输出即为网络输出的分割结果。目前在研究领域，U-net卷积神经网络常用于医学图像分割，包括神经细胞的分割，血管的分割。U-net卷积神经网络在许多分割挑战赛中取得了不错的效果，例如2012ISBI细胞分割挑战赛。

利用U-net卷积神经网络实现对PET/CT图像中的高代谢淋巴结进行分割是有效的办法，但根据PET/CT图像中分割高代谢淋巴结需要同时分析PET和CT两种图像的特征，而U-net卷积神经网络只有一个输入通道，无法实现同时对PET/CT图像中的高代谢淋巴结进行分割。

发明内容

为克服现有技术的不足，本发明旨在提出一种改进的U-net卷积神经网络，实现PET/CT图像中高代谢淋巴结的分割，避免人工分割存在的低效率及不稳定的缺陷，提供快速、可靠的从PET/CT图像中分割高代谢淋巴结的方法，从而为相关疾病的诊断、治疗和手术引导提供准确的依据。为此，本发明更改了U-net的网络结构，将单路径输入修改为双路径输入，具体的步骤如下：

步骤1，实验数据的获得与处理；

步骤2，构建双路径U-net卷积神经网络；

步骤3，训练双路径U-net卷积神经网络；

步骤4，采用训练好的双路径U-net卷积神经网络进行PET/CT图像中高代谢淋巴结的分割，得到分割结果。

所述步骤1具体包括以下步骤：

步骤1.1，由核医学科医师同时阅读淋巴瘤患者的平扫CT横断连续层面图像和相对应的PET/CT融合横断连续层面图像，应用画图软件，把FDG摄取高于本底的所有淋巴结在CT图像上勾勒出轮廓；

进一步的，所述核医学科医师为中级职称以上，有2000余例PET/CT图像阅片经验的医师；

步骤1.2，随机选取步骤1.1中的部分图像作为训练样本，其余图像作为测试样本，对训练样本进行数据增强处理；

进一步的，所述数据增强处理的方法为：采用随机旋转、缩放、镜面处理、加入噪声信号等方式，扩增训练样本，以减少过拟合现象；

进一步的，每个训练样本包括CT图，PET图和标记图，将CT图、PET图和标记图的尺寸保持一致；

进一步的，采用双线性插值法使CT图、PET图和标记图的尺寸保持一致。

所述步骤2具体包括以下步骤：

更改U-net卷积神经网络结构，将单路径输入改为双路径输入；

具体为：如图3所示，设计一条与原收缩路径对称的另一条收缩路径，选取其中一条路径作为CT图像的输入，另一条作为PET图像的输入。

更具体为：扩张通道的整体结构未发生变化，但扩张模块的内部结构发生改变，扩张模块的输入由2个变成3个，现在的输入模块如图2(d)所示：1.CT路径和PET路径的收缩模块5(或上层扩张模块)的反卷积输出，2.CT路径相应收缩模块的卷积输出，3.PET路径相应收缩模块的卷积输出；

进一步的，还可以根据CT和PET的图像特点调整结构，例如由于PET图像变化区间小，因此在PET收缩路径中加入BN层，调整卷积通道的数量等。

所述步骤3中训练双路径U-net卷积神经网络的方式包括训练方法和损失函数；

进一步的，所述训练方法采用Adam优化方式；

进一步的，所述损失函数为加权交叉熵函数；

所述加权交叉熵函数为：

其中，Pi表示像素i属于前景的概率，代表了样本实际所属类别，N代表了样本的数量，w^class类是指不同类别样本的惩罚系数。

所述步骤4具体包括以下步骤：

当双路径U-net卷积神经网络训练好后，利用训练的模型对任意PET/CT图像进行高代谢淋巴结的分割，并对分割结果和步骤1.2中的测试样本进行比较。

与现有技术相比，本发明的有益效果是：本发明通过更改U-net卷积神经网络结构，将单路径输入修改为双路径输入，提出了一种改进的U-net卷积神经网络，实现了PET/CT图像中高代谢淋巴结的分割，避免人工分割存在的低效率及不稳定的缺陷，提供了一种快速、可靠的从PET/CT图像中分割高代谢淋巴结的方法，从而为相关疾病的诊断、治疗和手术引导提供准确的依据。

附图说明

图1为本发明中U-net的网络结构示意图。

图2为本发明中U-net的网络结构中每个模块的具体结构示意图。

图3为实施例2中改进的双路径U-net卷积神经网络的结构示意图。

图4为实施例4中采用训练好的双路径U-net卷积神经网络对PET/CT图像中高代谢淋巴结进行分割得到的分割结果图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

实施例1实验数据的获得与处理

(1)由一名中级职称以上，有2000余例PET/CT图像阅片经验的核医学科医师阅读10个淋巴瘤患者躯干部(从颈根部到股骨上段)的平扫CT横断连续层面图像和对应的PET/CT融合横断连续层面图像，应用WIN7系统的画图软件，把FDG摄取高于本底的所有淋巴结在平扫CT图像上勾勒出轮廓。

(2)随机选取步骤(1)中80％的图像作为训练样本，剩余图像作为测试数据。每个训练样本包括CT图，PET图和标记图，其中CT图和标记图尺寸为512*512，而PET图尺寸为128*128。因此对PET图进行双线性插值，调整尺寸至512*512，与CT图保持一致；标记图格式为，受累淋巴结的区域对应标签为1，其他区域对应标签为0。对训练样本进行数据增强处理，采用随机旋转、缩放、镜面处理、加入噪声信号等方式，扩增训练样本至原有数量的4倍，以减少过拟合现象。

实施例2构建双路径U-net卷积神经网络

更改U-net卷积神经网络结构，将单路径输入改为双路径输入。

具体为：如图3所示，设计一条与原收缩路径对称的另一条收缩路径，选取其中一条途径作为CT图像的输入，另一条作为PET图像的输入。扩张通道的整体结构未发生改变，而是扩张模块的内部结构发生改变，扩张模块的输入由两个变成三个，原网络中扩张模块的输入如图2(c)所示：1.收缩模块5(或上层扩张模块)的反卷积输出，2.相应收缩模块的卷积输出。现在的输入如图2(d)所示：1.CT路径和PET路径的收缩模块5(或上层扩张模块)的反卷积输出，2.CT路径相应收缩模块的卷积输出，3.PET路径相应收缩模块的卷积输出。

实施例3训练双路径U-net卷积神经网络

采用Adam优化方式作为优化方法，同时采用交叉熵函数作为损失函数对步骤1中病人的颈部及锁骨区域PET/CT图进行数据增强后的图片(训练样本)进行训练，其中交叉熵函数指的是加权交叉熵函数；

所述加权交叉熵函数为：

其中，P_i表示像素i属于前景的概率，代表了样本实际所属类别，N代表了样本的数量，w^class类是指不同类别样本的惩罚系数。

实施例4采用训练好的双路径U-net卷积神经网络对PET/CT图像中高代谢淋巴结进行分割

用测试样本测试训练过的网络，当双路径U-net卷积神经网络训练好后，利用训练的模型对任意一张PET/CT图像进行高代谢淋巴结的分割，并对分割结果和主治医师的分割结果进行比较。分割结果如图4，用白色实线勾勒高代谢淋巴结，(a)图中的标记为医师标注，(b)图中的标记为双路径卷积神经网络的分割结果，实验结果显示：本发明所提供的基于双路径的U-net卷积神经网络可以很好的将PET/CT图像中高代谢淋巴结分割出来。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。