基于多任务学习约束的PET图像感兴趣区域增强重建方法

摘要

本发明公开了一种基于多任务学习约束的PET图像感兴趣区域增强重建方法，该方法先获取PET原始数据在图像域的反投影图像，设计重建主任务为利用三维深度卷积神经网络建立反投影图像与PET重建图像之间的映射。设计新增辅助任务一从反投影图像中预测与PET重建图像具有相同解剖结构的电子计算机断层扫描（CT）图像，从而利用高分辨率CT图像的局部平滑信息降低PET重建图像中的噪声。设计新增任务二实现区分反投影图像中的感兴趣区域与背景区域，在重建过程中对感兴趣区域进行增强重建，降低感兴趣区域由平滑导致的定量误差，提高PET重建精度。

说明书

技术领域

本发明属于医学影像技术领域，具体地涉及一种基于多任务约束的PET图像感兴趣区域增强重建方法。

背景技术

正电子发射断层扫描（Positron Emission Tomography, PET）是一种能同时提供人体生物学功能代谢信息和形态解剖结构信息的医学影像，在临床肿瘤的诊断、神经精神疾病和心血管疾病的诊疗评估等方面得到广泛应用。PET的成像过程包括扫描前对病人注入放射性示踪剂；示踪剂在人体内参与生理代谢时发生衰变产生正电子；正电子与邻近组织中的电子发生湮灭效应，产生逆向运动的高能光子对；用两个位置相对的探测器对光子对进行符合探测可记录一条符合响应线；采集一定数量的符合响应线，并按位置和角度信息排列成三维PET原始数据；对原始数据进行矫正后，利用重建算法即可获得表征人体内各组织代谢强度的三维PET图像。

经典解析重建算法以线性积分模型为基础，先将PET原始数据沿符合响应线反投影至图像域获取一个模糊的PET图像估计，再设计三维高通滤波器对估计图像中的边缘、细节等进行锐化处理以获取清晰的PET图像。由于高通滤波器在增强高频信号的同时不可避免的增强了高频噪声，解析算法重建出的图像具有噪声高的特点，尤其在PET原始数据量不足的情况下。与解析算法不同，现今临床应用广泛的迭代重建算法使用泊松随机过程对原始数据采集进行建模，通过求解原始数据的最大似然估计获取PET图像的无偏估计。由于在数据域对噪声进行了准确建模，迭代重建算法获取的PET图像中的噪声远低于解析重建算法。然而迭代重建算法需要重复进行投影、反投影操作，其耗时长的缺点成为制约PET扫描获得进一步推广的原因之一。

随着计算机硬件的更新换代以及深度学习技术的飞速发展，近年来利用深度学习改善PET图像重建的课题获得了广泛关注。其中利用深度学习建立质量较差的PET图像到高质量的PET图像的端对端映射或者直接建立从PET原始数据到PET图像之间的映射取得了初步进展，在缩短迭代重建耗时的同时，获取了分辨率高、噪声低的PET图像。然而，目前的基于单任务的PET图像深度学习重建无法在重建映射中引入关于PET图像的先验知识，不能对PET图像中的感兴趣区域引入注意力机制，且泛化能力较弱、利用训练好的模型重建新数据的时候有产生伪影的风险。因此，基于深度学习的重建方法目前尚未得到临床医生的认可。

发明内容

本发明的目的在于针对现有单任务深度学习PET重建技术的不足，提供一种基于多任务约束的PET图像感兴趣区域增强重建方法。该方法先获取PET原始数据在图像域的反投影图像，设计重建主任务为利用三维深度卷积神经网络建立反投影图像与PET重建图像之间的映射。设计新增辅助任务一从反投影图像中预测与PET重建图像具有相同解剖结构的电子计算机断层扫描（Computed Tomography, CT）图像，从而利用高分辨率CT图像的局部平滑信息降低PET重建图像中的噪声。设计新增任务二实现区分反投影图像中的感兴趣区域与背景区域，在重建过程中对感兴趣区域进行增强重建，降低感兴趣区域由平滑导致的定量误差，提高PET重建精度。

本发明是通过如下技术方案实现的：

一种基于多任务约束的PET图像感兴趣区域增强重建方法，该方法通过将待重建PET反投影图像输入至一训练好的重建映射网络获取PET重建图像完成重建，其中，所述重建映射网络包括共享编码器和重建解码器，通过如下步骤训练获得：

（1）构建训练数据集，所述训练数据集的每个样本包括对应的PET反投影图像、PET重建图像、PET扫描之前进行的CT扫描得到的CT图像和PET重建图像中感兴趣区域掩膜；所述感兴趣区域为PET重建图像中具有特定位置、形状特征的区域；

（2）建立共享编码器的多任务学习，所述多任务学习至少包括：

重建主任务：将PET反投影图像作为共享编码器的输入，结合重建解码器的输出学习从PET反投影图像到PET重建图像的映射；

新增任务一：将PET反投影图像作为共享编码器的输入，结合一CT预测解码器的输出学习从PET反投影图像到CT图像的映射；

新增任务二：将PET反投影图像作为共享编码器的输入，结合一感兴趣区域预测解码器的输出学习从PET反投影图像到PET重建图像中感兴趣区域掩膜的映射；

（3）利用步骤（1）构建的训练数据集，以最小化多任务学习预测结果与真值的损失为目标进行训练，获得训练好的重建映射网络。

进一步地，所述步骤（1）中，PET反投影图像通过将PET原始数据经过衰减、随机、散射矫正之后，反投影至图像域获得。

进一步地，所述步骤（1）中，PET重建图像为将物理矫正后的PET原始数据进行迭代重建获得。

进一步地，所述重建映射网络由两部分构成，第一部分是由3D卷积层、3D反卷积层、以及它们之间的跳跃连接构成的U-Net，第二部分由多个残差单元串联构成。其中3D卷积层作为共享编码器用于对PET反投影图像进行编码，提取高层特征；3D反卷积层和多个残差单元构成重建解码器，用于对高层特征进行编码获取预测的PET重建图像。

进一步地，所述步骤（3）中，任务预测结果与真值的损失包括：

重建主任务预测的PET重建图像与PET重建图像标签之间的L1范式误差；

新增任务一预测的CT图像与CT图像标签之间的L1范式误差；

新增任务二预测的感兴趣区域掩膜与感兴趣区域掩膜标签之间的Focal损失；

使用结构相似指数测量（SSIM）计算预测的PET重建图像与预测的CT图像之间的相似度；

将预测感兴趣区域掩膜作用于预测的PET重建图像和PET重建图像标签后二者感兴趣区域与背景区域对比度之间的L2范式误差。

与现有PET图像重建技术相比，本发明的有益效果是：本发明提出的重建过程只包含一次反投影操作和一次重建网络测试操作，重建时间较传统迭代重建算法减少至少一半。此外，本发明以迭代重建PET图像为重建映射标签，并在此基础上引入CT图像的局部平滑性和感兴趣区域的位置信息，使得本发明所重建出的PET图像较迭代重建获取的标签图像具有噪声更低，感兴趣区域定量精准的优势。此外，多任务学习较现有的单任务学习训练出的重建网络具有更强的泛化能力，避免了重建伪影的出现。

附图说明

图1是本发明基于多任务约束的感兴趣区域增强重建网络训练时的结构示意图；

图2是迭代重建算法（a）、基于单任务学习的重建方法（b）和本发明基于多任务学习约束的感兴趣区域增强重建方法（b）的重建三视图结果对比图。

具体实施方式

本发明提供了一种基于多任务学习约束的PET图像感兴趣区域增强重建方法，该方法只需执行一次反投影操作和一次重建网络测试操作，重建时间较传统迭代重建算法减少至少一半。与现有的单任务网络重建方法不同，该方法通过新增预测CT图像任务在重建过程中引入CT图像局部平滑信息，并通过新增预测感兴趣区域掩膜任务在重建过程中对感兴趣区域进行增强重建，最终获取噪声更低，感兴趣区域精度更高，无伪影的PET重建图像。

具体地，该方法先通过训练一重建映射网络完成从PET反投影图像到PET重建图像的映射，具体包括以下步骤：

（1）构建训练数据集，所述训练数据集的每个样本包括对应的PET反投影图像、PET重建图像、PET扫描之前进行的CT扫描得到的CT图像和PET重建图像中感兴趣区域掩膜；具体包括以下子步骤：

（1.1）将PET原始数据经过衰减、随机、散射矫正之后，反投影至图像域，获取包含原始数据信息的模糊的反投影图像

（1.2）将物理矫正后的PET原始数据进行迭代重建，获取PET重建图像

其中，

本发明提出用卷积层串联的神经网络拟合PET反投影图像

进一步地，由于卷积操作是线性的，而要拟合的模糊逆函数是非线性的，并具有空间变异性，本发明通过在卷积层之间增加非线性激活函数如ReLU等使映射网络具有非线性，通过增大卷积步长减小卷积输出的特征图的尺寸，增大特征图中像素的感受野，从而提升映射网络所学特征的全局性，改善单层卷积的局部不变性。

本实施例中，三维卷积层的步长是（2，2，2），但不限于此。

（1.3）获取在PET扫描之前进行的CT扫描得到的CT图像作为新增学习任务一的标签。

（1.4）对步骤（1.2）中获取的PET重建图像进行感兴趣区域掩膜的勾画，获取感兴趣区域掩膜作为新增任务二的学习标签。其中，感兴趣区域是指PET重建图像中具有明显特定位置、形状特征的区域，如肿瘤区域或者特定器官（如心脏、肺部）等。

（2）建立共享编码器的多任务学习，具体如下：

重建主任务：将PET反投影图像作为共享编码器的输入，结合重建解码器的输出学习从PET反投影图像到PET重建图像的映射；

以步骤（1.1）获取的PET反投影图像作为输入，步骤（1.3）获取的标签图像作为预测目标，用与步骤（1.2）中相同的共享编码器结合一CT预测解码器可以建立新增任务一，学习从PET反投影图像到CT图像的映射；以步骤（1.1）获取的PET反投影图像作为输入，步骤（1.4）获取的标签图像作为预测目标，用与步骤（1.2）中相同的共享编码器结合一感兴趣区域预测解码器可以建立新增任务二，学习从PET反投影图像到PET重建图像中感兴趣区域掩膜的映射；将步骤（1.2）描述的PET重建图像重建映射，与以上CT图像预测映射和感兴趣区域掩膜预测映射通过共享编码器进行结合，得到本发明提出的多任务约束的感兴趣区域增强重建网络。共享编码器使得网络获取的用于实现新增任务的特征对重建任务亦造成影响，即在重建主任务中引入了新增任务先验知识。具体网络结构如图1所示，由共享编码器、重建解码器、CT预测解码器和感兴趣区域预测解码器构成。其中，CT预测解码器和感兴趣区域预测解码器的网络结构与重建解码器的网络结构相同。

（3）利用步骤（1）构建的训练数据集，通过梯度优化算法最小化本发明中多任务重建网络的损失函数实现重建映射网络的训练。网络的损失函数由五个部分构成：

1.针对重建主任务，网络预测PET重建图像与PET重建图像标签之间的L1范式误差；

2.针对新增任务一，网络预测CT图像与CT图像标签之间的L1范式误差；

3.针对新增任务二，网络预测的感兴趣区域掩膜与感兴趣区域掩膜标签之间的Focal损失；

4.使用结构相似指数测量（SSIM）计算预测的PET重建图像与预测的CT图像之间的相似度；

5.将预测感兴趣区域掩膜作用于预测PET重建图像和PET重建图像标签，计算二者感兴趣区域与背景区域对比度之间的L2范式误差。

网络训练完成之后，将待重建的PET原始数据进行衰减、随机、散射矫正，并反投影至图像域获得待重建的PET反投影图像。

将待重建PET反投影图像输入重建映射网络，经网络权值计算，即可获得具有CT图像局部平滑先验信息约束和感兴趣区域增强的PET重建图像。

对于病人PET全身图像的重建，迭代重建算法的重建结果如图2的（a）所示，迭代重建过程包括多次投影、反投影操作，耗时长，重建图像噪声大，对于病灶的诊断受到噪声的严重干扰；使用本发明重建映射网络进行单任务训练学习得到的网络重建的结果如图2的（b）所示，PET重建图像中的噪声降低了，但是由于泛化能力不足，造成了如箭头所示重建伪影的产生；使用本发明所提出的基于多任务约束的感兴趣区域增强重建方法可获取如图2的（c）所示的PET重建图像，图像中的噪声较单任务结果进一步降低，且感兴趣区域（箭头所示心脏区域）对比度更高，没有重建伪影产生。另外本发明提出的多任务重建只需一次反投影操作，重建总耗时较迭代重建方法减少了一半以上，使得本发明方法更加符合临床成像实时性的需求。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。