基于分组注意力残差网络的锥束X射线发光断层成像方法

摘要

本发明涉及一种基于分组注意力残差网络的锥束X射线发光断层成像方法，包括下列步骤:1)生成模拟数据集：根据锥束XLCT成像系统，构建相应的仿真系统，包括仿体构建及光源探测器布配方案设计；2)数据集预处理：将仿真实验光通量密度值Φ作为分组注意力残差网络的输入特征，纳米荧光粒子的密度分布ρ作为标签数据，对输入数据即仿真实验光通量密度值Φ进行归一化处理；3)基于ResNet18残差网络进行改进，搭建分组注意力残差网络；4)训练网络；5)重建图像：通过实验获取不同情况下CCD探测器的仿体实验光通量密度值，并进行归一化处理，并输入到保存好的网络模型，实现XLCT图像三维重建。

说明书

技术领域

本发明属于生物医学工程及医学影像学领域，涉及一种基于分组注意力残差网络的锥束X射线发光断层成像方法。该成像方法可在小动物实验中获取靶向目标的强度分布信息，在未来的人体肿瘤检测上有广泛的应用发展前景。

背景技术

光学分子影像作为分子成像技术的重要分支，因具有成本低、灵敏度高等优势得到了广泛的关注。光学分子影像主要包括生物发光断层成像、荧光分子断层成像、扩散光学断层成像和X射线发光断层成像等技术，其中，XLCT是基于X射线微型断层成像的成像机理，借助于目前快速发展的现代光学分子探针合成技术，利用具有X射线激发发光性质的纳米荧光颗粒合成的分子探针，构建一种基于micro-CT的新型光学分子成像系统。这种成像技术相比于其他光学分子影像技术而言，是一种可以同时实现结构性成像和光学分子的功能信息成像的双模态成像技术，具有高空间分辨率、高成像灵敏度和更深的探测深度等优势，受到国内外学者的广泛关注。同时，这种成像模态能够克服光学分子成像的缺陷，实现任意角度的数据采集，并且不会受到外界信号的干扰，为肿瘤的早期发现提供了重要依据，具有广泛的发展前景。

目前，XLCT成像系统根据激发模式的不同，可分为窄束XLCT和锥束XLCT。窄束XLCT利用窄形X射线束扫描物体，X射线束只有照射到具有荧光纳米粒子的位置才会激发其产生近红外光。因此，窄束XLCT可利用“激发先验”的优势获取高分辨率的重建结果，但是过长的扫描时间限制了其临床应用的发展；而锥束XLCT由于其扫描时间短会更加高效和实用，自从2013年提出以后，其发展迅速，越来越受到重视。但相比于窄束XLCT，锥束XLCT由于缺乏“激发先验”信息，图像重建质量不高一直是其痛点问题，因此提高图像重建质量是锥束XLCT迫切需要解决的关键问题。

近年来，深度学习算法是生物医学图像领域关注度很高的一类算法，深度学习是利用深度神经网络来解决特征表达的一种学习过程。深度学习的本质是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的识别有很大的帮助。其中，深度学习在语音和图像识别方面取得的效果，远远超过如支持向量机、高斯混合模型等相关技术。深度学习模型可以直接处理原始数据，可以采用自动提取特征的深层神经网络系统，以便其充分提取数据的复杂特征，解决了人工提取特征不完整的问题。

发明内容

目前发展的锥束XLCT成像技术在扫描效率方面具有优势，但其成像分辨率不高，如何在保证较少的扫描时间的前提下提高图像重建质量是锥束XLCT需要解决的痛点问题。本发明的目的是克服现有技术的上述不足，提供一种基于分组注意力残差网络的锥束X射线发光断层成像方法，可以在较少的投影角度且信噪比较低的环境下，有效的提高图像重建质量。。本发明提出的基于分组注意力残差网络的锥束XLCT重建算法，将领域知识(纳米荧光粒子的正确密度分布范围)集成到深度网络的模型训练中，使得锥束XLCT在训练数据稀疏(使用较少投影视图-四视图)、信噪比较低的环境中，也可显著提高重建图像分辨率，即准确获取成像物体内部的纳米荧光粒子的空间分布图像。技术方案如下：

一种基于分组注意力残差网络的锥束X射线发光断层成像方法，包括下列步骤:

1)生成模拟数据集：根据锥束XLCT成像系统，构建相应的仿真系统，包括仿体构建及光源探测器布配方案设计，方法如下：

第1步：构建数字鼠躯干仿体，方法为：设置一个空心圆柱，将具有肺脏、胃脏、心脏、肝脏和肾脏器官的数字鼠躯干模型与空心圆柱进行坐标匹配，使它们的中心保持一致，其中，数字鼠躯干仿体与空心圆柱的缝隙区域的光学参数被设定为相当于肌肉组织；

第2步：结合有限元分析方法，利用Comsol软件将数字鼠躯干仿体剖分为连续且不重叠的四面体单元，边界剖分为连续且不重叠的三角形单元，四面体单元和三角形单元的顶点为有限元节点；

第3步：在数字鼠躯干仿体的肝脏位置处嵌入不同大小、不同位置、不同间距的纳米荧光粒子目标体并设置其纳米荧光粒子的密度分布；

第4步：根据辐射传输方程的正向模型总方程Φ＝A·ρ，其中，A是整体系统矩阵，Φ为仿真实验光通量密度值，ρ为纳米荧光粒子的密度分布，得到各扫描角度下纳米荧光粒子受X射线激发产生的近红外光信号，利用此近红外光信号来表征仿真实验光通量密度值Φ；

2)数据集预处理：将仿真实验光通量密度值Φ作为分组注意力残差网络的输入特征，纳米荧光粒子的密度分布ρ作为标签数据，对输入数据即仿真实验光通量密度值Φ进行归一化处理；

3)基于ResNet18残差网络进行改进，搭建分组注意力残差网络，方法如下：

第1步：构建分组注意力残差基本单元，在ResNet18残差基本单元中嵌入分组注意力模块CA v2，改进后的分组注意力残差基本单元包括批标准化，非线性激活函数ReLU，卷积层，分组注意力模块CA v2；

第2步：构建分组注意力残差模块，1个分组注意力残差模块由1个残差基本单元和1个分组注意力残差基本单元堆叠而成；

第3步，构建分组注意力残差网络，分组注意力残差网络由1层卷积层、4个分组注意力残差模块、1层全连接层堆叠而成，网络结构最后的全连接层用以输出剖分后仿体各个节点处的纳米荧光粒子的密度分布；

4)训练网络：将处理好的训练集数据输入网络进行训练，并合理设置超参数，网络训练结束后保存模型，其中，网络损失函数采用添加纳米荧光粒子的正确密度分布范围的自适应域损失函数；

5)重建图像：通过实验获取不同情况下CCD探测器的仿体实验光通量密度值Φ’，并将仿体实验光通量密度值Φ’进行归一化处理，并输入到保存好的网络模型，实现XLCT图像三维重建。

本发明对于分组注意力残差网络和锥束XLCT系统进行了结合，充分利用了锥束XLCT系统扫描时间短和分组注意力残差网络可以模拟复杂函数的特性。通过对传统的ResNet网络进行修改创新，在网络的残差基本单元内部嵌入分组注意力模块CA v2，扩大全局感受野，使得网络更专注于识别具有目标体通道的特征图。此外，采用添加近似性约束的损失函数训练模型，从噪声数据中提取相关信号，突出了基于域的约束给归纳学习模型带来的鲁棒性，提高了网络模型的拟合性能和抗噪能力。本发明通过在数字鼠仿体中进行模拟实验验证了方法的有效性和可行性。本发明方法与目前的传统算法如ART、L2正则化相比，在较少的投影角度(稀疏角度)且高噪声环境下，依然能清晰准确重建出不同大小，不同位置的目标体形状和密度分布，提高了图像重建质量。本发明为解决锥束XLCT图像重建提供了一种新的思路和想法。对最终发展出具有临床意义的XLCT具有重要的研究意义。

附图说明

图1锥束XLCT成像系统结构图

图2网络结构图

图3数字鼠仿体

图4残差基本单元和分组注意力残差基本单元

图5分组注意力模块CA v2结构图

图6图像重建结果比较之一

图7图像重建结果比较之二

具体实施方式

下面结合附图和实施例，对本发明进行说明。

(一)锥束XLCT成像系统

实验成像系统为Pixarray 100小动物数字放射成像系统(美国BIOPTICS公司制造)。该系统的探测器为1024×1024的CCD阵列，像素大小为50μm×50μm，14级灰度，横向及纵向的空间分辨率均为每毫米20像素；X射线管的焦斑尺寸为50μm。实验中，X射线源的工作电压为40kV，工作电流为0.5mA。图1所示为锥束XLCT系统结构图，在这套系统中，X射线源位于物体的正前方且到物体的距离为80cm，锥形束X射线源和X射线平板探测器相当于一个micro-CT，能够实现传统的CT结构成像。同时，X射线束会激发磷光纳米粒子产生近红外光子，CCD相机作为光学检测器用于测量目标发射的可见光或近红外发光，CCD相机在仿体的一侧且与X射线源成90°放置，同时，为了保护CCD相机在实验过程中免受高能量X射线的照射，需要使用铅板将CCD相机与X射线进行隔离。放置成像物体的载物台位于X射线的焦点处，通过安装在可上下移动的升降台上来调整扫描深度。旋转台安装在旋转台上，以实现不同投影角度的扫描，然后安装在线性平移台上，以实现特定投影角度下的线性扫描。整个实验在一个密闭的且无辐射泄露的环境中进行，以防止X射线对实验人员的辐射以及环境光对实验数据的影响。

(二)锥束X射线发光断层成像原理

在XLCT成像过程中，X射线源发出的X射线穿透生物组织，照射到纳米发光材料，激发其产生近红外光，X射线的强度在整个过程中会发生变化，根据朗伯比尔定律，可得到在生物组织中X射线的强度变化：

其中，X(r

在成像过程中，纳米发光材料经过X射线照射后，受激发出近红外光，激发出的光源强度可表示为：

S(r)＝εX(r)ρ(r). (2)

其中，S(r)是近红外光强度，ρ(r)是纳米荧光粒子在位置r处的密度分布，单位为mg/mL，ε是光子产率。

光子在生物软组织中的传播过程可以用辐射传输方程(RTE)来描述，由于生物软组织对近红外光具有高散射性和低吸收性的特性，RTE一般被近似为扩散方程，因此成像模型可以表达为：

其中，D(r)＝(3(μ

采用稳态扩散方程描述光子传播，在边界处可由罗宾边界条件进行补充：

其中，v(r)是边界r处的外法线向量，κ＝(1+R

扩散方程求解主要基于有限元法，该方法可用于任意形状的网格分割区域，并且求得的解精度较高。其中，在实际中伽辽金有限单元法被广泛采用，伽辽金有限单元法可以分为以下步骤：

①结合扩散方程和罗宾边界条件建立积分形式

其中，ψ(r)是实验函数，且满足平方可积条件。

②建立有限元空间

对成像物体进行有限元剖分，得到多个连续且不重叠的单元。并用基函数(或称形状函数)的线性组合表示扩散方程的解表示。于是有：

其中，N

③建立总刚度矩阵

将式(6)带入式(4)和(5)中，可得到每个单元刚度矩阵，而总的刚度矩阵是由多个单元刚度矩阵组合得到的，如下：

M·Φ＝S (7)

将式(1)和(2)带入到式(7)中，可得：

M·Φ＝F·ε·X·ρ (8)

其中，

式(9)中，ψ

Φ＝M

将式(9)带入到(10)中，即可得到仿真实验光通量密度值Φ。实际应用时，整体系统矩阵A的获得依靠求解格林函数。

由于上述的离散过程导致了实际测量数据个数远远小于待求的未知量个数，并且方程的解很容易受噪声干扰，因此很难用直接的矩阵求逆的方法得到纳米荧光粒子的密度分布ρ。在此情形下，我们希望通过用深度学习的方法构建出光通量密度值Φ与仿体内部纳米荧光粒子的密度分布ρ的逆向模型，从而实现XLCT图像重建。

目前，可用于构建图像重建模型的深度学习方法有传统的GoogLeNet，ResNet网络以及DenseNet网络等。结合我们的项目需求及实际应用场景，本发明结合了经典的ResNet网络并加以创新改进，最终得到本发明所应用的分组注意力残差网络。网络结构如图2所示。在残差网络中的残差基本单元内部嵌入注意力模块(Channel Attention，CA)，该模块可以自适应的给不同的通道赋以相应的权值，放大含有丰富高频信息的通道的权重，缩小含有大量冗余低频信息的通道的权重，以此加强模型的泛化能力、加速网络收敛、进一步提升网络性能。

为进一步减少CA所带来的计算量，本发明在CA内部采取分组卷积，并在分组卷积后采取相应措施融合分组信息，避免信息孤立问题，改进后的分组注意力模块命名为CAv2。

为进一步增强网络模型的鲁棒性，本发明在分组注意力残差网络基础上，改进其损失函数，加入自适应领域知识，将结果变量的正常定量范围(即纳米荧光粒子的正确密度分布范围)作为自适应领域知识，将其结合到深度前馈神经网络的训练损失函数中，用于强制从训练数据中学习的模型符合可接受的领域规则。

(三)基于分组注意力残差网络的锥束X射线发光断层成像方法技术流程

本发明基于分组注意力残差网络的锥束X射线发光断层成像方法的流程描述如下：

1.生成模拟数据集。

1.1正向模型构建：首先，建立锥束X射线发光断层成像系统并制作数字鼠躯干仿体，通过计算机仿真的方法模拟实际实验获取训练数据集，具体操作流程为：采用由南加州大学与UCLA医学院联合开发的标准数字鼠模型，参见Dogdas B,Stout D,Chatziioannou AF,et al.Digimouse:a 3D whole body mouse atlas from CT and cryosection data.[J].Physics in Medicine&Biology,2007,52(3):577-587。其横断面的最大直径约为3.3cm，总长度大约为8.72cm。由于此标准数字鼠的结构较为复杂，因此本发明在此基础上对标准数字鼠模型进行一定的简化处理，即仅研究躯干部分的几个主要器官区域，比如肺、胃、心脏、肝脏和肾等。因此，设计一个高为3cm,半径为1.5cm的空心圆柱，将其躯干简化部分嵌入圆柱体成像腔内，构建数字鼠躯干仿体。具体实施过程为：将简化躯干模型与该空心圆柱坐标进匹配，使他们的中心保持一致。另外，在数字鼠躯干仿体与空心圆柱的缝隙区域，其光学参数被设定为肌肉组织相同。而后，利用Comsol软件对此数字鼠躯干仿体进行有限元剖分，建立模型，仿体内部剖分为连续且不重叠的四面体单元，边界剖分为连续且不重叠的三角形单元，四面体和三角形的顶点即为有限元节点，有限元节点的个数为9446个。模拟过程中，由于荧光纳米粒子通常聚集在肝脏肿瘤等位置处，因此，在数字鼠躯干仿体的肝脏位置处随机嵌入两个半径相同且变化范围为0.1cm-0.3cm之间，高为0.5cm且充满荧光纳米粒子的小圆柱状目标体，如果位置r处的节点(node

其中，i为小球的序号。考虑到目标体可能在肝脏的任何位置和具有不同大小，因此模拟过程中，双目标小圆柱体的位置应遍历肝脏所处的整个空间，同时，两个目标体之间具有不同的间距和同步变化的大小。仿真模拟时，将提前设置好目标体，然后辐射传输方程用有限元法求解方程从而得到仿真实验光通量密度值Φ，即由总方程Φ＝A·ρ求出Φ，其中A是整体系统矩阵，Φ为仿真实验光通量密度值，ρ为纳米荧光粒子的密度分布。接下来，对于每个数据样本，分别对仿体旋转0°、90°、180°、270°四个不同角度进行探测，最后每个样本的光通量密度值Φ为紧贴在仿体表面的且大小为128×128×4三维矩阵。由此，深度学习模型的输入为成像物体表面的光通量密度值Φ，标签数据为成像物体内部的纳米荧光粒子的密度分布ρ。数据集生成后进行乱序处理，而后按照7：2：1进行划分，最终选取数据集18850组，训练集13195组，测试集3770组，验证集1885组。

1.2实验参数设置：数字鼠躯干仿体的半径设置为1.5cm，高为3cm，纳米荧光粒子目标体半径为0.1cm-0.3cm，纳米荧光粒子的密度设置为1mg/mL，X射线束宽度为0.01cm，探测角度为0°、90°、180°、270°四个角度，探测阵列为128×128。

2.对数据集进行预处理。

将仿真实验光通量密度值Φ进行归一化处理，作为网络的输入数据，纳米荧光粒子的密度分布ρ作为标签数据，将仿真实验光通量密度值Φ和纳米荧光粒子的密度分布ρ转换为Tensorflow平台可识别的.npz文件格式。

3.搭建分组注意力残差网络框架。

在本发明中分组注意力残差网络主要基于分组注意力残差模块的堆叠，一个分组注意力残差模块包含一个残差基本单元(如图4)和一个分组注意力残差基本单元(如图4)。

本网络共包含4个分组注意力残差模块，其中，残差基本单元主要由批标准化、激活函数ReLU、卷积层构成；分组注意力残差基本单元主要由批标准化、激活函数ReLU、卷积层、分组注意力模块CA v2(如图5)构成。每个基本单元皆可实现残差跳连，通过使用有参层来直接学习输入、输出之间的映射。此外，残差结构可以更方便地引入更深的网络层数，同时也能较好的解决模型退化问题。

3.1在分组注意力模块(CA v2)中，将原有的通道注意力模块(ChannelAttention，CA)的单输入x拆分为多组输入x

3.2本发明中的输入为大小为128×128×4的四通道矩阵(128×128为探测器阵列，4为仿体的四个投影角度)。首先，通过一个卷积核数为64，大小为3×3，步长为1的卷积层，提取特征图浅层信息并进行通道扩充，扩充后的图像通道数为64，大小不变。而后，将浅层特征图信息依次通过四个分组注意力残差模块，进行深层特征图信息提取和处理。其中，一个分组注意力残差模块包含一个残差基本单元和一个分组注意力残差基本单元。经过每个模块后图像大小减半，图像大小分别为64×64，32×32，16×16，8×8，通道数为之前的2倍，分别为64，128，256，512。在一系列的特征提取过后，图像通过全局平均池化层(GlobalAverage Pooling)，对整个网络结构进行正则化防止过拟合。最后连接一个全连接层(Dense)，神经元个数为9446(9446为剖分后的节点数)，输出各个节点处的纳米荧光粒子的密度信息。而后，使用反向传播算法更新网络权重参数，经过多次迭代后，得到训练好的网络模型并进行保存。

3.3损失函数采用自适应域损失函数，其主要原理为在TensorFlow自带的平滑平均绝对误差Huber Loss上加入近似约束损失函数，并共同作用于网络的权值参数更新过程。本发明的损失函数可以在训练期间从数据和域知识中学习，突出基于域的约束给归纳学习模型带来的鲁棒性。整体损失函数计算公式如下：

其中，

ReLU(z)＝z

R(f)是用于控制模型f的模型复杂性的L2正则化项。λ是决定正则项权重的另一个超参数。y

4.训练模型。

4.1合理设置超参数：优化器选择Adam，学习率设为0.0001。本项目的模拟实验的纳米荧光粒子的密度分布是限制在1mg/ml以内的，所以将数学表达式中的y

4.2使用搭建好的网络对训练集进行训练。

5.重建图像。

保存训练好的模型，将通过实验获取不同情况下CCD探测器的仿体实验光通量密度值Φ’进行归一化处理，而后输入到保存好的网络模型中，实现XLCT图像的三维重建。

本发明采取分组注意力残差网络对锥束XLCT进行重建。首先对于训练数据，采用模拟有限元法解辐射传输方程的方法获取训练数据，选取目标体大小、距离、位置随机的双目标体进行大量数值模拟，用于网络的训练。其次，在数值模拟时，仿体的大小位置，X射线源的位置以及探测器的位置都严格按照实际实验系统进行模拟。

结果表明，分组注意力残差网络对于数字鼠躯干仿体的双目标体仿真模拟实验，最小可分辨半径为0.2cm的小目标体。其无噪声时的位置误差最小为0.03cm，与一些传统方法例如ART、L2正则化相比，该方法的位置误差保持在非常低的水平，进一步提高了图像重建质量。另外，本发明所提出的方法可以清晰重建并分辨出出心心距离为0.7cm的双目标体，重建出高质量图像。最后，面对实际实验中不确定的噪声，即使在信噪比为30dB的低信号环境下，分组注意力残差网络依旧保持较好的重建结果，突出了基于域的约束给归纳学习模型带来的鲁棒性。

(1)测试数据的设置：

本发明采用锥束扫描方法，激发荧光纳米粒子发出近红外光，位于物体一侧且与X射线源呈90°的CCD相机用于探测近红外光信号进行光学图像拍摄，并将此时的数字影像传入电脑。投影角度选取了0°，90°，180°，270°四个方向。大圆柱仿体半径为1.5cm，高为3cm，探测阵列为128×128，在圆柱形数字鼠仿体的肝脏位置处嵌入两个充满纳米荧光纳米粒子的小圆柱，小圆柱半径范围为0.1cm至0.3cm，高为0.5cm，双目标体中心之间的距离介于0.6cm-1cm之间，纳米荧光粒子的密度分布为1mg/mL。结果展示中，将展示心心距离为0.7cm，0.9cm两种磷光纳米粒子的重建图像，同时，为了进一步验证模型的鲁棒性，分别设置了无噪声、信噪比为50dB、40dB、30db四种情况。

(2)评价指标选取：

为了对图像重建结果做出客观公正的评价，本文实验采用位置误差(theLocation Error,LE)、均方误差(Mean Square Error,MSE)、杰卡德指数(Jaccard Index)三个指标进行定量分析，计算公式如下：

①位置误差(LE)

LE表示重建目标体中心位置和真实目标体的中心位置误差，LE值越小，表明重建目标体越接近真实目标体，表达式为：

LE＝‖L

其中，L

②均方误差(MSE)

MSE用来评估重建图像与实际图像之间的误差，MSE越小，表明重建的图像更接近真实图像。表达式为：

MSE＝ABE

其中，N为有限元节点数，x

③Jaccard Index

Jaccard指数也被称为并交比(Intersection over Union，简称IoU)和Jaccard相似系数(Jaccard similarity coefficient)(Paul Jaccard最初创造的系数)，该指标用于测量真实值和预测值之间的相关度(包括位置和形状)，相关度越高，该值越高。表达式为：

其中，ROI

(3)结果展示：

①目标体半径为0.25cm，在不同心心距(0.7cm、0.9cm)下的算法验证

表1

图6为不同心心距的测试样本图像重建效果，第一行图片为心心距为0.7cm的重建图像，第二行图片为心心距为0.9cm的重建图像。从以上重建图像我们可以直观看到，即使心心距离低至0.7cm，本发明提出的方法依然可以清晰的分辨两个目标体，重建出高质量图像。同时，根据相关评价指标表1中的Jaccard Index和MSE进行分析，我们可以看到目标体间距越大，重建得到的预测浓度值越准确，形状也越接近真实值。

②目标体半径为0.2cm,心心距离为0.9cm双目标在不同噪声的环境中(无噪声、50dB、40dB、30dB)的算法验证

表2

接下来对更小的目标体—半径为0.2cm的目标体进行测试，根据图7可以看到，即使对于小目标，本发明提出的模型也可以较为准确的重建出其位置、形状和浓度。由表2可知，即使在信噪比较低的30dB的情况下，目标体的Jaccard Index也保持在84％以上，浓度误差MSE低于0.14。这也较好的验证了本发明中提出的分组注意力残差算法可以基于注意力机制较好的聚焦于信号集中区域，提高模型在信号稀疏与高噪声环境下的鲁棒性。此外，我们可以看到预测的浓度值始终保持在正确科学的浓度范围之内(1mg/mL)，这也进一步验证了我们在损失函数中加入领域自适应域约束的有效性。