一种基于时空循环注意力机制的CT淋巴结检测系统

摘要

本发明公开了一种基于时空循环注意力机制的CT淋巴结检测系统，具体涉及医学图像分析技术领域。本发明基于深度卷积神经网络和循环注意力机制，能够在淋巴结CT序列的切片向和空间域内构造出自适应病灶尺寸的注意力特征图谱。首先，利用一预训练卷积网络提取出淋巴结CT图像对应的高层空间特征；其次在空间邻域内，以淋巴结中心切片为基准，构造一种基于高斯核函数的循环注意力机制；在此基础上，实施基于高斯混合模型的时间(切片方向)注意力机制；此外，根据淋巴结在CT切片序列内位置分布的先验信息，对预测的注意力位置进行约束；最后，循环神经网络综合该两种注意力方法提取到的高层特征进行分类，得到淋巴结检测结果。

说明书

技术领域

本发明涉及医学图像分析技术领域，具体涉及一种基于时空循环注意力机制的CT淋巴结 检测系统。

背景技术

在将深度学习模型应用到医学图像分析领域时，鉴于医学图像特殊的成像特点，模型往 往受到医学分析目标的不同大小、形状、尺度、成像质量、背景组织器官等情况的影响，分 析准确性有待提高。

视觉注意力机制可以模仿人眼对视觉信息特有的关注机制，能够对感兴趣区域进行准确 定位，进一步克服无关信息对模型的影响。有鉴于此，本发明将传统的面向自然图像的深度 视觉注意力模型应用到淋巴结CT序列图像中，对淋巴结进行真假阳性分类，以提高深度学习 方法在病灶检测方面的准确度。

发明内容

本发明的目的是针对上述不足，提出了一种基于循环注意力机制，根据CT图像呈现序列 化特点，基于高斯核函数和混合密度网络，融合空间向、切片向两个维度的视觉注意力过程 的CT淋巴结检测系统。

本发明具体采用如下技术方案：

一种基于时空循环注意力机制的CT淋巴结检测系统，包括训练样本提取模块、深层特征 提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：

步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注位 置坐标信息，采用python中的pydicom模块对每个淋巴结抽取出长度为L、宽为W、高为H 的CT切片图像块序列

步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结 的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X₀,...,X_L}；

步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Α_i；

步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力 机制，获得空间注意力结果

步骤五：对步骤四获得的空间注意力结果实施时间注意力机制，得到时空注意力特 征

步骤六：综合步骤五得到的时空注意力特征利用步骤四已构建的循环神经网络预 测出此循环注意力迭代步的淋巴结阳性得分

步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对 模型进行有监督训练；

步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；

步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出 的阳性得分作为CT淋巴结检测结果。

优选地，所述步骤四具体包括以下步骤：

步骤4.1：构建两层长短时循环记忆网络；

步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；

步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；

步骤4.4：基于二维高斯核函数，构造出注意力矩阵l^(t)；

步骤4.5：l^(t)与Α_i逐元素相乘，并求和，获得空间注意力结果特征

优选地，在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐 藏层表达式由如式(1)所示，

其中：对应的R_recur(·)展开为式(2)：

其中，i_t，f_t，o_t分别代表输入门，遗忘门和输出门；c_t，h_t分别表示细胞状态和隐藏层>表示第t步注意力机制输入到长短时循环记忆网络的特征向量；为一个 由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为i_t,f_t,o_t,g_t,c_t和h_t对应的相同>recur(·)中的替换成后得到对应的R_recur(·)。

优选地，所述步骤4.2具体包括如下步骤：

步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；

步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱A_mid，按>

步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时 循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态用来初始 化步骤4.1中的长短时循环记忆网络第二层细胞状态

优选地，所述步骤4.3具体包括如下步骤：

步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量和循环注意力迭代 步中切片序列中心对应的特征结果进行串联，得到

步骤4.3.2：将输入到由一层全连接层构成的发射网络，对下一循环迭代步 空间注意力位置进行回归，由式(3)所示：

其中：表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数 方差设为固定值0.1，故只对应两个输出结点。

优选地，所述步骤4.4中，在得到注意力位置坐标之后，利用二维高斯核函数和softmax构建注意力模板矩阵，具体为式(4)所示，

其中，为A_i范围内归一化到区间[0,1]的>

优选地，所述步骤五具体包括以下步骤：

步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置

步骤5.2：基于高斯混合分布，获得注意力权重向量l′^(t)；

步骤5.3：将l′^(t)与输入特征逐元素相乘并相加，获得时间注意力结果特征

优选地，所述步骤5.1中，具体包括以下步骤：

步骤5.1.1：将每个淋巴结对应的序列特征等分成左、右两半部分，即

步骤5.1.2：由一层全连接隐藏层构成混合密度网络，用以回归时间注意力位置坐标及 混合高斯函数参数，采用式(5)表示：

其中，表示的左半部或右半部；表示混合密 度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid 函数；

步骤5.1.3：对左半部和右半部各自回归系数均按的规则分配该系数到混合高斯模型中；

步骤5.1.4：采用式(6)将μ_Left限制在[0,0.5)，将μ_Right限制在(0.5,1]内。

μ_Left←μ_Left×0.5,μ_Right←0.5×(1+μ_Right)(6)

优选地，所述步骤5.2中，具体包括以下步骤：

步骤5.2.1：利用softmax，归一化各高斯分量的系数即并 将所有高斯分量的方差固定为0.1；

步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依 照式(7)获得对应的时间注意力权重向量

其中，Ν为高斯混合密度函数：

优选地，在步骤七中，模型有监督训练的目标函数经过以下步骤获得：

步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由 式(9)给出：

其中：y_i，分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；

步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：

步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息， 基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10) 给出：

其中，

其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m 为批样本容量；

步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对 均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：

其中，p_Unif～Uniform(0,K²)表示分布在特征图谱空间范围内的均匀分布；常量Const>

步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项， 对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右 半部关注位置

步骤7.4：构建模型最终的整体损失函数，如式(12)所示：

本发明具有如下有益效果：

本发明采用循环注意力机制，对淋巴结CT图像高层空间特征进行加权提取，能够自适应 处理3D病灶体素信息，无需引入而外的位置标签信息。发明是基于高斯核函数，模型规模较 小，整体可导，方便利用反向传播算法训练。对淋巴结检测结果较为理想，具有很好的技术 价值和应用前景。

附图说明

图1为本发明方法的流程图；

图2为本发明各部分结构图；

图3为特征图谱编码序列示意图；

图4为对称的混合密度网络MDN结构图；

图5为循环神经网络在训练阶段时的正向，反向传播示意图；

图6为实施空间注意力机制实例图；

图7为实施时间注意力机制实例图；

图8为本发明与基准模型的FROCs和AUC对比图；

图9为本发明与其他模型的性能对比图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：

为克服不同淋巴结病灶区域及复杂背景对检测结果的影响，该系统采用循环注意力机制， 根据CT图像呈现序列化特点，基于高斯核函数和混合密度网络，模型融合空间向、切片向两 个维度的视觉注意力过程。此外，利用病灶区域位置的先验分布，对预测的时空注意力位置 进行了约束。

结合附图，一种基于时空循环注意力机制的CT淋巴结检测系统，包括训练样本提取模块、 深层特征提取网络、特征嵌入网络和时空循环注意力目标检测模块，检测过程包括以下步骤：

步骤一：利用训练样本提取模块对获取到的淋巴结dcm格式文件及对应的淋巴结标注位 置坐标信息，采用python中的pydicom模块对每个淋巴结抽取出长度为L、宽为W、高为H 的CT切片图像块序列I_i(i＝1,2,...,L)，

采用的数据集为TCIA(The Cancer Imaging Archive)提供的CT淋巴结数据集，其中 包含有90个病人的389个纵膈淋巴结以及与之对应的3208例假阳性样本，86个病人的595 个腹腔淋巴结以及与其对应的3484例假阳性样本。根据CT淋巴结的先验统计信息，抽取的 每个淋巴结对应的CT切片序列长度L＝9，即以每个淋巴结中心为对称轴，前向和后向分别 抽取四个相邻切片组成序列。且此处固定W＝H＝32，在空间域中，图像块的中心即对应于 CT淋巴结标注的位置坐标。

步骤二：基于深层特征提取网络，利用由自然图像预训练好的VGG-16模型对每一淋巴结 的CT切片图像块序列提取出其对应的高层空间特征图谱序列，记为{X₀,...,X_L}；

预训练CNN模型选用基于ImageNet数据集训练的Inception-V3模型。且高层特征选取 其倒数第二层卷积层，提取到的特征维数为8×8×1280。

步骤三：构建特征嵌入网络，对输入的高层特征图谱序列进行降维，输出特征图谱Α_i；

构建的特征嵌入网络由一层全连接层构成，即1×1卷积，且输出维度置为200。单个特 征图谱的降维过程由(13)式表示。

Α_i＝tanh(W_EmX_i+b)(13)

其中：为训练参数。为降维后的特征图谱，E＝200，K＝8。

步骤四：构建时空循环注意力框架，基于循环神经网络和高斯核函数，执行空间注意力 机制，获得空间注意力结果

步骤四具体包括以下步骤：

步骤4.1：构建两层长短时循环记忆网络(Long Short-Term Memory,LSTM)；

在步骤4.1中，循环神经网络是基于两层结构的长短时循环记忆网络构建，隐藏层表达 式由如式(1)所示，

其中：对应的R_recur(·)展开为式(2)：

其中，i_t，f_t，o_t分别代表输入门，遗忘门和输出门；c_t，h_t分别表示细胞状态和隐藏层>表示第t步注意力机制输入到长短时循环记忆网络的特征向量；为一个 由可训练参数构成的仿射变换，a＝d+E，b＝4d；d为i_t,f_t,o_t,g_t,c_t和h_t对应的相同>recur(·)中的替换成后得到对应的R_recur(·)

步骤4.2：构造特征图谱的编码过程，对长短时循环记忆网络的状态进行初始化；

步骤4.2具体包括如下步骤：

步骤4.2.1：构造与(1)式相同结构的一新的双层长短时循环记忆网络；

步骤4.2.2：将步骤3中每个淋巴结CT切片序列正中心位置处对应的特征图谱A_mid，按>

步骤4.2.3:对将该16个子特征块按照从外向内顺时针顺序依次输入到新的双层长短时 循环记忆网络中，经过16次循环，获取最后时刻LSTM第二层对应的细胞状态用来初始 化步骤4.1中的长短时循环记忆网络第二层细胞状态

步骤4.3：利用一发射网络，预测出在特征图谱范围内的空间注意力位置；

步骤4.3具体包括如下步骤：

步骤4.3.1：将长短时循环记忆网络的第一层隐藏层输出特征向量和循环注意力迭代 步中切片序列中心对应的特征结果进行串联，得到此处，令

步骤4.3.2：将输入到由一层全连接层构成的发射网络，对下一循环迭代步 空间注意力位置进行回归，由式(3)所示：

其中：表示为t+1时刻预测的注意力位置坐标，此处将高斯核函数 方差设为固定值0.1，故只对应两个输出结点。

步骤4.4：基于二维高斯核函数，构造出注意力矩阵l^(t)；

步骤4.4中，在得到注意力位置坐标之后，利用二维高斯核函数和softmax构建注 意力模板矩阵，具体为式(4)所示，

其中，为A_i范围内归一化到区间[0,1]的>

步骤4.5：l^(t)与Α_i逐元素相乘，并求和，获得空间注意力结果特征

步骤五：对步骤四获得的空间注意力结果实施时间注意力机制，得到时空注意力特 征

步骤五具体包括以下步骤：

步骤5.1：构建混合密度网络，根据预测切片方向的注意力位置

步骤5.1中，具体包括以下步骤：

步骤5.1.1：将每个淋巴结对应的序列特征等分成左、右两半部分，即

步骤5.1.2：由一层全连接隐藏层构成混合密度网络(Mixture DensityNetworks,MDN)， 用以回归时间注意力位置坐标及混合高斯函数参数，采用式(5)表示：

其中，表示的左半部或右半部；表示混合密 度网络的训练参数，C表示序列左半部和右半部对应的高斯混合模型的分量数，σ为sigmoid 函数；

步骤5.1.3：对左半部和右半部各自回归系数均按的规则分配该系数到混合高斯模型中；

步骤5.1.4：采用式(6)将μ_Left限制在[0,0.5)，将μ_Right限制在(0.5,1]内。

μ_Left←μ_Left×0.5,μ_Right←0.5×(1+μ_Right)(6)

步骤5.2：基于高斯混合分布，获得注意力权重向量l′^(t)；

步骤5.2中，具体包括以下步骤：

步骤5.2.1：利用softmax，归一化各高斯分量的系数即并 将所有高斯分量的方差固定为0.1；

步骤5.2.2：综合左、右半部切片特征向量导出的混合高斯模型参数依 照式(7)获得对应的时间注意力权重向量

其中，Ν为高斯混合密度函数：

步骤5.3：将l′^(t)与输入特征逐元素相乘并相加，获得时间注意力结果特征

步骤六：综合步骤五得到的时空注意力特征利用步骤四已构建的循环神经网络预 测出此循环注意力迭代步的淋巴结阳性得分

步骤七：构建模型的损失函数，重复T次步骤四至步骤六，利用梯度反向传播算法，对 模型进行有监督训练；

在步骤七中，模型有监督训练的目标函数经过以下步骤获得：

步骤7.1：构建分类损失函数；考察所有循环注意力迭代步对应的交叉熵损失函数，由 式(9)给出：

其中：y_i，分别为真实和预测的淋巴结阳性得分，为总的循环注意力迭代次数；

步骤7.2：构建空间注意力机制预测位置的惩罚项，具体包括如下两步：

步骤7.2.1：构建位置“集中”约束项，依照淋巴结位于切片中心位置处这一先验信息， 基于Batch Normalization，将预测的空间注意力位置约束到特征图谱中心周围，由式(10) 给出：

其中，

其中，β，γ为Batch Normalization引入的可训练参数；d为发射网络的输出维数；m 为批样本容量；

步骤7.2.2：构建位置“发散”约束项；通过整个循环注意力过程中预测的各个位置对 均匀分布的交叉熵损失函数进行构造，具体如式(11)所示：

其中，p_Unif～Uniform(0,K²)表示分布在特征图谱空间范围内的均匀分布；常量Const>

步骤7.3：构建时间注意力机制预测位置的惩罚项；对预测位置施加“集中”约束项， 对混合密度网络同样引入Batch Normalization层，并最小化式(10)，使得切片方向左、右 半部关注位置

步骤7.4：构建模型最终的整体损失函数，如式(12)所示：

步骤八：重复步骤三至七，对模型进行迭代训练，直至训练结束，得到训练好的模型；

训练数据由真假阳性样本按等比例构成，模型在测试时采用3次交叉验证。模型的各超 参数按如下数值进行设置：①式(12)中，λ₁＝1，λ₂＝0.5；②循环注意力机制每次循环次数>

步骤九：输入待检测的淋巴结CT序列，进行模型推理过程，将最后一次循环注意力输出 的阳性得分作为CT淋巴结检测结果。

图6为实施空间注意力机制实例图。可以看出，在空间注意力位置约束项及其合理的超 参数设置下，注意力位置较为准确的落入到淋巴结边界附近。

图7为实施时间注意力机制实例图。图中：前两例对应真阳性结节，后两例为假阳性。 底部条形图为模型对序列中各切片预测的自适应权值。在时间注意力位置约束项的作用下， 模型能够较为准确地自适应定位到不同结节大小对应的切片边界。从而提取出与淋巴结相关 的上下文特征信息。

图8为本发明与基准模型的FROCs和AUC对比图。此处基准模型为未采用循环注意力机 制的双层LSTM模型。为公平对比，其结构与步骤4.1中的LSTM一致。Sequence＝1代表基准 模型只抽取淋巴结中心切片，循环次数T＝1模型从而退化成经典的CNN结构。Sequence＝1即 代表基准模型循环九次。从图中可以看出，本发明对应的FROCs和AUC表现均为最佳。

图9为本发明与其他模型的性能对比图。表中：带有“*-H”的符号表示输入图像尺寸对 应为高分辨率(256×256)；“*-L”代表低分辨率(64×64)；“*-RI”表示模型从头开始训 练；“*-TL”为模型参数从ImageNet数据集中迁移而来。从表格中可以看出，按照AUC和TPR/3FP为性能度量标准，本发明对胸腔及腹腔淋巴结的分类准确率均为最高。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的 技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护 范围。