基于图卷积网络的肝移植术后肿瘤复发预测方法

摘要

本发明属于医学图像智能处理技术领域，具体为一种基于图卷积神经网络的肝移植术后肿瘤复发预测方法，该方法包括：对肝细胞癌全视野数字病理切片(WSI)进行前景分割与裁剪，并采用卷积神经网络对裁剪获得的图像块进行特征提取；对所有特征进行全局聚类构造码本字典，并对全局聚类后的特征进行局部聚类；通过对照码本字典，将各个WSI构造为节点数相同的图结构数据；设计图卷积神经网络模型并采用负对数似然损失函数对模型进行优化，最终输出每个病人的复发风险分数。本发明方法得到了比传统方法更好的预测性能，可以帮助医生更好地估计肝细胞癌患者的预后状况，从而为患者选择合适的治疗方案。

说明书

技术领域

本发明属于医学图像智能处理技术领域，涉及一种病理切片预后分析方法，具体涉及一种基于图卷积网络的肝移植术后肿瘤复发预测方法。

背景技术

肝细胞癌是全球癌症相关死亡的第四大常见原因，也是全球第六大常见的恶性肿瘤。肝移植是治疗早期肝细胞癌的主要方法，然而术后复发率在15％左右。随着肝移植标准的不断扩展，肝移植将会适用于更多的肝细胞癌患者。肝移植术后肿瘤复发预测可以帮助医生评估肝细胞癌患者的预后状况，为患者选择合适的治疗方案。

近年来，深度学习方法已经被广泛应用于癌症诊断、预后预测等医学领域。卷积神经网络及图神经网络在病理切片的应用上取得了巨大成功。由于全视野数字切片(Wholeslide image,WSI)具有超高分辨率，无法将其直接送入神经网络进行处理。为了避免高昂的计算成本，多数模型往往采用裁剪采样的方式将图像块送入网络。在肝移植术后肿瘤复发预测问题上，由于病理切片的分析依赖于病理专家的手动标注，具有非常高的人力成本，通常只有切片级别的标签可用。多实例学习被许多研究者用来解决这一难题，然而对整张切片直接进行聚类及池化会造成特征表示不充分。同时因不同肝细胞癌患者切片中的组织类别存在不一致，组织区域占比存在较大差异，会造成模型训练过程的不稳定，降低模型的鲁棒性。现有的卷积神经网络模型需要将输入数据整理为规则数据，无法充分考虑组织区域间的结构和上下文关系。多数图神经网络方法无法保证来自不同WSI图节点的一致性，会导致全局表示时需要进行无序池化，容易造成重要特征的丢失；并且图卷积中的全局组合节点表示方法无法充分利用图中丰富的结构信息。

发明内容

为解决上述问题，提供一种基于图卷积神经网络的肝移植术后肿瘤复发预测方法，该方法使用肝细胞癌病理切片作为原始数据，构建能反映切片特征的图结构数据，再通过图卷积神经网络输出肝细胞癌患者肝移植后的肿瘤复发风险分数。相比于传统方法，本发明的方法具有更好的预测性能，能够辅助医生更加客观地估计患者的预后状态。本发明采用了如下技术方案：

本发明提供了一种基于图卷积网络的肝移植术后肿瘤复发预测方法，其特征在于，包括以下步骤：

步骤S1，对全视野数字切片进行前景分割及裁剪，并采用卷积神经网络对裁剪得到的图像块进行特征提取，得到图像块特征，其中，所述全视野数字切片为接受了肝移植手术的肿瘤患者的全视野数字切片；

步骤S2，对所有的所述图像块特征进行全局聚类构造码本字典，并对全局聚类后的所述图像块特征再进行局部聚类，将局部聚类形成的每个小类的聚类中心特征作为类别特征；

步骤S3，对照所述码本字典，并根据所述类别特征之间的特征相似度，将各个所述全视野数字切片构造为节点数相同的图结构数据；

步骤S4，构建图卷积神经网络作为复发预测模型，采用所述图结构数据及相应的标签作为训练数据对所述复发预测模型进行训练，在训练过程中，采用负对数似然损失函数进行模型损失计算，从而优化该模型；

步骤S5，将待预测的所述全视野数字切片按步骤S1、步骤S3生成所述图结构数据，并将该图结构数据输入训练好的所述复发预测模型，得到复发预测分数。

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，步骤S2中，对所有的所述图像块特征进行Kmeans聚类，将其聚为G个大类，并赋予每个所述大类一个码本编号，基于所述码本编号及所述大类内的所述图像块特征的信息构建所述码本字典；对每个所述大类内的所述图像块特征进行Kmeans聚类，将其聚为L个小类，将每个所述小类的聚类中心特征作为所述类别特征。

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，步骤S3中，对于每张所述全视野数字切片，将所有的所述类别特征作为图节点，在属于同一所述大类的所述类别特征之间构建邻边，不同所述大类的所述类别特征之间依据特征相似度构建连边。

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，步骤S3中，构建连边具体为：对于每个所述类别特征，计算该类别特征与各个其他的所述类别特征之间的欧式距离，并选取属于其他所述大类的、且与该类别特征欧式距离最小的P个其他的所述类别特征构建连边。

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，步骤S1中，采用最大类间方差法对所述全视野数字切片进行前景分割，获得用于复发预测的感兴趣区域，并将所述感兴趣区域裁剪为预定尺寸的图像块。

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，步骤S4中，所述图卷积神经网络采用图卷积及分层池化的方式进行特征信息传递，后通过全连接层输出对应的所述复发风险分数。

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，所述负对数似然损失函数表示为：

式中，f为分层池化后的特征向量，α为全连接层的权重向量，C为右删失数据集合，U

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，所述图卷积的计算公式为：

式中，

本发明提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，还可以具有这样的技术特征，其中，所述分层池化的过程包括图粗化与池化操作，所述图粗化的步骤如下：

记G

C

表示子图G

A

对于整张图G，不包含子图与子图之间的边的邻接矩阵A

由上式得到子图与子图之间边的邻接矩阵：

A

定义分配矩阵

S[i,k]＝1if and only if v

分配矩阵S表示图G中节点v

A

图G经过图粗化后,子图变为超级节点，A

所述池化操作的步骤如下：

记L

将所有子图的

设

X

式中，

将所有的池化操作结果连接在一起形成

为节约计算资源，选择前H个池化操作结果作为最后的粗化特征X

X

发明作用与效果

根据本发明的基于图卷积网络的肝移植术后肿瘤复发预测方法，使用图卷积神经网络的结构进行肝移植术后肿瘤复发预测，无需手动标注各个组织类别，通过采用全局聚类构造码本字典与局部聚类相结合的方式建立图结构数据，保证所有WSI图节点的一致性。在图卷积过程中采用分层池化的方式融合图节点特征信息及图结构信息，自动化输出患者的术后肿瘤复发风险分数。相比传统方法，本发明的方法省去了组织类别标注工作步骤，解决了不同WSI组织区域类型不一致的问题，充分利用了各类别的上下文特征和结构特征，得到的复发预测结果更加准确。

附图说明

图1是本发明实施例中基于图卷积网络的肝移植术后肿瘤复发预测方法的原理图；

图2是本发明实施例中基于图卷积网络的肝移植术后肿瘤复发预测方法的流程图；

图3是本发明实施例中图卷积神经网络的原理图；

图4是本发明实施例中聚类前的原图；

图5是本发明实施例中进行全局及局部聚类后的热图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于图卷积神经网络的肝移植术后肿瘤复发预测方法作具体阐述。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

<实施例>

图1、图2分别是本实施例中基于图卷积网络的肝移植术后肿瘤复发预测方法的原理图和流程图。如图1-2所示，基于图卷积网络的肝移植术后肿瘤复发预测方法包括如下步骤：

步骤S1，对全视野数字切片(WSI)进行前景分割及裁剪，并采用卷积神经网络对裁剪得到的图像块进行特征提取；

步骤S2，对提取的所有特征进行全局聚类构造码本字典，并对全局聚类后的特征再进行局部聚类，将局部聚类形成的每个小类的聚类中心作为类别特征；

步骤S3，通过对照码本字典，并根据类别特征之间的特征相似度，将各个WSI构造为节点数相同的图结构数据；

步骤S4，构建图卷积神经网络作为复发预测模型，采用上述图结构数据及相应的标签作为训练数据对复发预测模型进行训练，在训练过程中，采用负对数似然损失函数进行模型损失计算，从而优化该模型；

步骤S5，将待预测的WSI按步骤S1、S3生成图结构数据，并将该图结构数据输入训练好的复发预测模型，得到复发预测分数。

以下将详细说明各步骤。

步骤S1，对多个WSI进行前景分割及裁剪，并采用卷积神经网络对裁剪得到的图像块进行特征提取，得到图像块特征。

本实施例中，采用380位接受肝移植的肝细胞癌患者的495张全视野数字切片。将所有WSI按照7:3的比例划分为训练集(包含256例患者、302张WSI)和测试集(包含124例患者、193张WSI)，以构建能够自动对病理切片进行处理分析的复发预测模型。采用最大类间方差法对所有WSI进行前景分割，获得用于复发预测的感兴趣区域，并将感兴趣区域裁剪为长宽均为512像素的图像块。然后，采用已训练好的ResNet50网络对所有图像块进行特征提取，每个图像块特征维度为1024。

步骤S2，对提取的所有图像块特征进行全局聚类构造码本字典，并对全局聚类后的图像块特征再进行局部聚类，将局部聚类形成的每个小类的聚类中心特征作为类别特征。

本实施例中，对获得的所有图像块特征进行Kmeans聚类，把来自所有WSI的不同图像块特征聚为60个大类，并赋予每个大类一个码本编号(1-60)。记录大类的码本编号及大类内的图像块特征信息，基于此构建码本字典。

然后对全局聚类后的每个大类进行大类内聚类，采用相同算法将每个大类内部聚为30个小类，挑选每个小类的聚类中心特征作为此小类的代表性特征(以下简称类别特征)。

图4是本实施例中聚类前的原图，即未进行任何操作的原始WSI缩略图；图5是本实施例中进行全局及局部聚类操作后的热图，图中白点为没有任何组织细胞的区域。

如图4-5所示，进行全局及局部聚类操作后，可以看到不同类型的组织被明显分开，其在图中表现为灰度值的大小，明暗不同的区域代表为不同类型的组织，反之亦然。

步骤S3，对照码本字典，并根据类别特征之间的特征相似度，将各个WSI构造为节点数相同的图结构数据。

本实施例中，对每张WSI，将所有类别特征作为图节点，在属于同一大类的两个类别特征之间构建邻边，不同大类的类别特征之间则依据特征相似度大小构建连边。其中，特征相似度采用欧式距离进行计算，将特征之间的欧式距离从小到大排序，对于每个类别特征，选取与其欧式距离最小的6个类别特征(属于其他大类)构建连边。

步骤S4，构建图卷积神经网络作为复发预测模型，采用上述图结构数据及相应的标签作为训练数据对复发预测模型进行训练，在训练过程中，采用负对数似然损失函数进行模型损失计算，从而优化模型。

图3是本实施例中图卷积神经网络的原理图。

如图3所示，图卷积神经网络采用图卷积及分层池化的方式进行特征信息传递，后通过全连接层输出每张WSI的复发风险分数。采用负对数似然损失函数进行模型损失计算，继而优化网络。模型训练所用的训练样本为上述图结构数据，标签为患者的复发状态及复发时间，标签为患者的真实临床数据。由于每个患者的所有WSI对应的标签都是相同的，因此在模型输出每张WSI的分数后，取该患者的所有WSI中分数最高的分数作为该患者的复发风险分数。

其中，图卷积的计算公式为：

式中，

分层池化的过程具体包括图粗化与池化操作两部分。

图粗化主要采用谱聚类的方式对图进行划分，通过将图映射到特征空间后使用Kmeans算法进行聚类，保证每个节点只能分配到下一层的一个簇中。图粗化的结果是对于每一个子图，都能用一个超级节点表示，并得到粗化后图的邻接矩阵。图粗化的具体步骤如下：

记G

C

那么表示子图G

A

对于整张图G，不包含子图与子图之间的边的邻接矩阵A

由此可以得到子图与子图之间边的邻接矩阵：

A

定义分配矩阵

S[i,k]＝1 if and only if v

分配矩阵S表示图G中节点v

A

图G经过粗化后,子图变为超级节点，A

池化操作主要基于谱图论，通过相应变换得到粗化图的特征矩阵X

记L

将所有子图的

设

X

此时的

X

为了节约计算资源，我们选择前H个池化操作结果作为最后的粗化特征X

X

负对数似然损失函数定义为：

式中，f为分层池化后的特征向量，α为全连接层的权重向量，C为右删失数据集合，U

本实施例中，设置初始学习率为0.001，采用小批量随机梯度下降的方法进行模型训练，BatchSize设为16，输出复发风险分数时采用Sigmoid函数将数值归一化至[0,1]，复发风险分数越高代表复发的风险越高，反之亦然。

步骤S5，将待预测的WSI按步骤S1、步骤S3生成图结构数据，将该图结构数据输入已训练好的复发预测模型，得到对应的复发风险分数。

本实施例中，采用C指数(Time-dependent Concordance Index)作为评价复发预测模型性能的指标，其值域为[0,1]，C指数数值越高代表模型性能越好。本实施例的模型在数据集上的C指数为0.734，现有技术中的其他复发预测方法的C指数如以下表1所示：

表1现有技术中的复发预测方法及本实施例方法的C指数表

由表1可看到，本实施例的方法的性能显著优于现有技术中的多种其他复发预测方法。

本实施例中，未详细说明的部分为本领域的公知技术。

实施例作用与效果

根据本实施例提供的基于图卷积网络的肝移植术后肿瘤复发预测方法，使用图卷积神经网络的结构进行肝移植术后肿瘤复发预测，无需手动标注各个组织类别，通过采用全局聚类构造码本字典与局部聚类相结合的方式建立图结构数据，保证所有WSI图节点的一致性。在图卷积过程中采用分层池化的方式融合图节点特征信息及图结构信息，自动化输出患者术后肿瘤的复发风险分数。相比传统方法，本实施例的方法省去了组织类别标注工作步骤，解决了不同WSI组织区域类型不一致的问题，充分利用了各类别的上下文特征和结构特征，得到的复发预测结果更加准确。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。