一种基于对抗生成网络的肝脏肿瘤切除后效果预测工具

摘要

本发明提供了一种基于对抗生成网络的肝脏肿瘤切除后效果预测工具，包括训练后的深度学习模型，所述的深度学习模型包括第一模型和第二模型，所述的第一模型用于根据术前增强MRI数据和肝脏切除范围输出术后增强MRI数据，所述的第二模型用于以术前血清肿瘤标志物数据和第一模型输出的术后增强MRI数据为输入输出复发率评估结果。本发明能够实现在术前基于现有的数据(术前肝脏增强MRI数据、术前的血清肿瘤标志物数据)和手术方案(肝脏切除范围)给出较为准确的术后预测结果，并且同时能够提供影像学可视化的预测，无论是对于患者的预后治疗还是手术前肝脏切除范围的确定，都具有非常重要的意义。

说明书

技术领域

本发明属于术后效果预测技术领域，尤其是涉及一种基于对抗生成网络的肝脏肿瘤切除后效果预测工具。

背景技术

目前为止，肝切除术仍是肝癌众多治疗策略中的第一选择，随着精准医疗的不断推进，经过我国广大医学工作者多年不懈的努力，我国在肝切除技术方面取得巨大成就，目前已处于世界较高水平，并仍在飞速发展。肝切除术虽然对于肝脏肿瘤具有不错的治疗效果，但是仍有一定几率出现肝功能不全甚至急性肝衰竭，也可能出现消化道出血、肝性脑病等并发症，严重时会危及患者生命。

目前尚没有针对肝切除术术后患者情况，尤其是影像学方面的可视化预测方法，而正确的预后判断对于改善手术效果、验证辅助治疗的作用至关重要。尤其对于肝切除术来说，手术切除范围的差异可能对术后效果会产生巨大的影响，如果能够事先预测切除术后的预测效果，甚至是影像学可视化的预后，并且预测复发率，这样无论是对于患者的预后治疗还是手术前肝脏切除范围的确定，都具有非常重要的意义。

发明内容

本发明的目的是针对上述问题，提供一种基于对抗生成网络的肝脏肿瘤介入反应后评估方法及系统。

为达到上述目的，本发明采用了下列技术方案：

一种基于对抗生成网络的肝脏肿瘤切除后效果预测工具，包括训练后的深度学习模型，所述的深度学习模型包括第一模型和第二模型，所述的第一模型用于根据术前增强MRI数据和肝脏切除范围输出术后增强MRI数据，所述的第二模型用于以术前血清肿瘤标志物数据和第一模型输出的术后增强MRI数据为输入输出复发率评估结果。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的第一模型以术前增强MRI数据、肝脏切除范围和术后增强MRI数据为样本数据进行训练。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的第二模型以术后增强MRI数据、术前血清肿瘤标志物数据和复发数据作为样本数据进行训练。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的深度学习模型的输出结果包括第一模型输出的术后增强MRI数据和第二模型输出的复发率评估结果。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的第一模型采用包含生成器和判别器的对抗生成网络。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的生成器包括映射网络和综合网络。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的映射网络包括8个全连接层，且用于执行以下步骤：

S1.从隐藏变量z变换得到中间变量w；

S2.将中间变量w变换为风格控制向量A输入至综合网络。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的综合网络结合AdaIN风格变换方法将目标图片的均值和标准差与结果图片对齐，以将风格应用于空间特征图，且所述的AdaIN风格变换方法如下：

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述综合网络的每一层均包含控制向量A和随机噪声B两个输入，且所述的随机噪声为经过缩放转换后的噪声。

在上述的基于对抗生成网络的肝脏肿瘤切除后效果预测工具中，所述的第二模型采用SVM模型。

本发明的优点在于：

提出一种由对抗生成网络和SVM构成的深度学习网络，能够由对抗生成网络利用肝切除术患者术前肝脏增强MRI数据以及肝脏切除范围能够预测术后增强MRI数据，由SVM模型利用术前血清肿瘤标志物数据和术后增强MRI数据能够预测术后复发率，通过两个网络模型的配合，能够实现在术前基于现有的数据(术前肝脏增强MRI数据、术前的血清肿瘤标志物数据)和手术方案(肝脏切除范围)给出较为准确的术后预测结果，并且同时能够提供影像学可视化的预测，无论是对于患者的预后治疗还是手术前肝脏切除范围的确定，都具有非常重要的意义。

附图说明

图1为本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具中对抗生成网络的训练流程图；

图2为本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具中对抗生成网络的预测流程图；

图3为本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具中SVM模型的训练流程图；

图4为本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具中SVM模型的预测流程图；

图5为本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具中由对抗生成网络和SVM模型构成的深度学习模型的预测流程图；

图6为本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具中对抗生成网络的网络结构图；

图7为使用本发明基于对抗生成网络的肝脏肿瘤切除后效果预测工具进行术后预测的6个月复发率情况进行评估的ROC曲线图；

图8a、图8b、图8c分别为右肝切除术前患者增强MRI影像T2加权影像，Inphase，Outphase影像；

图9a、图9b、图9c分别为右肝切除术后生成仿真患者增强MRI影像的T2加权影像，Inphase，Outphase影像；

图10a、图10b、图10c分别为右肝切除术后患者真实增强MRI影像T2加权影像，Inphase，Outphase影像；

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

本方案针对目前无法对手术切除方案进行可视化预测的问题提出一种基于对抗生成网络的肝脏肿瘤切除后效果预测工具，该工具应用目前较为热门的深度学习技术，包括深度学习模型，特别地，本方案的深度学习模型包括第一模型和第二模型。本实施例中，第一模型采用包含生成器和判别器的对抗生成网络，第二模型采用SVM模型。

如图1所示，使用对抗生成网络以术前增强MRI数据、肝脏切除范围和术后增强MRI数据为样本数据进行训练，具体训练方式不在此赘述，如图2所示，训练后的对抗生成网络以术前增强MRI数据、肝脏切除范围输出术后增强MRI数据，能够在术前医生制定手术切除方案后，依据术前增强MRI数据、手术切除方案的肝脏切除范围生成预测的术后增强MRI数据，从而提供可视化的术后预测。

如图3所示，SVM模型以术后增强MRI数据、术前血清肿瘤标志物数据和复发数据作为样本数据进行训练，复发数据是指作为样本的患者的术后三个月复发情况，术后2年复发情况，术后5年复发情况等信息数据。具体训练方式不在此赘述。如图4所示，训练后的SVM模型以增强MRI数据、术前血清肿瘤标志物数据作为输入输出预测的复发率评估结果，能够在具有术后增强MRI数据和术前血清肿瘤标志物数据的情况下预测术后预后效果，而配合对抗生成网络，能够通过术前增强MRI数据得到术后增强MRI数据，所以如图5所示，由对抗生成网络和SVM模型构成的深度神经网络，只需要术前增强MRI数据、肝脏切除范围和术前血清肿瘤标志物数据即可得到预测的术后增强MRI数据和复发率评估结果，从而能够实现在手术前基于现有的数据和手术方案给出较为准确的术后预测结果，同时能够提供影像学可视化的预后预测，无论是对于患者的预后治疗还是手术前肝脏切除范围的确定，都具有非常重要的意义。

进一步地，如图6所示，本方案的对抗生成网络优选使用StyleGAN网络，该网络包含两个部分，映射网络(Mapping network)和综合网络(Synthesis network)，映射网络由8个全连接层组成，通过一系列仿射变换由隐藏变量z变换得到中间变量w，然后将中间变量w变换为风格控制向量A输入至综合网络。转换后的w将作为风格信息作用于空间数据。由隐藏变量z生成中间隐藏变量w的过程，这个w就是用来控制生成图像的style，即风格。

综合网络结合AdaIN风格变换方法将目标图片的均值和标准差与结果图片对齐，以将风格应用于空间特征图，且所述的AdaIN风格变换方法如下：

此外，综合网络的每一层均包含控制向量A和随机噪声B两个输入，且随机噪声B为经过缩放转换后的噪声，即每个卷积层都能根据输入的A来调整"style"，随机噪声B用于丰富生成图像的细节。

区别于传统的GAN网络，StyleGAN的输入不是一个随机变量或音量变量z，而是将z用映射网络变换成w，将w变换为风格控制向量A再投喂给Synthesis network的每一层，并且为每一层添加经过缩放转换过的噪声，使网络具有更好的生成效果。

为了验证本方案的可行性和预测效果，本实施例进行了大量实验，并在此提供部分实验数据：

如图7所示为本发明预测的切除术后6个月患者复发情况预测的ROC曲线。可以看到，ROC曲线的线下面积为0.8673，比较接近1，表明本方法能够给出较准确的预后结果，具有较好的预测价值。

另外，图8a-8c是右肝切除术前患者增强MRI影像；图9a-9c是右肝切除术后使用本方案生成的患者增强MRI影像，图10a-10c是右肝切除术后患者实际的增强MRI影像，图中矩形框框起来部分为肿瘤所在区域，可以看到生成图像内的肿瘤所在区域与真实影像内的肿瘤所在区域一致，表明本方案能够较为准确的预测术后增强MRI影像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。