一种结直肠癌病理图像预后辅助预测方法及系统

摘要

本发明公开了一种结直肠癌病理图像预后辅助预测方法及系统，该方法包括以下步骤：背景分离步骤：划分为背景区域和组织区域；图像小块分割步骤：根据预设像素大小对组织区域进行分割图像小块；深度特征提取步骤：基于结直肠癌存活时间预测模型的卷积层和池化层对分割后的图像小块进行特征的提取得到图像小块特征，经过卷积层处理后对图像小块编码成一维数组形式；聚类步骤：基于K‑means聚类对图像小块特征进行聚类，划分肿瘤上皮组织、间质、粘液、正常组织和坏死部分；风险划分步骤：划分风险范围。本发明通过K‑means聚类对整张病理图像的图像小块进行自动分类后再选择不同类型的图像小块共同训练，使得对结直肠癌病人预后的患者存活时间预测更精确。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种结直肠癌病理图像预后辅助预测方法及系统。

背景技术

现有结直肠癌的预后分析主要需要医生对结直肠癌病人的病理TNM分期，从1～4期来确定病人的5年内生存情况，TNM主要包括肿瘤浸润情况，淋巴结数量和是否转移到别的部位来确定，TNM分期也在不断发展，目前关于病理切片中的肿瘤环境的研究表明病理中蕴含这许多和预后相关的信息，其中有大量的数据等待挖掘。

现有技术中的一种基于深度学习对病理图像预后预测的方法，该方法需要由有经验的病理科医生勾画出病理图像中的感兴趣区域(region of interest，ROI)，通常是病理图像的肿瘤部分，再从中截取一张图像小块，这张图像小块就代表这个病人，并赋予这个病人的标签，如生存时间，进入深度卷积神经网络去训练，得到一个深度卷积神经网络模型，从而预测病理图像的预后，其中该深度卷积神经网络包括3个卷积层，2个最大池化层和1个全连接层。

然而，目前对于医学成像设备所成的病理图像预后预测仍存在以下问题：(1)当病理科医生获得结直肠癌病理图像后，需要有经验的病理科医生勾画出肿瘤区域，并且面对呈指数增长的医学图像，人工处理速度慢、效率低，漏诊的情况时有发生，当病人很多的时候，医生的负担增加，当医生长时间勾画后，医生的处理速度会逐渐减慢。(2)仅根据肿瘤区域的图像小块进行预后预测，缺少足够精度。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种结直肠癌病理图像预后辅助预测方法，辅助医生对结直肠癌病理图像进行预测患者存活时间，提供风险范围的辅助信息，减轻了医生的负担。

本发明的第二目的在于提供一种结直肠癌病理图像预后辅助预测系统。

本发明的第三目的在于提供一种计算机可读存储介质。

本发明的第四目的在于提供一种计算机设备。

为了达到上述第一目的，本发明采用以下技术方案：

本发明提供一种结直肠癌病理图像预后辅助预测方法，包括以下步骤：

背景分离步骤：分离病理图像的组织区域和背景区域，将病理图像的图片格式由RGB空间转换为HSV颜色空间，对HSV颜色空间中的饱和度通道部分进行自动阈值分割处理，划分为背景区域和组织区域；

图像小块分割步骤：根据预设像素大小对组织区域进行分割图像小块；

深度特征提取步骤：基于结直肠癌存活时间预测模型的卷积层和池化层对分割后的图像小块进行特征的提取得到图像小块特征，经过卷积层处理后对图像小块编码成一维数组形式；

聚类步骤：基于K-means聚类对图像小块特征进行聚类，划分肿瘤上皮组织、间质、粘液、正常组织和坏死部分；

风险划分步骤：基于结直肠癌存活时间预测模型的全连接层输出患者存活时间，设置多个预设风险阈值，根据患者存活时间结合预设风险阈值划分风险范围；

所述结直肠癌存活时间预测模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括结直肠癌病理图像和标识该结直肠癌病理图像对应患者存活时间的标签信息。

作为优选的技术方案，所述聚类步骤，具体包括以下步骤：

中心点生成步骤：随机生成图像小块特征的中心点；

图像小块分类步骤：计算每个图像小块离第一中心点的欧式距离，根据图像小块的特征与每个中心点的欧氏距离将每个图像小块划分至最接近的中心点的小块类别集合；

分类检验步骤：计算完所有图像小块与第一中心点的欧式距离并划分完第一中心点的小块类别集合后，重新计算每个小块类别集合的第二中心点，根据预设距离阈值判断聚类的进度；

如果第二中心点与之前的第一中心点的距离小于预设距离阈值时，表示分类结果趋于稳定，聚类步骤完成；

如果新的中心点和原中心点距离变化超过预设距离阈值时，则说明聚类仍在进行中，需要重复图像小块分类步骤和分类检验步骤。

作为优选的技术方案，在所述风险划分步骤中，所述结直肠癌存活时间预测模型具体采用VGG16深度卷积网络进行训练，所述VGG16深度卷积网络将结直肠癌的病理图像作为输入数据，将结直肠癌预后的患者存活时间量化并作为标签，经过卷积层进行卷积处理后，传输至池化层进行减小特征图大小，最终通过全连接层输出患者存活时间，设置多个预设风险阈值，根据患者存活时间结合预设风险阈值划分风险范围。

作为优选的技术方案，所述VGG16深度卷积网络将结直肠癌的病理图像作为输入数据，获得图像小块特征后，分别输入VGG16深度卷积网络的卷积层部分提取特征，包括多个卷积层和多个全连接层，最后将各个通道的特征结合在一起，全连接层进行分类，输出最终得到的图像特征。

为了达到上述第二目的，本发明采用以下技术方案：

一种结直肠癌病理图像预后辅助预测系统，包括：背景分离模块、图像小块分割模块、深度特征提取模块、聚类模块和风险划分模块；

所述背景分离模块，用于将输入的结直肠癌的病理图像划分为组织区域和背景区域；

所述图像小块分割模块，用于对病理图像进行图像小块的分割，根据预设像素大小对组织区域进行分割图像小块；

所述深度特征提取模块，用于根据结直肠癌存活时间预测模型的卷积层和池化层对分割后的图像小块进行特征的提取得到图像小块特征，经过卷积层处理后对图像小块编码成一维数组形式；

所述聚类模块，用于根据K-means聚类对图像小块特征进行聚类，划分肿瘤上皮组织、间质、粘液、正常组织和坏死部分；

所述风险划分模块，用于根据结直肠癌存活时间预测模型的全连接层输出患者存活时间，设置多个预设风险阈值，根据患者存活时间结合预设风险阈值划分风险范围。

作为优选的技术方案，所述结直肠癌存活时间预测模型由卷积层、池化层和全连接层组成，所述结直肠癌存活时间预测模型接收结直肠癌的病理图像作为输入，通过卷积层进行卷积处理，传输至池化层进行减小特征图大小，最终通过全连接层输出患者存活时间。

为了达到上述第三目的，本发明采用以下技术方案：

一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述结直肠癌病理图像预后辅助预测方法。

为了达到上述第四目的，本发明采用以下技术方案：

一种计算机设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现上述结直肠癌病理图像预后辅助预测方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明通过K-means聚类对图像小块特征进行聚类，划分肿瘤上皮组织、间质、粘液、正常组织和坏死部分，实现自动勾画ROI，无需有经验的病理医生勾画ROI，节省了医生的时间，减轻了医生的负担。

(2)本发明通过对病理图像自动去除背景切出图像小块，自动提取深度学习特征并分类，一定程度上模拟了病理肿瘤上皮、粘液、坏死区域、正常组织和肿瘤间质部分，并综合多个区域的图像小块而不是仅仅肿瘤区域的图像来训练结直肠癌存活时间预测模型，进行深度学习时不仅仅使用病理图像肿瘤区域的图像小块，而是通过K-means聚类对整张病理图像的图像小块进行自动分类后再选择不同类型的图像小块共同训练，让网络可以学习到不同类型小块之间的关系，使得对结直肠癌病人预后的患者存活时间预测更精确。

(3)本发明通过可视化交互界面，方便医生操作使用，当对结直肠癌病人预后进行预测时，根据结直肠癌存活时间预测模型进行预测患者存活时间，进而提供风险评估的辅助信息，从而辅助医生为病人制定个性化的治疗方案。

附图说明

图1为本发明实施例1中结直肠癌病理图像预后辅助预测方法的步骤流程图；

图2为本发明实施例1中结直肠癌病理图像的示意图；

图3为本发明实施例1中结直肠癌病理图像经过背景处理的示意图；

图4为本发明实施例1中结直肠癌病理图像经过分割处理的示意图；

图5为本发明实施例1中结直肠癌病理图像经过K-means聚类处理的示意图；

图6为本发明实施例1中结直肠癌存活时间预测模型的示意图；

图7(a)为本发明实施例2中可视化界面的第一状态图；

图7(b)为本发明实施例2中可视化界面的第二状态图；

图7(c)为本发明实施例2中可视化界面的第三状态图；

图7(d)为本发明实施例2中可视化界面的第四状态图；

图8为本发明实施例3中结直肠癌病理图像预后辅助预测系统的示意图。

具体实施方式

在本公开的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供了一种结直肠癌病理图像预后辅助预测方法，该方法包括以下步骤：

背景分离步骤：如图2所示，病理图像分为组织区域和背景区域，先要分离出病理图像的组织区域和背景区域，获取病理图像，将病理图像的图片格式由RGB空间转换为HSV颜色空间，对HSV颜色空间中的饱和度通道部分进行自动阈值分割处理，进而划分为背景区域和组织区域。实际应用时，获取的病理图像默认图片格式为RGB空间，其中RGB空间包括红色(R)、绿色(G)、蓝色(B)，当病理图像转换至HSV(Hue、Saturation、Value)颜色空间，其中HSV颜色空间包括色调(H)、饱和度(S)和明度(V)，由于背景为白色，而饱和度最高即为白色，所以只提取病理图片饱和度通道部分做自动阈值分割，具体如图3所示，大于阈值的即接近白色，为背景区域，小于阈值不接近白色，为组织区域；

图像小块分割步骤：如图4所示，对病理图像进行图像小块的分割，组织区域为黄色部分，背景区域为深紫色部分，根据预设像素大小对组织区域进行分割图像小块。实际应用时，预设像素大小设置为512像素*512像素，即平均一张病理图片能分割为300张图像小块。

深度特征提取步骤：基于结直肠癌存活时间预测模型的卷积层和池化层对分割后的图像小块进行特征的提取得到图像小块特征，经过特征平铺后将图像小块编码成一维数组形式。实际应用时，结直肠癌存活时间预测模型为训练好的VGG16网络，利用反向传播机制使结直肠癌存活时间预测模型学习到合适的值提取合适的特征，其中池化层包括平均池化层和最大池化层，分别用于求取池化矩阵区域内的平均值和最大值，进而达到减小特征图大小的目的。因为本实施例中的深度神经网络采用最大池化层，在经过卷积操作后提取到的特征信息中，相邻区域会有相似特征信息，如果全部保留这些特征信息可能会存在信息冗余，会增加计算难度，处理过后将图像小块从512*7*7的数组直接平铺成1*25088的数组，获得每个病理图像小块的独特的深度学习特征。

聚类步骤：如图5所示，基于K-means聚类对图像小块特征进行聚类，划分肿瘤上皮组织、间质、粘液、正常组织和坏死部分。实际应用时，在经过有经验的病理医生勾画病理图像ROI后，理论上可以分为5类，即包括肿瘤上皮组织、间质、粘液、正常组织和坏死部分，所以对这些特征进行K-means聚类(K均值聚类处理)将其分为5类。

风险划分步骤：基于结直肠癌存活时间预测模型的全连接层输出患者存活时间，设置多个预设风险阈值，根据患者存活时间结合预设风险阈值划分风险范围。

在本实施例中，结直肠癌存活时间预测模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括结直肠癌病理图像和标识该结直肠癌病理图像对应患者存活时间的标签信息。

在本实施例中，聚类步骤，具体包括以下步骤：

中心点生成步骤：随机生成5个点作为图像小块特征的中心点；

图像小块分类步骤：计算每个图像小块离5个中心点的欧式距离，根据图像小块的特征与每个中心点的欧氏距离将每个图像小块划分至最接近的中心点的小块类别集合。实际应用时，该图像小块的特征距离哪一个第一中心点的欧氏距离最小，就将该图像小块划分到该第一中心点的小块类别集合。

分类检验步骤：计算完所有图像小块与第一中心点的欧式距离并划分完第一中心点的小块类别集合后，重新计算每个小块类别集合的第二中心点，根据预设距离阈值判断聚类的进度；

如果第二中心点与之前的第一中心点的距离小于预设距离阈值时，表示分类结果趋于稳定，此时可以认为聚类已经达到期望结果，聚类步骤完成，计算结束；

如果新的中心点和原中心点距离变化超过预设距离阈值时，则说明聚类仍在进行中，需要重复图像小块分类步骤和分类检验步骤。

结合图5所示，将病理图片分割为图像小块，再经过K-means聚类后为每一类赋予独特的颜色，并设置在原图的位置上，可以看到，在无人干预的情况下，K-means聚类能一定程度上模拟视觉上的分类结果，减少了医生勾画ROI的负担。

在本实施例中，结直肠癌存活时间预测模型具体采用VGG16深度卷积网络进行训练，该VGG16深度卷积网络具体包括13个卷积层，5个池化层和3个全连接层，将结直肠癌的病理图像作为输入数据，将结直肠癌预后的患者存活时间量化并作为标签，经过卷积层进行卷积处理后，传输至池化层进行减小特征图大小，最终通过全连接层输出患者存活时间，设置多个预设风险阈值，根据患者存活时间结合预设风险阈值划分风险范围，从而辅助医生对结直肠癌预后进行预测。

实际应用时，在卷积层中，卷积的计算通过一个3*3大小的卷积核，按步长(默认为1)扫描输入的结直肠癌的病理图像，每次扫到的区域的数值会和卷积核对应位置的值进行相乘再求和相加，得到的值形成一个新的矩阵，最后通过神经网络的反向传播机制学习到合适的值，从而提取合适的特征。

如图6所示，在获得了5类不同的小块类别集合之后，分别输入VGG16模型的卷积层部分提取特征，每个通路获得25088个特征，最后将5个通道的特征结合在一起，即合并特征获得125440个特征，再经过自定义的全连接层在整个卷积神经网络中起到分类器的作用，同时起到迁移学习的目的，通过使用已经在自然图像上训练好的VGG16模型的卷积层部分和自定义的全连接层进行微调，可以达到更好的训练效果。其中VGG16模型设有13个卷积层和3个全连接层。

此外，本实施例在此对结直肠癌存活时间预测模型采用的深度卷积网络不做限定，本领域技术人员可根据实际情况替换为其它的深度卷积网络。

实施例2

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的上述某些部分的方法。

本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，该程序被处理器执行时，实现上述实施例1的结直肠癌病理图像预后辅助预测方法。

本实施例还提供了一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现上述实施例1的结直肠癌病理图像预后辅助预测方法。

具体地，如图7(a)所示，训练好结直肠癌存活时间预测模型后，基于浏览器或客户端软件通过可视化交互界面为用户提供方便的操作方式，该可视化交互界面包括图像预处理、计算风险、进度显示框和图片显示区域。

如图7(b)所示，输入新的结直肠癌病人的病理图像路径后，即获取了输入数据，通过点击开始预处理按钮进行显示病人的病理图像并执行实施例1中的背景分离步骤。

如图7(c)所示，通过点击显示处理结果会执行实施例1中的图像小块分割步骤、深度特征提取步骤、聚类步骤，并显示小块类别集合和还原的结果，实际应用时，原图分割后的所有图像小块分成了不同颜色类别，颜色代表不同类别，从而区分小块类别集合。将分类后的图像小块归位放回图中原来位置，并用不同颜色表示不同图像小块类别，并提供可视化分类结果实现还原。

如图7(d)所示，通过输入实施例1中训练后的结直肠癌存活时间预测模型的模型路径，开始计算病人的结直肠癌五年生存风险，根据患者存活时间结合预设风险阈值划分风险范围，从而在左侧下方显示风险给出建议，实际应用时，风险范围包括低凤险范围、中风险范围和高风险范围，具体的，0-0.33为低凤险范围，可以建议直接进行手术，切除肿瘤，复发几率较低，0.33-0.66为中风险范围，在手术之外还应该采取化疗等综合治疗手段，多复查病情，防止急性复发，0.66-1为高风险范围，该类病人5年生存几率较低，几乎无法承担手术风险，应该采取保守治疗。

此外，本实施例以其中一种开发环境为例，操作系统采用linux系统，CPU采用I7-9800X，GPU采用RTX 2080TI，硬盘采用SSD 1T，开发框架基于pycharm、matlab；开发语言采用matlab和python3.6.7；此外，本申请采用的硬件环境并不限于此，本领域技术人员可以根据实际情况更换开发环境。

实施例3

如图8所示，本实施例提供了一种结直肠癌病理图像预后辅助预测系统，该系统包括：背景分离模块、图像小块分割模块、深度特征提取模块、聚类模块和风险划分模块；

背景分离模块，用于将输入的结直肠癌的病理图像划分为组织区域和背景区域；

图像小块分割模块，用于对病理图像进行图像小块的分割，根据预设像素大小对组织区域进行分割图像小块；

深度特征提取模块，用于根据结直肠癌存活时间预测模型的卷积层和池化层对分割后的图像小块进行特征的提取得到图像小块特征，在经过卷积层处理后对图像小块编码成一维数组形式；

聚类模块，用于根据K-means聚类对图像小块特征进行聚类，划分肿瘤上皮组织、间质、粘液、正常组织和坏死部分；

风险划分模块，用于根据结直肠癌存活时间预测模型的全连接层输出患者存活时间，设置多个预设风险阈值，根据患者存活时间结合预设风险阈值划分风险范围；

在本实施例中，结直肠癌存活时间预测模型由卷积层、池化层和全连接层组成，结直肠癌存活时间预测模型接收结直肠癌的病理图像作为输入，通过卷积层进行卷积处理，传输至池化层进行减小特征图大小，最终通过全连接层输出患者存活时间。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。