基于深度学习的中医舌下络脉语义分割提取方法及系统

摘要

本发明提供基于深度学习的中医舌下络脉语义分割提取方法及系统，涉及深度学习技术领域，所述方法包括步骤1：对舌体的原始数据进行预处理，得到数据集；步骤2：将数据集输入语义分割网络进行训练和舌体分割预测，并且输出舌体分割预测结果；步骤3：将舌体分割结果输入语义分割网络进行训练和舌下络脉分割预测，并且输出舌下络脉分割预测结果；步骤4：对舌体分割预测结果和舌下络脉分割预测结果进行后处理。本发明能够减少中医的看病成本，充分利用已有的图片数据，基于当前先进的机器学习技术，实现对舌体和舌下络脉的自动分割，将舌体和舌下络脉从背景中提取出来，排除其他信息的干扰，能够促进舌象客观化研究的发展。

说明书

技术领域

本发明涉及深度学习技术领域，特别是涉及基于深度学习的中医舌下络脉语义分割提取方法及系统。

背景技术

舌诊是一项无创的检测方法，不会对患者带来身体的损害及辐射照射伤害。然而受主客体各种因素的影响很大，再加上缺乏量化描述，中医诊病通常较为主观，一般依赖于临床医生的实践经验，主观性较大重复性较差，给中医教学、研究造成了诸多不变，极大地影响了舌诊的继承和发扬。

舌诊客观化就是用客观的检测指标，结合舌诊理论、计算机图像处理及信息分析技术，对中医学的舌象进行定性、定量、定位的研究。这种基于深度学习的舌下络脉自动分割算法将舌体和舌下络脉从背景中分离，排除其他信息的干扰，是舌象客观化研究里非常关键的一步，分割结果的好坏直接影响后期特征分析的准确性。舌下络脉观察是舌诊的关键部分，从原始图像中对舌下络脉进行提取，便于之后的疾病诊断、特征分析(如颜色特征分析)，有着重要的意义。

为了实现舌下络脉的自动分割，需要解决三个方面的主要难题：1)对现有数据进行处理，生成可以由深度学习模型训练的数据集。2)由于舌下络脉占图像比例极小，属于小目标语义分割，因此基于上述数据集，实行ROI策略，先行提取舌体作为ROI区域。3)进一步基于上述ROI区域，构建舌下络脉自动分割算法模型。本发明主要采用图像处理和数据增强进行数据预处理，基于深度学习的语义分割模型来加以解决。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的中医舌下络脉语义分割方法及系统，为了减少中医的看病成本，充分利用已有的图片数据，基于当前先进的机器学习技术，实现对舌体和舌下络脉的自动分割，将舌体和舌下络脉从背景中提取出来，排除其他信息的干扰，能够促进舌象客观化研究的发展。

本发明提供一种基于深度学习的中医舌下络脉语义分割提取方法，所述方法包括以下步骤：

步骤1：对舌体的原始数据进行预处理，得到数据集；

步骤2：将数据集输入语义分割网络进行训练和舌体分割预测，并且输出舌体分割预测结果；

步骤3：将舌体分割结果输入语义分割网络进行训练和舌下络脉分割预测，并且输出舌下络脉分割预测结果；

步骤4：对舌体分割预测结果和舌下络脉分割预测结果进行后处理，并且对后处理结果进行可视化显示。

于本发明的一实施例中，所述步骤1具体流程为：

步骤1.1：对舌体的原始数据进行去除反光点算法处理；

步骤1.2：对经过去除反光点算法处理的原始数据进行数据增强处理。

于本发明的一实施例中，所述去除反光点算法具体流程为：

步骤1.1.1：获取图像数据的图像RGB三通道值R,G,B与三通道中的最大值RGB

步骤1.1.2：将图像RGB三通道转换为Alpha通道，并求得α

步骤1.1.3：根据α

β

步骤1.1.4：根据α

γ

步骤1.1.5：根据γ

步骤1.1.6：根据去反光因子ξ计算三通道值R

R

G

B

于本发明的一实施例中，所述数据增强处理是将经过去除反光点算法处理的原始数据进行垂直镜像对称处理、水平处理、垂直翻转处理，将数据集进行扩充。

于本发明的一实施例中，所述后处理是对舌体分割预测结果和舌下络脉分割预测结果进行腐蚀和膨胀处理，去除边缘毛刺和锯齿。

本发明提供一种基于深度学习的中医舌下络脉语义分割提取系统，所述系统包括数据预处理单元、舌体分割提取单元、舌下络脉分割提取单元、图像后处理单元；

所述数据预处理单元用于对舌体的原始数据进行预处理，得到数据集；

所述体分割提取单元用于将数据集输入语义分割网络进行训练和舌体分割预测，并且输出舌体分割预测结果；

所述舌下络脉分割提取单元用于将舌体分割结果输入语义分割网络进行训练和舌下络脉分割预测，并且输出舌下络脉分割预测结果；

所述图像后处理单元用于对舌体分割预测结果和舌下络脉分割预测结果进行后处理。

于本发明的一实施例中，所述系统还包括图形用户界面，所述图形用户界面用于对后处理结果进行可视化显示。

如上所述，本发明的基于深度学习的中医舌下络脉语义分割提取方法及系统，具有以下有益效果：本发明能够减少中医的看病成本，充分利用已有的图片数据，基于当前先进的机器学习技术，实现对舌体和舌下络脉的自动分割，将舌体和舌下络脉从背景中提取出来，排除其他信息的干扰，能够促进舌象客观化研究的发展。

附图说明

图1显示为本发明实施例中公开的基于深度学习的中医舌下络脉语义分割提取方法的总体流程图。

图2显示为本发明实施例中公开的对原始数据进行二重语义标注的示意图。

图3显示为本发明实施例中公开的对舌体语义分割提取流程图。

图4显示为本发明实施例中公开的小目标语义分割策略图。

图5显示为本发明实施例中公开的对舌下络脉语义分割提取流程图。

图6显示为本发明实施例中公开的对基于深度学习的中医舌下络脉语义分割提取系统的总体构架图。

图7显示为本发明实施例中公开的对基于深度学习的中医舌下络脉语义分割提取系统的操作流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种基于深度学习的中医舌下络脉语义分割提取方法，所述方法包括以下步骤：

步骤1：对舌体的原始数据进行预处理，得到数据集；

其中，舌体的原始数据根据标准从医院进行采集获取；为了得到语义分割可用的数据集，需要对舌体的原始数据进行二重语义标注，即舌体和舌下络脉的语义标注；并且在语义标注后，根据舌体和舌下络脉的不同标签位置，对舌体的原始数据进行批量处理，得到舌体标注二值图像数据和舌下络脉标注二值图像数据，请参阅图2；

在输入语义分割网络前，需要对舌体标注二值图像数据和舌下络脉标注二值图像数据进行Edge-padding(边缘填充)处理；其中，不直接进行resize(尺寸改变)处理是为了避免舌体标注二值图像数据和舌下络脉标注二值图像数据被拉伸，导致结构被破坏；由于舌体标注二值图像数据和舌下络脉标注二值图像数据几乎都存在不同程度的反光点问题，因此需要进行去除反光点算法处理，所述去除反光点算法具体流程为：

(1)获取图像RGB三通道值R,G,B与三通道中的最大值RGB

(2)将图像RGB三通道转换为Alpha通道，并求得α

(3)根据α

β

(4)根据α

γ

(5)根据γ

(6)根据去反光因子ξ计算三通道值R

R

G

B

由于语义分割网络训练需要充足的数据，因此需要对经过去除反光点算法处理的数据集进行数据增强处理，将数据集扩充为五倍。但是由于后续对数据集进行语义分割，因此不能采用随机裁剪、镜头拉伸等方法，只能对数据集进行垂直镜像对称处理、水平处理、垂直翻转处理，将数据集进行扩充。

步骤2：将数据集输入语义分割网络进行训练和舌体分割预测，并且输出舌体分割预测结果；

在将数据集输入语义分割网络进行训练和舌体分割预测前，需要基于卷积层构成的神经网络设计语义分割网络，为了用图像数据的全局信息，需要让神经网络在空间上进行更大范围的“交流”。池化层和全连接层可以达到这一目的，但是池化层会降低空间精度。由于图像分割预测是pixel-wise(像素级)的输出，所以要将池化后较小的图片尺寸，上采样到原始图片尺寸进行预测。

由于舌下络脉宽度仅占原始数据的几个像素，因此需要避免对舌体分割预测结果在空间上进行降维。最终选择不采用池化层，使用膨胀卷积，高效地扩张感受野。通过膨胀卷积聚合多尺度的信息，扩大感知域的同时不会降低分辨率。

本发明先进行舌体分割预测，并且将舌体分割预测结果作为定位，缩小舌下络脉的分割预测目标区域，舌体分割预测结果可作为舌下络脉分割预测的输入。舌体分割预测采用全卷积神经网络，并加入膨胀卷积扩大感受野。请参阅图3，在语义分割网络训练过程中，以舌体的原始数据和舌体标注二值图像数据作为输入，输出舌体分割预测结果。进行舌体分割预测时，语义分割网络仅需要输入舌体的原始数据，即可输出对应的舌体分割预测结果，为形象化地展示，将舌体分割预测结果与舌体的原始数据进行叠加，从而得到最终的效果图。

语义分割网络为采用八层卷积层构成的桶形网络，卷积核大小为5*5，激活函数采用ReLU函数。其中，膨胀卷积率组合采用(2，2)(5，5)(7，7)(11，11)这一组合，基于舌体这一目标分割物体所占图片整体像素较多，因此采用较大的膨胀卷积率组合，同时这一设置也避免了膨胀卷积的栅格效应。

步骤3：将舌体分割结果输入语义分割网络进行训练和舌下络脉分割预测，并且输出舌下络脉分割预测结果；

由于络脉的语义分割问题属于典型的小目标分割，样本极不均衡。因此，将舌体分割预测结果作为语义分割网络的输入，再进行舌下络脉分割预测，请参阅图4。基于该小目标语义分割策略，将输出舌体分割预测结果和舌舌下络脉标注二值图像数据作为语义分割网络的输入，请参阅图5。

由于默认的损失函数容易将所有像素预测为非络脉，因此让语义分割网络对于正样本部分给予更多的“注意”，一定程度上提高语义分割网络的表现，需要对Hinge损失函数进行修改：

惩罚权重α>1，有利于提高语义分割网络的表现，提升F1-score，经过实验，α＝2时训练效果最好，以此为本发明深度语义分割网络损失函数最终设置。

步骤4：对舌体分割预测结果和舌下络脉分割预测结果进行后处理，并且对后处理结果进行可视化显示。

由于舌体分割预测结果和舌下络脉分割预测结果对应的图像数据与Edge-padding(边缘填充)处理后输入语义分割网络的舌体标注二值图像数据和舌下络脉标注二值图像数据尺寸一致，因此需将舌体分割预测结果和舌下络脉分割预测结果恢复至舌体的原始数据的分辨率，因此需要对舌体分割预测结果和舌下络脉分割预测结果进行Edge-clippling(边缘剪切)处理。

并且，由于语义分割网络输出的舌体分割预测结果和舌下络脉分割预测结果边缘存在锯齿现象，因此需要对舌体分割预测结果和舌下络脉分割预测结果进行腐蚀和膨胀处理，去除边缘毛刺和锯齿。

请参阅图6，本发明提供一种基于深度学习的中医舌下络脉语义分割提取系统，所述系统基于上述基于深度学习的中医舌下络脉语义分割提取方法实现的，所述系统的软件模块主要包括数据预处理单元、舌体分割提取单元、舌下络脉分割提取单元、图像后处理单元、图形用户界面；

所述数据预处理单元用于对舌体的原始数据进行预处理，得到数据集；

所述体分割提取单元用于将数据集输入语义分割网络进行训练和舌体分割预测，并且输出舌体分割预测结果；

所述舌下络脉分割提取单元用于将舌体分割结果输入语义分割网络进行训练和舌下络脉分割预测，并且输出舌下络脉分割预测结果；

所述图像后处理单元用于对舌体分割预测结果和舌下络脉分割预测结果进行后处理；

所述图形用户界面用于对后处理结果进行可视化显示。

具体的，所述系统的总体构架自顶向下可以分成三大主要层次，顶层是用户界面模块、中间层是中央控制模块、底层是各个功能模块。

用户界面模块主要是给提取分割系统的使用者提供一个图形化的用户操作界面，方便用户对于系统的使用。

中央控制模块一方面负责协调控制各个底层功能模块之间的工作，另外一方面负责将用户界面模块获得的用户操作指令转化为各个功能模块的控制指令，同时将底层功能模块的执行结果反馈给用户界面模块。

底层功能模块主要包括如下功能模块：1)训练模块：主要包含数据预处理单元、舌体分割提取单元、舌下络脉分割提取单元、图像后处理单元；2)图像操作显示模块：主要是基于原始数据，选择去除反光点、舌体标注、舌下络脉标注的效果；3)图像预测显示轮廓模块：主要是基于已经训练好的语义分割网络，针对用户需求，选择舌体分割结果显示或舌下络脉分割结果显示；4)已选操作信息模块：显示已选的操作，并显示相应属性，使得用户可以根据需求对已选操作进行删除。

请参阅图7，所述基于深度学习的中医舌下络脉语义分割提取系统进行中医舌体与舌下络脉的分割提取操作主要可以分为两个阶段：第一是系统的准备阶段；第二是系统的使用阶段。

系统的准备阶段：主要完成四个步骤的准备工作；

第一，针对舌体的原始数据进行预处理，去除反光点，减少对语义分割网络学习的影响。第二，根据去除反光点后的数据，进行舌体标注和舌下络脉标注，并且根据不同的标签形成舌体数据集和舌下络脉的数据集。第三，根据舌体数据集，进行数据增强处理，得到扩充的数据集，再将增强后的数据集输入语义分割网络进行训练，获得经过训练的舌体语义分割网络。第四，根据第三步提取出的舌体数据，将其进行数据增强操作，将其与舌下络脉的标注作为舌下络脉的训练集，输入语义分割网络进行训练，获得经过训练的舌下络脉语义分割网络。

系统的使用阶段：用户将使用已经训练完成的语义分割网络，实施所需的图像分割提取操作；第五步，在目录中选择所需处理图像，将原始数据显示在系统中；第六步，选择所要进行的操作。共给出五种操作：1)原始数据去除反光点；2)图像显示舌体标注信息；3)图像预测舌体部位并画出轮廓；4)图像显示舌下络脉标注信息；5)图像预测舌下络脉部位并画出轮廓；第七步，系统可对所选的操作进行删除或者根据所需操作进行选择和删除；第八步，对于所需操作生成的图像，可以选择保存，并且保存图像的路径和文件名由使用者选择。

需要说明的是，在分割提取系统第一次使用前，需要完成系统准备阶段的前四个步骤。在准备阶段完成后，就可以多次对系统进行使用操作，而不必再次重复系统的准备阶段工作。

综上所述，本发明能够减少中医的看病成本，充分利用已有的图片数据，基于当前先进的机器学习技术，实现对舌体和舌下络脉的自动分割，将舌体和舌下络脉从背景中提取出来，排除其他信息的干扰，能够促进舌象客观化研究的发展。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。