基于深度学习的舌体图像分割和舌色分类研究

摘要

目的为了提高计算机辅助舌诊的准确率,提出了两种基于深度学习的新方法,分别用于舌体图像分割和舌色分类。方法利用LabelMe对舌体掩码进行标注,并利用Snake模型优化标注结果,构建新的舌体分割数据集。通过标注舌色为之后的网络训练构建舌象分类数据集。在本研究中,结合现有的UNet、Inception和空洞卷积提出用于舌体分割的Inception+空洞卷积空间金字塔池化(ASPP)+UNet(IAUNet)。此外,参考Res-Net、Inception和Triplet-Loss构建用于舌色分类网络的Tongue Color Classification Net(TCCNet)。选取一系列重要的度量因子用于评估和比较新的和现有的舌体分割方法和舌色分类方法的效果。针对舌体分割使用IAUNet与UNet、DeepLabV3+等现有主流方法进行对比实验;针对舌色分类使用TCCNet与VGG16和GoogLeNet等进行对比实验。结果IAUNet能够精确地从原始图像中分割出舌体。结果表明,IAUNet的平均交并比(MIoU)达到了96.30%,平均像素精度(MPA)、平均精度均值(mAP)、F1-Score、G-Score和曲线下面积(AUC)值分别达到97.86%、99.18%、96.71%、96.82%和99.71%,表明IAUNet的分割效果优于其他方法,且所用参数更少。TCCNet在舌色分类中引入Triplet-Loss并用于将不同类的嵌入分离,取得了理想的实验效果,TCCNet的F1-Score和mAP分别达到88.86%和93.49%。结论基于深度学习的舌体分割方法IAUNet优于传统方法,能够实现较为理想的舌体分割,分割效果优于PSPNet、SegNet、UNet和DeepLabV3+。舌色分类网络TCCNet相较于其他分类神经网络如VGG16和GoogLeNet,在F1-Score和mAP等指标上都表现得更为优异。