公开/公告号CN116543414A
专利类型发明专利
公开/公告日2023-08-04
原文格式PDF
申请/专利权人 广东省新黄埔中医药联合创新研究院;陈虹;
申请/专利号CN202310305163.X
申请日2023-03-24
分类号G06V40/10(2022.01);G16H50/20(2018.01);G06V10/56(2022.01);G06V10/764(2022.01);G06V10/82(2022.01);G06V10/762(2022.01);G06V10/80(2022.01);
代理机构广东南越商专知识产权代理有限公司 44809;广东南越商专知识产权代理有限公司 44809;
代理人许春兰;刘丹
地址 510000 广东省广州市黄埔区香雪大道中81号
入库时间 2024-01-17 01:23:17
法律状态公告日
法律状态信息
法律状态
2023-08-22
实质审查的生效 IPC(主分类):G06V40/10 专利申请号:202310305163X 申请日:20230324
实质审查的生效
技术领域
本发明涉及图像处理技术领域,具体涉及多模型融合的舌质颜色分类及舌质红度和紫度量化方法。
背景技术
舌诊主要是通过医生的目测观察、经验来判断病证。舌诊是通过观察舌象的变化来了解机体的生理功能和病理变化。舌象包括舌质和舌苔的各种表现,舌苔和舌质的异常变化则构成病理舌象,是中医医生诊断的重要依据。然而对于舌象的判断会受到人为因素的影响,该影响是不可控的。
如今,随着深度学习的不断发展,深度学习的理论知识应用到中医舌质颜色分类中。其中,舌质颜色可以划分为六个类别,分别为淡白舌、淡红舌、红舌、绛红舌、淡黯舌、青紫舌。现有技术中采用单模型进行舌质颜色分类,然而该分类方法存在一定的缺陷,例如:模型泛化能力不足和精确度不高。现有中没有基于多模型融合的舌质颜色分类方法以及基于该分类方法的舌质红度和紫度量化方法。
发明内容
为解决上述问题的一个或多个,本发明提出了基于多模型融合的舌质颜色分类方法以及对于舌质红度和紫度量化方法,将深度学习的理论知识应用到中医舌质颜色分类中构建舌质颜色分类模型。多模型融合的方式,弥补了单模型中的缺陷,提高了模型的泛化能力和精确度,实现了舌诊数字化和自动化,提高了医生舌诊的效率。与此同时,本发明提出基于该分类方法的舌质红度和紫度量化方法为中医中的舌诊提供数据参考。
根据本发明的第一方面,提供了多模型融合的舌质颜色分类及舌质红度和紫度量化方法,包括:
生成舌质颜色数据集;所述舌质颜色数据集至少包括:已标注的六个类别的舌象图数据,其中六个类别的舌质颜色分别为:淡白舌、淡红舌、红舌、绛红舌、淡黯舌、青紫舌;
生成多模型融合的舌质颜色分类模型,所述多模型融合的舌质颜色分类模型用于对所述舌质颜色数据集进行分类;
对淡白舌、淡红舌、红舌、绛红舌这四个类别的舌象图的舌质红度量化和对黯淡舌和青紫舌这两个类别的舌象图的舌质紫度量化;
依据所述分类结果及量化结果输出舌象图的类别及量化值。
在一些实施方式中,所述生成舌质颜色数据集具体包括:采集已标注六个类别的舌象图数据;筛选采集的舌象图数据,将筛选好的数据作为舌质颜色数据集。
在一些实施方式中,所述生成多模型融合的舌质颜色分类模型,所述多模型融合的舌质颜色分类模型用于对所述舌质颜色数据集进行分类包括:
构建异常检测模型,并根据异常检测模型区分正常类别的舌象图与异常类别的舌象图;其中,正常类别的舌象图为淡白舌、淡红舌、红舌、淡黯舌这四个类别的舌象图,异常类别的舌象图为绛红舌和青紫舌这两个类别的舌象图;
对正常类别的舌象图和异常类别的舌象图分别进行分类后,将正常类型的舌象图输入四分类模型,将异常类别的舌象图输入红紫分类模型;其中,四分类模型对淡白舌、淡红舌、红舌、淡黯舌这四个类别的舌象图进行分类后,将四个类别的舌象图中的淡黯舌这一类别的舌象图输入红紫分类模型;
异常类别的舌象图以及淡黯舌类别的舌象图经过红紫分类模型分别依据舌象图的红度和舌象图的紫度进行分类。
在一些实施方式中,所述构建异常检测模型,并根据异常检测模型区分正常类别的舌象图与异常类别的舌象图进一步包括:
将舌质颜色数据集划分为训练集和测试集;
对训练集的舌象图片进行数据增强;其中,数据增强方式至少包括以下一种:对舌象图进行旋转、水平翻转、添加随机噪声、模糊处理或图片模式变换;
对数据增强后的舌象图数据进行特征提取,并依据特征提取结果区分正常类别的舌象图与异常类别的舌象图;
选择用于优化异常检测模型的损失函数;其中,损失函数为改进后的Pseudo-Huber损失函数;
依据损失函数的结果创建用于优化所述损失函数结果的优化器;其中,优化器为Adam优化器,优化器的学习率设置为1e-2;
进行训练,生成异常检测模型;其中,所述训练所用的数据为数据增强后的舌象图数据。数据增强方式的不同可以使得图片的细节变化、场景更加多样化。
在一些实施方式中,所述将正常类型的舌象图输入四分类模型包括构建四分类模型,所述四分类模型用于对淡白舌、淡红舌、红舌、淡黯舌四个类别的舌象图进行分类;
所述构建四分类模型具体包括:
构建所用的四分类模型数据集;
对所用数据集内所需用的数据进行数据增强;数据增强的方法至少包括以下一种:旋转、水平翻转、添加随机噪声、模糊处理、归一化;
对数据增强后的舌象图数据进行特征提取,并依据特征提取结果区分淡白舌、淡红舌、红舌、淡黯舌四个类别的舌象图;
根据四分类模型创建损失函数;其中,损失函数为LDAM损失函数;
依据损失函数的结果选择优化器;其中,优化器为自适应矩估计优化器,优化器的学习率设置为4e-5;
进行训练,生成四分类模型;训练次数设置为500次,其中,前200次训练使用LDAM损失函数进行优化模型;在后300次训练过程中使用的是交叉熵损失函数进行优化模型。
在一些实施方式中,所述将异常类别的舌象图输入红紫分类模型进一步包括:构建红紫分类模型;
构建红紫分类模型具体包括:
构建红紫分类模型数据集;
对红紫分类模型数据集进行数据增强;
对数据增强后的舌象图数据进行特征提取,并依据特征提取结果区分偏红色的舌象图与偏紫色的舌象图;
根据红紫分类模型创建损失函数;其中,损失函数为交叉熵损失函数;
依据损失函数的结果选择优化器;其中,优化器为自适应矩估计优化器,优化器的学习率设置为2e-3;
进行训练,生成红紫分类模型。
在一些实施方式中,所述对淡白舌、淡红舌、红舌、绛红舌这四个类别的舌象图的舌质红度量化和对黯淡舌和青紫舌这两个类别的舌象图的舌质紫度进行量化进一步包括:
对舌象图进行苔质分离;
对苔质分离后的舌象图进行采样;
根据采样结果进行舌质颜色量化。
在一些实施方式中,所述对舌象图进行苔质分离进一步包括:
将舌象图从RGB颜色模型转换成Lab颜色模型;
根据舌象图中所有像素点中的a值通过Kmeans聚类方法划分舌象图中的舌质区域和舌苔区域,剔除舌苔区域,只保留舌质区域。
在一些具体的实施方式中,所述对舌象图进行苔质分离还进一步包括:
剔除舌象图中舌苔区域内的像素点。对苔质分离后的舌象图进行后续处理,以便剔除舌苔区域的离散的像素点和小区域。
在一些实施方式中,所述根据采样结果进行舌质紫度量化进一步包括:
绘制最小二乘法拟合直线;
根据拟合的直线进行划分量化等级;
根据采样结果对舌象图的舌质颜色进行量化。
根据采样结果进行舌质紫度量化为:利用欧氏距离计算采样的所有采样点在对应类别的量化匹配标准上的等级分布投票情况,保留投票最多的等级,并计算在该等级上的平均值作为该图片的量化值。
根据本发明的第二方面,一种多模型融合的舌质颜色分类及舌质红度和紫度量化装置至少包括:
第一生成单元,用于生成舌质颜色数据集;
第二生成单元,用于生成舌质颜色分类模型,并依据舌质颜色分类模型区分六个类别的舌象图;
量化单元,用于对淡白舌、淡红舌、红舌、绛红舌这四个类别的舌象图的舌质红度量化和对黯淡舌和青紫舌这两个类别的舌象图的舌质紫度量化;
输出单元,依据所述分类结果及量化结果输出舌象图的类别及量化值。
根据本发明的第三方面,一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
有益效果:
本发明训练生成舌质颜色分类模型,并利用该模型对舌象图按照舌质颜色进行分类,从而实现自动且快速地对舌体图像的舌质进行分类,且分类的结果消除了主观性的影响,也更为准确,克服了人工判断过程的主观性强、效率低的缺陷。本发明基于该模型提出一种对舌象图进行舌质红度和舌质紫度进行量化的方法,为舌诊提供更为具体可靠的诊断依据。
附图说明
图1为本发明一实施方式的多模型融合的舌质颜色分类及舌质红度和紫度量化方法的流程示意图;
图2为本发明一实施方式中舌象图;
图3为图2经过CenterCrop函数处理后的示意图;
图4为图2经过ColorJitter函数处理后的示意图;
图5为本发明一实施方式的淡白舌、淡红舌、红舌、绛红舌四个类别的拟合直线图;
图6为依据图5中四个类别的红度匹配标准可视化色条示意图;
图7为依据图5中四个类别的拟合直线和图6的红度匹配标准可视化色条绘制的舌质红度色条可视化分布示意图;
图8为本发明一实施方式的紫度匹配标准可视化色条示意图;
图9为本发明一实施方式的舌质紫度色条可视化分布示意图;
图10为本发明另一实施方式的舌象示意图;
图11为图10经过苔质分离的舌象图;
图12为图11经过后处理操作的示意图;
图13为对图12进行采样的示意图;
图14为本发明另一实施方式的红度量化示意图。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
根据以上描述,以下是一个具体的实验流程,但本专利所保护的范围并不限于该实施流程,流程框图如附图1所示。具体实施过程如下:
步骤1:生成舌质颜色数据集。
本实施例所使用的舌象图数据集如表1所示。
表1
步骤1.1:采集已标注六个类别的舌象图数据。具体的,首先采集4400张舌象图,其中,采集的每张舌象图经过30位医生根据舌质颜色的六个类别标注。六个类别分别为:淡白舌、淡红舌、红舌、绛红舌、淡黯舌、青紫舌。其中,如图2为所采集的舌象图。
步骤1.2:筛选采集的舌象图数据。筛选采集的舌象图数据进一步包括:保留有效的舌象图数据,剔除无效的舌象图数据。30位医生标注同一张图片,当该图片的标注结果高于同一类别的数量占总数,也就是30位医生的百分之四十五则视为有效的舌象图数据,低于百分之四十五则为无效的舌象图数据。所保留的舌象图片作为舌质颜色数据集,可以如表1所示。
步骤2:生成多模型融合的舌质颜色分类模型,多模型融合的舌质颜色分类模型用于对所述舌质颜色数据集进行分类。
步骤2.1:构建异常检测模型,并根据异常检测模型区分正常类别的舌象图与异常类别的舌象图。
淡白舌、淡红舌、红舌、淡黯舌的舌象图为正常类别,红舌和青紫舌的舌象图为异常类别。该模型为了对异常类别和正常类别的舌象图进行分类。
步骤2.1.1:将舌质颜色数据集划分为训练集和测试集
其中,正常类别的数据为淡白舌、淡红舌、红舌、淡黯舌的舌象图数量相加,得出为1271张。将1271张舌象图按照七比三比例划分为训练集和测试集。训练集有890张舌象图片,测试集有381张舌象图片。
步骤2.1.2:对训练集的舌象图片进行数据增强
具体的,数据增强方式包括但不限于旋转、水平翻转、添加随机噪声、模糊处理、图片模式变换等,不仅增加了训练集图片数量,还使得图片的细节变化、场景更加多样化。
优选的,对现有的数据增强方法进行了优化。将CenterCrop函数和ColorJitter函数剔除。如图3所示,经过中心裁剪CenterCrop函数,可以发现裁剪后的图片中不包含舌质部分像素,故不适合舌质颜色检测。
如图4所示,图片经过色彩调节ColorJitter函数,关于参数亮度、对比度、饱和度、明度等色调的调整会影响到图片的真实颜色,不适用于舌质颜色检测的要求。因此,将CenterCrop函数和色彩调节ColorJitter函数这两个函数剔除。
其中,每个模型所分类的对象不完全相同,数据增强方式也有所差异。
步骤2.1.3:对数据增强后的舌象图数据进行特征提取,并依据特征提取结果区分正常类别的舌象图与异常类别的舌象图
具体的,对舌象图进行特征提取后输出特征图,接着按照异常得分是否超过边界阈值来区分正常类别的舌象图与异常类别的舌象图。运用全卷积数据描述(FCDD,fullyconvolutional data description)对训练集图片进行特征提取。舌象图通过FCDD中的FCN全连接层后映射到固定尺寸的特征图上,其中输出的特征图上某个元素受输入图像上影响的区域,这样特征图的异常分数就可以映射回原图片的位置,保留了空间信息。划定一个异常得分作为正常与异常的边界阈值。根据边界阈值进行划分为正常类别的舌象图和异常类别的舌象图,即舌象图经过FCN全连接层后计算异常得分,若异常得分超过边界阈值则视为异常类别的舌象图,若小于边界阈值则视为正常类别的舌象图。本实施例中,边界阈值设置为0.5。
步骤2.1.4:依据异常检测模型创建用于优化该异常检测模型的损失函数
具体的,FCDD损失函数应用Pseudo-Huber损失函数在卷积层FCN层的输出矩阵为下式:
损失函数为:
其中,X为输入的数据,W为网络的权重参数,|A(X)为输出矩阵,输出矩阵的尺寸为u*v,X
运用上式函数作为损失函数。损失函数用来度量模型的预测值与真实值的差异程度的运算函数,通过过程的改善而持续减少目标值的变异。
步骤2.1.5:依据损失函数结果创建优化器
具体的,运用Adam优化器,学习率设置为1e-2。该步骤是对通过训练优化参数,来最小化损失函数。通过损失函数的反馈来惩罚或者表扬模型,也就是最小化损失函数,使得模型逐渐达到更优。
步骤2.1.6:依据优化器优化的模型设置训练参数,并开始训练
具体的,训练次数设置为500次。可选的,训练次数可根据类别进行调整。在训练过程中,每次训练将f1分数((精准率*召回率)/(精准率+召回率))值最高的权重的文件保留。每进行一次训练,就计算(精准率*召回率)/(精准率+召回率)该分数。若当前训练时,该分数高于历史分数,则替换成当前的分数,并更新保存当前的权重文件。
步骤2.1.7:完成训练后,进行模型推理
具体的,完成训练同时意味着异常检测模型构建完成。接着,将新的未标注的舌象图数据输入异常检测模型进行推理。模型在训练阶段学习到了异常图片和正常图片的特征,在模型推理阶段读取训练阶段的权重文件进行推理预测。
测试结果利用AUC作为评价指标。AUC是用于二分类模型的模型评价指标,其含义是随机给定一个正样本和一个负样本,将正样本预测为正的概率为p1,将负样本预测为正的概率为p2,p1>p2的概率即为AUC。现有方法的AUC为0.81,本方法的AUC为0.96。AUC越大,该模型的分类效果更好。可以发现修改后的方法效果明显提升了。
步骤2.2:对正常类别的舌象图和异常类别的舌象图分别进行分类,将正常类型的舌象图输入四分类模型,将异常类别的舌象图输入红紫分类模型。
步骤2.2.1:构建四分类模型,对淡白舌、淡红舌、红舌、淡黯舌四个类别的舌象图进行分类
该模型用于区分淡白舌、淡红舌、红舌、淡黯舌,数据量分别为108、489、364、310张。
步骤2.2.1.1:构建四分类模型数据集
具体的,训练集和测试集按照7:3划分。其中训练集有890张图片,测试集有381张图片。
步骤2.2.1.2:对四分类模型数据集进行数据增强
具体的,数据增强的方法为旋转、水平翻转、添加随机噪声、模糊处理、归一化的一种或多种的组合。该步骤是对上一步骤划分的训练集数据的数量进行扩增,使模型学习到更多鲁棒性的特征,从而有效提升模型的泛化能力。
步骤2.2.1.3:对数据增强后的舌象图数据进行特征提取,并依据特征提取结果区分淡白舌、淡红舌、红舌、淡黯舌四个类别的舌象图
具体的,运用DenseNet201网络作为四分类模型的特征提取层,且在输出的特征图上每个特征数据乘以特征图对应舌象图的阈值。其中,网络模型主要包含三个核心层,分别是DenseLayer层,整个模型最基础的原子单元,用于完成一次最基础的特征提取;DenseBlock层,整个模型密集连接的基础单元;transition层,不同密集连接之间的过渡单元。DenseNet201网络为现有的网络,而本申请中用于四分类,修改最后一层全连接层的输出维度为4。
通过将上述三层的拼接及分类层完成整个模型的搭建。标注的阈值为上述提到的每张图片均是通过30位医生进行标注。其中,标注这个类别的医生总数占总标注医生的总数比例,也就是30位医生,这个比例就是阈值。
步骤2.2.1.4:根据四分类模型创建损失函数
具体的,依据淡白舌、淡红舌、红舌、淡黯舌四个类别的舌象图创建损失函数。鉴于四个类别的图片数量差异较大,说明类别之间的分布不均匀,故引入LDAM损失函数预防长尾情况。长尾情况指不同类别的数据集图片总数差异较大,即类别之间的分布不均匀也就是数据不平衡。LDAM损失函数是基于向量机(SVM)的思想,同一类别样本的特征在特征空间上的距离是比较接近的,不同类别样本的特征在特征空间上距离是比较远的。于是在分类的本质上是在找一条边界,使这些特征点能被正确的划分到对应的类别。
LDAM损失函数如下:
其中,j∈{1,...,k},y为标签,x为标签为y的样本,标签为y的样本x通过模型预测的结果为z
对比起交叉熵损失函数:
而LDAM损失函数由z
步骤2.2.1.5:依据损失函数的结果创建优化器
具体的,运用自适应矩估计(Adam,Adaptive Moment Estimation)优化器,学习率设置为4e-5。运用该优化器的优点为:既能适应稀疏梯度,又能缓解梯度震荡问题。
步骤2.2.1.6:依据优化器优化的模型设置训练参数,并开始训练
具体的,训练次数设置为500次。其中,前200次训练,使用LDAM损失函数进行优化模型;然后在后300次训练过程中使用的是交叉熵损失函数,通过前两百次的训练降低不平衡数据对训练的影响,后三百次恢复正常的训练,从而实现高精度分类。
步骤2.2.1.7:训练完成后,对模型进行推理
从推理结果中发现,运用DenseNet201网络作为特征提取层,比起现有的ResNet152、vgg19等骨干网络,表现效果最好。同时,对于将数据集进行数据增强和未经数据增强的数据经过训练后的结果发现,经过数据增强的数据进入训练的模型的精度更高。
步骤2.2.1.8判断当前舌象图是否为四个类别中的淡黯舌,若是,将淡黯舌该类别的舌象图图片输入红紫分类模型。若否,将舌象图输入至步骤3.1。
具体的,淡黯舌的舌象图通过医生进行标注为偏红色的舌象图和偏紫色的舌象图,数量分别为130张和180张。
步骤2.2.2:依据淡黯舌的舌象图和异常类别的舌象图构建红紫分类模型
该模型用于区分舌象图的舌质颜色是偏紫还是偏红。
步骤2.2.2.1:构建红紫分类模型数据集
具体的,经过异常检测模型的绛红舌和青紫舌的数量分别为10张和21张,淡黯舌中偏红色和偏紫色的分别为130张和180张。将两种偏红的舌象图的数量进行相加,数量为140张。将两种偏紫的舌象图的数量进行相加,数量为201张。将上述数据按照比例7:3划分训练集与测试集作为该模型的数据集。本实施例中的测试集数据用于在该模型完成后,测试该模型的性能。
步骤2.2.2.2:对红紫分类模型数据集进行数据增强
具体的,数据增强的方式包括但不限于旋转、水平翻转、归一化操作。该步骤既可以增加图片数据量,又可以提高模型的泛化能力。
步骤2.2.2.3对数据增强后的舌象图数据进行特征提取,并依据特征提取结果区分偏红色的舌象图与偏紫色的舌象图
具体的,运用ResNet18网络作为红紫分类模型的特征提取层。该网络的基本构架是ResNet。其中,18代表网络的深度,指的是18层。18层包括卷积层和全连接层,其中,最后1层为全连接层,前17层为卷积层,其中第一层的卷积层尺寸为7*7,其余卷积层尺寸均为3*3,第一层至第五层的卷积层的通道数为64,第六层至第九层的通道数为128,第十层至第十三层的通道数为256,第十四层至第十七层的通道数为512。ResNet18网络为现有的网络,而本申请中用于二分类,修改最后一层全连接层的输出维度为2。
步骤2.2.2.4依据创建完成的红紫分类模型构建损失函数
具体的,本模型中的偏红的舌象图和偏紫的舌象图这两个类别的数量比较平衡,故选用交叉熵损失(CrossEntropyLoss)函数作为损失函数。损失函数用来表现预测与实际数据的差距程度。根据损失函数来对模型进行优化具体表现为:根据损失函数的值来确定模型的性能;损失函数可以根据模型的参数进行调整和调优,以优化与改善模型的预测性和准确度等性能。
对单个样本,假设真实分布为y,网络输出分布为
步骤2.2.2.5:根据损失函数创建优化器
具体的,运用自适应矩估计(Adam,Adaptive Moment Estimation)优化器,学习率设置为2e-3。运用该优化器的优点为:既能适应稀疏梯度,又能缓解梯度震荡问题。
步骤2.2.2.6:依据优化器优化的模型设置训练参数,并开始训练
具体的,训练次数为500次。在训练过程中,保存最佳权重文件。最佳权重的判断依据为:(精准率*召回率)/(精准率+召回率)高的。每次训练,计算(精准率*召回率)/(精准率+召回率)该分数,若当前分数高于原有分数,则将该分数替换原有分数,并更新保存当前的权重文件。
步骤2.2.2.7:训练完成后,对模型进行推理
从推理结果中发现,红色和紫色的区分度高,图片特征较明显,比较好分类,故选用了小网络提取特征进行分类,精度高,用时少。
步骤2.3:异常类别的舌象图以及淡黯舌的舌象图经过红紫分类模型依据舌象图的红度和紫度进行分类
该步骤用于将淡黯舌中偏红的舌象图和偏紫的舌象图进行分类,以及将异常检测模型中分出来的绛红舌的舌象图和青紫舌的舌象图进行分类。
其中,该步骤包括将淡黯舌中的偏红色的舌象图和偏紫色的舌象图进行分类,接着将偏紫色的舌象图输入至步骤3.2,偏红色的舌象图不进行舌质红度量化,而输入至步骤4;还包括将绛红舌的舌象图和青紫舌的舌象图进行分类,接着将绛红舌的舌象图输入步骤3.1,将青紫舌的舌象图输入步骤3.2。
步骤3:对淡白舌、淡红舌、红舌、绛红舌这四个类别的舌象图的舌质红度量化和对黯淡舌和青紫舌这两个类别的舌象图的舌质紫度进行量化
步骤3.1:对淡白舌、淡红舌、红舌、绛红舌这四个类别的舌象图的舌质红度量化
步骤3.1.1:对舌象图进行苔质分离
具体的,首先将原图从RGB颜色模型转换成Lab颜色模型。Lab颜色模型是由国际照明委员会制定的一种色彩模式,L代表亮度,a代表红色到绿色变化,b代表黄色到蓝色的变化。原图可参照图10所示。这时,一张舌象图图片的像素点就从RGB格式转换成Lab格式,接着根据舌象图中所有像素点中的a值通过Kmeans聚类方法划分舌象图中的舌质区域和舌苔区域,剔除舌苔区域,只保留舌质区域。聚类方法中的k值设置为2,用于实现舌质和舌苔的分离。如图11所示,经过苔质分离后的舌象图中舌苔区域仍有部分区域的像素点未剔除。
优选的,对苔质分离后的舌象图进行后续处理。后续处理为剔除舌苔区域的离散的像素点和小区域。具体的,对苔质分离后的舌象图使用findContours函数计算轮廓个数。contoursArea计算每个轮廓的面积,将面积小于200的区域判定为干扰点,并将其替换成背景色。如图12所示,可以发现经过后处理操作,图中的舌苔区域离散的像素点被有效剔除,可以步骤3.1.2:对苔质分离后的舌象图进行采样
具体的,首先计算步骤1.1中分割后的舌象图的水平线中点的垂线上舌面的最高点到最低点的中心点坐标为(x,y),接着在苔质分离后的舌象图,参照图12上进行采样。在图12上按照(0:w,y)、(0:w,y+1)、(0:w,y+2)...进行遍历。其中,(0:w,y)指的是坐标(0,y)、(1,y)、(2,y)、(3,y).........(w,y)。选取2000个RGB值不为(0,0,0)的像素值作为采样点。RGB值为(0,0,0)的像素值为黑色,即背景像素点。如图13所示,舌质区域上两侧的浅色区域为采样区域。
步骤3.1.3:根据采样结果进行舌质红度量化
步骤3.1.3.1:绘制最小二乘法拟合直线
具体的,首先计算采集像素点的R值、G值和B值的平均值,接着根据以下公式计算每张舌象图的r值和g值:r=R/(R+G+B)和g=G/(R+G+B),最后根据每个类别中所有舌象图的r值和g值运用最小二乘法拟合直线。以r值为横坐标,g值为纵坐标的拟合直线可如图5所示。理论上淡红舌拟合直线应位于红舌拟合直线的左边,而如图5所示,淡红舌拟合直线与红舌拟合直线在竖直方向上有重叠。
步骤3.1.3.2:根据拟合的直线进行划分红度的等级
优选的,将四个类别的拟合直线进行等分。其中,淡白舌的拟合直线等分30个点,淡红舌的拟合直线等分40个点,红舌的拟合直线等分50个点,绛红舌的拟合直线等分10个点。根据四个类别的红度分布重叠情况,在每个类别间加入容错区域。其中,淡白舌拟合直线与淡红舌拟合直线重叠10个点,淡红舌拟合直线和红舌拟合直线重叠20个点。将这个数据作为每个类别的红度匹配标准。
如图6所示,即为淡白舌、淡红舌、红舌和绛红舌四个类别的红度匹配标准可视化色条。其中,淡白舌范围是等级一至等级三,淡红舌范围是等级三至等级六,红舌范围是等级五至等级九,绛红舌范围是等级十。如图7所示,可以看到以纵坐标为g值,横坐标为r值的舌质红度色条可视化分布。该图7对应图5的四个类别拟合直线。
步骤3.1.3.3:根据采样结果对舌象图的舌质红度进行量化
具体的,利用欧氏距离计算采样的所有采样点在对应类别的量化匹配标准上的等级分布投票情况,保留投票最多的等级,并计算在该等级上的平均值作为该图片的量化值。
示例性的,该图通过上述模型分类为红舌,红舌的量化范围在等级五至等级九之间。接着,利用欧氏距离计算该图片的每一个采样点在等级五至等级九上的距离,将该像素点划分在最近的等级量化值上。其中,图14中2000个采样点在红度量化标准上的投票分布情况为:剔除背景像素点之后采集的像素点位于等级五、等级六、等级七、等级八和等级九的数量分别为300、356、461、517和366。在对应每个等级的量化和分别为1371、1953、2982、3785、3123。背景像素点对应图片中的黑色。
接着,保留投票最多的等级,也就是等级八进行计算平均量化值。计算过程为:517除以3785约等于7.3。那么,图14的红度量化值为7.3。具体可四舍五入,只保留一个小数点。
步骤3.2:对舌象图中的舌质紫度进行量化
该步骤是对淡黯舌中的偏紫色的舌象图和青紫舌的舌象图进行紫度量化。
步骤3.2.1:对舌象图进行苔质分离,对苔质分离后的舌象图进行采样
该步骤与上述步骤3.1.1和步骤3.1.2所进行的方法相同。对于偏紫色的舌象图可以与偏红色的舌象图进行一起舌质分离和采样,也可以分开进行。
步骤3.2.2:根据上述采样结果进行舌质紫度量化
步骤3.2.2.1:绘制最小二乘法拟合直线
该步骤与步骤3.1.3.1方法相同,但计算的值有所不同。由于是计算紫度,因为计算的是b值和g值。其中,b=B/(R+G+B)和g=G/(R+G+B)。如图7所示,两个类别的数据分布比较均匀,其拟合直线首尾没有重叠,故不需要容错区域。
步骤3.1.3.2:根据拟合的直线进行划分紫度的等级
优选的,将两个类别的拟合直线进行等分。其中,淡黯舌的拟合直线等分30个点,青紫舌的拟合直线等分70个点。将这个数据作为每个类别的紫度匹配标准。
如图8所示,即为淡黯舌和青紫舌两个类别的紫度匹配标准可视化色条。其中,淡黯舌范围是等级一至等级三,青紫舌范围是等级四至等级十。如图9所示,可以看到以纵坐标为g值,横坐标为b值的舌质紫度色条可视化分布。该图对应两个类别拟合直线。
步骤4:依据上述分类结果及量化结果输出舌象图的类别及量化值
该步骤根据上述模型得出舌象图的分类结果,也就是属于哪个类别,同时根据步骤3可以得知该类别的量化值。其中,本实施例中未对淡黯舌中的偏红色的舌象图进行量化。
将上述测试集对本分类方法及红度和紫度量化方法进行测试。测试结果为:淡白舌、淡红舌、红舌、绛红舌、淡黯舌和青紫舌的精确率分别为82%、88%、89%、95%、86%和95%,该精确率的平均值也高达87%;而召回率分别为77%、87%、92%、85%、85%和85%,其召回率的平均值也高达87%。
本申请还基于上述方法提供相应的装置,包括:
第一生成单元,用于生成舌质颜色数据集;
第二生成单元,用于生成舌质颜色分类模型,并依据舌质颜色分类模型区分六个类别的舌象图;
量化单元,用于对淡白舌、淡红舌、红舌、绛红舌这四个类别的舌象图的舌质红度量化和对黯淡舌和青紫舌这两个类别的舌象图的舌质紫度量化;
输出单元,依据分类结果及量化结果输出舌象图的类别及量化值。
根据本发明的第三方面,一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述方法的步骤。
以上上述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
机译: 视觉均质,电子设备,电子系统,计算机可读程序产品和计算机可读存储介质的至少一个框架上获取颜色均质化数据的方法和相应的颜色均质化方法
机译: 推导自适应阈值并分类舌物质和混合区域的包衣舌区域的装置和方法
机译: 具有血管生成抑制剂(变种)活性的均质融合蛋白,编码均质融合蛋白的DNA分子,均质融合蛋白的表达载体,哺乳动物细胞的翻译方法和均质蛋白的制备方法