基于深度边界监督的牙齿全景片龋齿识别方法

摘要

基于深度边界监督的牙齿全景片龋齿识别方法，在获取牙齿全景片后，将牙齿全景片通过编码模块进行特征编码，得到深层扰动特征图、跳跃连接特征图以及目标边界分割图；将深层扰动特征图输入分类模块对是否存在浅龋、中龋和深龋进行识别；最后将深层扰动特征图和跳跃连接特征图输入解码模块进行特征解码，得到龋齿分割结果以及目标边界分割图。本发明使得网络对龋齿的分类识别能力和对龋齿边界的分割能力大大增强，使训练好的模型在遇到龋齿图像较为模糊的情况时仍能利用特殊情况中常见的部分特征得出较为合理的分类以及分割结果。

说明书

技术领域

本发明涉及医疗图像处理领域，尤其涉及了基于深度边界监督的牙齿全景片龋齿识别方法。

背景技术

龋齿是危害口腔健康的常见疾病以及多发性疾病之一，也是较为常见的一种口腔多发病，在临床上的常表现为牙齿的硬组织被广泛破坏，可发生于任何年龄阶段，尤多见于儿童。龋齿发病的初期多在牙冠，较为容易治愈，但若治疗不及时，则有可能形成难以自愈的龋洞，最终使得牙齿脱落。据第四次全国口腔健康流行病学调查结果显示，我国5岁儿童乳牙龋患率为70.9％，比10年前上升了5.8％；12岁儿童龋患率高达34.5％，比10前上升了7.8％。目前，龋齿已成为继心血管疾病和癌症之后，第3个被世界卫生组织列为重点防治的疾病。在临床上，龋齿的表现多为牙齿出现脱钙、有机质发生溶解、牙齿的正常解剖结构消失、牙齿断裂或者脱落，对正常人的口腔的健康和美观造成了非常严重的影响，也给患者带来很大的痛苦和烦恼。

另一方面，我国口腔医疗资源短缺，主要表现在口腔医师数量严重不足、地域发展不平衡、国产口腔医疗器械、设备开发动能不足。 2019年中国口腔产业趋势报告显示，世界卫生组织(WHO)对牙医: 人口比例的建议值为1:5000，这一比例针对发达国家上升到1:2000。目前中国牙医人口比例不到1:8000，远低于其他国家水平和WHO建议值。其中对于北上广这些东部发达地区，口腔医疗发展很快，医生的拥有量明显提高，像北京市区的口腔医生和居民比例大约是1:2000，和发达国家差不多，但是到郊区就仅有1:8000，到西部就是1:20000 或1:30000。

此外，即使在公信力较高的公立口腔医疗机构，由于病人量远超正常负荷，医生工作量大，并且医生水平存在差异，有些症状较为隐蔽的龋齿也容易被漏诊或误诊。因此，如果可以借助人工智能 (Artificial Intelligence，AI)的技术对全景片进行预先的判读，自动分割出龋齿位置以及分析出龋齿的严重程度，则可以提高龋齿诊断的效率、精确性，减少漏诊误诊。

发明名称为基于深度学习的口腔全景片龋齿深度识别方法，公开号为CN111784639A，公开日期为2020-10-16；专利记载了基于深度学习的口腔全景片龋齿深度识别方法，该方法先利用阈值分割方法提取龋齿区域，再利用训练好的卷积神经网络提取目标区域的高维特征，进行龋齿深度自动识别。

发明名称为一种快速检测龋齿的检测装置及其方法，公开号为 CN108460762A，公开日期为2018-8-28；专利记载了一种快速检测龋齿的检测装置及其方法，该方法的输入为检测装置拍摄的口腔图片，先对图片进行灰度化和直方图均衡化，并进行灰度线性变换后增强对比度。而后又进行二值化和中值滤波得到二维滤波图像，再通过形态学处理、Canny边缘检测得到分割后的图像。最后利用连通域法截取牙齿图片重点区域，通过识别图片中牙齿颜色的不同，进而确定初步龋齿区域，再根据龋齿区域与牙齿图片的大概面积比例计算出更精确的面积。

发明名称为基于深度学习的全景片龋病识别的方法和装置，公开号为CN109948619A，公开日期为2019-6-28；专利记载了基于深度学习的全景片龋病识别的方法和装置，该方法先将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果，再确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块，最后将所述牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果。

现有技术在对龋齿的分割问题上，未能有针对性的深度学习方法来提高龋齿分割精度，以及对于龋齿严重程度的智能识别这部分内容也未有较深研究，并且目前的方法对于龋齿边界较为模糊问题也没有对应的解决方案，导致提取出的龋齿特征不够具有代表性，进而导致龋齿分割结果和识别效果较差。

发明内容

为了克服已有技术现有技术在遇到较为复杂的情况时无法利用复杂情况中常见的部分特征进行龋齿语义分割以及分割边界不准确的不足,本发明提供了一种基于深度边界监督的牙齿全景片龋齿识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于深度边界监督的牙齿全景片龋齿识别方法，包括以下步骤：

步骤S1、将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图F

步骤S2、将深度特征图F

步骤S3、将深层特征图F

进一步，所述步骤S1中，将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图F

步骤1.1、将牙齿全景片I输入至卷积核大小为3*3的扰动卷积层卷积，得到跳跃连接特征图S

步骤1.2、将特征图F

步骤1.3、将特征图F

步骤1.4、将特征图F

步骤1.5、将特征图F

再进一步，所述步骤S2中，将深度特征图F

步骤2.1、将深度特征图F

步骤2.2、将V

步骤2.3、根据阈值和P

步骤2.4、将V

步骤2.5、根据阈值和P

步骤2.6、将V

更进一步，所述步骤S3中，将深层特征图F

步骤3.1、将特征图F

步骤3.2、将特征图

步骤3.3、将特征图

步骤3.4、将特征图

步骤3.5、将特征图F

所述扰动卷积层包括两组卷积核大小为3*3的卷积层、特征图扰动操作、批量归一化层和激活层。

所述基于边界监督的扰动卷积块，处理过程包括：

(1)将输入特征图输入扰动卷积层，得到跳跃连接特征图S；

(2)将特征图S使用卷积核大小为1*1的卷积层进行卷积，得到特征图f

(3)将特征图S使用卷积核大小为3*3的卷积层进行卷积，得到特征图f

(4)将特征图S使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f

(5)将特征图S使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f

(6)将特征图S使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f

(7)将特征图f

(8)将特征图f

(9)通过计算F＝(1+B)×S，并通过池化后得到用以输入下一层的特征图F。

进一步的，所述阈值为0.5。

所述基于边界监督的普通卷积块，处理过程为：

(1)将输入特征图输入普通卷积层，得到特征图F；

(2)将特征图F使用卷积核大小为1*1的卷积层进行卷积，得到特征图f

(3)将特征图F使用卷积核大小为3*3的卷积层进行卷积，得到特征图f

(4)将特征图F使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f

(5)将特征图F使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f

(6)将特征图F使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f

(7)将特征图f

(8)将特征图f

(9)通过F＝(1+B)×S对特征图F进行更新，并通过两倍上采样后得到用以输入上一层的特征图F。

所述普通卷积层包括两组卷积核大小为3*3的卷积层、批量归一化层和激活层。

所述特征图扰动操作，利用如下公式实现对特征图的扰动；

其中x

本发明的有益效果主要表现在：一方面通过在特征提取过程中同时提取图片的边界信息，再通过深度监督对每一个提取出的边界分割图进行监督学习，使得模型对边界特征提取能力增强。另一方面通过将提取出的边界分割图作为注意力权重对特征图进行附加，增强了对龋齿区域特征的学习，最终使得龋齿分类效果更加准确、分割结果更加精确。

附图说明

图1是本申请基于深度边界监督的牙齿全景片龋齿识别方法流程图；

图2是本申请实施例网络结构示意图；

图3是本申请的扰动卷积块结构示意图；

图4是本申请的基于边界监督的扰动卷积块结构示意图；

图5是本申请的基于边界监督的普通卷积块结构示意图；

图6是本申请的普通卷积块结构示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图6，一种基于深度边界监督的牙齿全景片龋齿识别方法，包括以下步骤：

步骤S1、将牙齿全景片I输入至编码模块进行特征编码，得到深度特征图F

本申请所述将牙齿全景片I进行特征编码，得到深度特征图F

步骤1.1、将牙齿全景片I输入至卷积核大小为3*3的扰动卷积层卷积，得到跳跃连接特征图S

步骤1.2、将特征图F

步骤1.3、将特征图F

步骤1.4、将特征图F

步骤1.5、将特征图F

如图2所示，本申请编码模块包括三个基于边界监督的扰动卷积块。在其他的实施例中，编码模块也可以采用其他结构，例如采用两个或者四个基于边界监督的扰动卷积块的结构。

本申请使用基于边界监督的扰动卷积块后得到的深层特征图相比较于未使用的特征图对目标边界特征的识别能力更强，有助于提高网络的分类效果和分割精度。

其中，所述扰动卷积层，如图3所示，包括两组串接的卷积核大小为3*3的卷积层(conv3*3)、特征扰动、批量归一化层(BN)和激活层(ReLU)。

首先通过卷积层对输入特征图进行计算，然后特征扰动操作实现对特征图的扰动，再进行批量归一化和ReLU激活层处理，接着通过第二组卷积层、特征图扰动操作、批量归一化和ReLU激活层，最后输出处理后的特征图。

所述特征图扰动操作，利用如下公式实现对特征图的扰动；

其中x

需要说明的是，本申请所述扰动卷积层的卷积核大小为3*3，根据需要还可以设置为5*5，或7*7。

本申请所述基于边界监督的扰动卷积块，如图4所示，处理过程如下：

(1)将输入特征图输入扰动卷积层，得到跳跃连接特征图S；

(2)将特征图S使用卷积核大小为1*1的卷积层进行卷积，得到特征图f

(3)将特征图S使用卷积核大小为3*3的卷积层进行卷积，得到特征图f

(4)将特征图S使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f

(5)将特征图S使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f

(6)将特征图S使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f

(7)将特征图f

(8)将特征图f

(9)通过计算F＝(1+B)×S，并通过池化后得到用以输入下一层的特征图F。

需要说明的是，本申请所述基于边界监督的扰动卷积块中除了扰动卷积层外卷积层一共有6个，根据需要还可以设置为不同的个数。

步骤S2、将深度特征图F

本申请所述将深度特征图F

步骤2.1、将深度特征图F

步骤2.2、将V

步骤2.3、根据阈值和P

步骤2.4、将V

步骤2.5、根据阈值和P

步骤2.6、将V

需要说明的是，本申请所用阈值为0.5，根据需要还可以设置为不同的值。

步骤S3、将深层特征图F

本申请所述将深层特征图F

步骤3.1、将特征图F

步骤3.2、将特征图

步骤3.3、将特征图

步骤3.4、将特征图

步骤3.5、将特征图F

本申请所述基于边界监督的普通卷积块，如图5所示，处理过程如下：

(1)将输入特征图输入普通卷积层，得到特征图F；

(2)将特征图F使用卷积核大小为1*1的卷积层进行卷积，得到特征图f

(3)将特征图F使用卷积核大小为3*3的卷积层进行卷积，得到特征图f

(4)将特征图F使用卷积核大小为3*3，空洞率为2的空洞卷积层进行卷积，得到特征图f

(5)将特征图F使用卷积核大小为3*3，空洞率为4的空洞卷积层进行卷积，得到特征图f

(6)将特征图F使用卷积核大小为3*3，空洞率为6的空洞卷积层进行卷积，得到特征图f

(7)将特征图f

(8)将特征图f

(9)通过F＝(1+B)×S对特征图F进行更新，并通过两倍上采样后得到用以输入上一层的特征图F。

需要说明的是，本申请所述基于边界监督的普通卷积块中除了普通卷积层外卷积层一共有6个，根据需要还可以设置为不同的个数。

本申请所述普通卷积层，如图6所示，包括两组串接的卷积核大小为3*3的卷积层(conv3*3)、批量归一化层(BN)和激活层(ReLU)。

首先通过卷积层对输入特征图进行计算，然后进行批量归一化和 ReLU激活层处理，接着通过第二组卷积层、批量归一化和ReLU激活层，最后输出处理后的特征图。

同样的，本实施例中普通卷积层的卷积核大小为3*3，根据需要还可以设置为5*5，或7*7。

需要说明的是，本申请中C为通道数，H为图片的高度，W为图片的宽度，字母的下标表示序号，用以区别不同特征图的维度。

本申请通过深度边界监督，直接学习到分割区域边界的特征，能够更为容易找到分割区域边界，提高了边界不清晰的龋齿图像的分割效果。对于龋齿图像，龋齿内的两部分区域可能会在特征上存在较大差异，容易将这两部分识别为两类语义区域。同理，部分龋齿图像不同语义区域内图像特征会存在较大相似性，易于将这两部分识别为一类语义区域。而通过学习边界信息，能够更好的找到正确的语义边界，既可以很好的解决龋齿边界分割不准确的问题，又可以提高龋齿分类的效果。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。