一种基于卷积神经网络的口腔龋病图像智能识别方法

摘要

本发明涉及一种基于卷积神经网络的口腔龋病图像智能识别方法。该方法采用了两种图像处理方式用于增强特征信息，在通过前期预处理后，再利用Matlab使用深度卷积神经网络的方式实现训练。训练使用的网络为已经学习了大量数据的网络，训练时对网络进行微调后使用迁移训练的方式完成训练。通过训练过程中得到的参数判断，使用边缘提取预处理的图像训练得到的网络识别率相较另外两种更为优秀。最后，通过使用Matlab实现了相应的图形界面，可以完成图像的载入，预处理和区域建议，图像的保存等任务，更易于使用。

说明书

技术领域

本发明涉及人工智能图像处理领域和牙齿龋检测领域，具体涉及一种基于卷积神经网络的口腔龋病图像智能识别方法。

背景技术

口腔龋病是最常见的口腔疾病。不完全统计显示，目前中国有40％至60％的人患有口腔龋齿，但程度不同。50％至80％的人患有牙周疾病。此外，还有30％-50％的牙齿畸形患者。60岁以上的人中有90％以上患有各种口腔疾病。因此需要有效的口腔疾病预防方法来发展龋病医学图像的智能辅助诊断。

当今时代人们越来越追求高功能的口腔护理装备和计算机辅助系统。在治疗口腔时，大多数必需的设备应包括治疗设备上。支持软件必须具有易于使用的界面和强大的功能。各种图像机器的图像获取、不断出现的新技术以及跨学科的交融，不断提高了对口腔智能辅助的要求。

诊断口腔疾病的传统方法是使用压舌器和手电筒来识别口腔中的牙齿病变，并根据医生的临床经验进行诊断。由于口腔环境受光照条件的影响，观察结果可能会产生偏差，导致误诊，引起治疗不当。近年来，深度学习吸引了关注，例如图像对象的识别分类。在向医生提供有效的补充诊断信息方面，智能图像处理技术变得越来越重要。因此吸引了越来越多的人研究计算机辅助诊断。

为了提高辅助诊断系统的准确性，必须简化和优化计算机辅助诊断技术的特征选择过程。在如今，借助深度学习可以大幅度提高辅助诊断能力。

经验和人眼检视的有别于现代智能诊断的方法，意味着也许会导致漏诊，甚至更可能发现误诊的状况。因此为了精确的诊断口腔疾病，设计或选定算法并编程实现。本发明针对龋齿 x-ray 图像进行图像处理，根据创建的神经网络观察龋齿患者的 x 光图片扫描进行正常和疾病分类的准确性，进行基于口腔龋病的医学图像智能辅助诊断，以及实现牙齿图片的加噪、去噪、加强、图像边缘提取和图像分割功能的界面。

发明内容

本发明的目的在于提供一种基于卷积神经网络的口腔龋病图像智能识别方法，该方法识别效率高，识别准确度高。

为实现上述目的，本发明的技术方案是：一种基于卷积神经网络的口腔龋病图像智能识别方法，包括如下步骤：

步骤S1、数据样本采集：收集实际医院临床若干病例口腔样本模型，制作成牙齿模型并进行拍照，得到样本照片数据集；

步骤S2、对采集的口腔样本照片进行标记：样本照片数据集中的口腔样本照片可分为两种类型，分别是已龋坏、未龋坏，将口腔样本照片标注为不同类型，进而得到分类后的口腔样本照片，随后建立数据集并对龋坏区域进行标记；

步骤S3、数据的预处理与图像叠加：口腔样本照片预处理需进行去噪操作，利用高斯滤波和中值过滤方法，结合TV 法与梯度下降法，建立各向异性扩散完全涨落模型，随后将去噪后的图像进行图像增强；

步骤S4、模型定义：选择cifar10Net的神经网络模型对训练集进行训练；

步骤S5、对网络进行微调，再对数据集进行迁移学习，同时修改训练策略参数；

步骤S6、迭代，将训练好的神经网络保存并分析训练结果。

在本发明一实施例中，在步骤S6之后，通过Matlab实现相应的图形界面建立。

在本发明一实施例中，步骤S2中，建立数据集并对龋坏区域进行标记，即采用人工进行标记，框选需要标识的龋坏区域，在同一张图片中可以有一个或者多个任意或者相同种类的标识框。

在本发明一实施例中，步骤S3中，高斯滤波操作中使用模板扫描图像的像素，将中间像素值替换为相邻像素的加权平均灰值，并且由模板确定。

在本发明一实施例中，步骤S3中，中值过滤操作采用统计排序过滤器，即对相应像素附近的所有像素进行排序，然后获取像素附近中心的像素中值。

在本发明一实施例中，步骤S3中，采用P-M 方程的降噪，P-M方程将图像的各有不相同的范围的特性和发散过程联系在一起，并且方向扩散系数不是绝对不变，其改变取决于图像的渐变系数，如此利于消除噪声并防止边缘变得平滑。

在本发明一实施例中，步骤S3中，图像增强中的图像叠加环节，在载入图像后将原图片设置为全局变量，随后进行图片处理，将边缘提取后的图像与原图像进行图像叠加，然后在此图像上进行龋坏区域标记。

在本发明一实施例中，步骤S4中，cifar10Net共有15层，其中卷积层有3层，全连接层有2层。

在本发明一实施例中，步骤S5中，训练策略参数的修改中，将初始学习率设置为0.0001。

在本发明一实施例中，该方法提供一基于卷积神经网络的口腔龋病图像智能识别系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述所述的方法步骤。

相较于现有技术，本发明具有以下有益效果：

（1）本发明方法，通过研发计算机自动化识别牙齿龋区域的产品，能减少专业人员在识别牙齿龋坏区域的难度，提升识别效率，提高识别准确度。

（2）本发明方法，相比于其他方法，通过高层特征的提取，提高识别能力，得到了相对而言更为优秀的训练集合，尽量避免龋坏区域没有被识别的情况发生。

（3）本发明方法，得到的网络模型更容易使用，通过 Matlab 建立了图形界面，使其的使用变得更直观容易。

本发明的其它优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

图1是本发明一种基于卷积神经网络的口腔龋病图像智能辅助诊断方法的软件界面图；

图2是本发明一种基于卷积神经网络的口腔龋病图像智能辅助诊断方法的流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供了一种基于卷积神经网络的口腔龋病图像智能识别方法，包括如下步骤：

步骤S1、数据样本采集：收集实际医院临床若干病例口腔样本模型，制作成牙齿模型并进行拍照，得到样本照片数据集；

步骤S2、对采集的口腔样本照片进行标记：样本照片数据集中的口腔样本照片可分为两种类型，分别是已龋坏、未龋坏，将口腔样本照片标注为不同类型，进而得到分类后的口腔样本照片，随后建立数据集并对龋坏区域进行标记；

步骤S3、数据的预处理与图像叠加：口腔样本照片预处理需进行去噪操作，利用高斯滤波和中值过滤方法，结合TV 法与梯度下降法，建立各向异性扩散完全涨落模型，随后将去噪后的图像进行图像增强；

步骤S4、模型定义：选择cifar10Net的神经网络模型对训练集进行训练；

步骤S5、对网络进行微调，再对数据集进行迁移学习，同时修改训练策略参数；

步骤S6、迭代，将训练好的神经网络保存并分析训练结果。

在步骤S6之后，通过Matlab实现相应的图形界面建立。

以下为本发明的具体实现过程。

如图1所示，本发明方法对应系统开发工具选择了Matlab自带的GUIDE。GUIDE提供完整的图形界面api以及图形化开发界面。可以快速构建所需的图形界面并运行在 Matlab环境下。

GUIDE提供了可视化的开发界面，可以图形界面添加，修改和删除控件，并提供了快速跳转至控制函数界面的方式，通过对GUIDE的使用，减少了图形界面开发的时间，提升了效率。

在开发应用前，先设定了一套使用逻辑，在载入图像后，可以从三个方式获得区域建议，三种方式分开处理，互不干涉互不影响，并可以在获得最终三种区域建议后将图像保存，利于后期重新查看。还可以载入对应的手工标记图像用于对比测试已经训练好的网络的性能。

对于数据的处理流程，为了避免混乱，仅将原图片设定为全局变量，将经过预处理后的图像分别存储于特定文件夹，互不影响互补干涉，在后期进行识别时作为一个函数的局部变量重新读入。在误操作后如读入其他图片，关闭应用后仍然可使用上一张已经经过处理的图片进行识别。并且可以手动导出已经处理的图片用于其他操作。

图形界面可读入图片，得到对应图像，默认的图片读入格式为bmp，同时也可采用jpg文件进行预测。应用仅可使用灰度图，如果使用彩色图片则在图像叠加时产生错误。如若使用的图片为jpg格式，需要使用提供的功能将图片转化为bmp格式后读入默认文件夹中的’gray.bmp’图片再进行下一步操作。点击相应按钮后，通过图形处理和识别得到最终结果，将结果展示于图形界面，并能将最终识别结果以及识别过程中得到的图片分别保存于picture_save和Temporary两个文件夹中。

如图2所示，本发明提供一种基于卷积神经网络的口腔龋病图像智能识别方法，其包括以下步骤：

步骤1，数据样本采集，收集实际医院临床若干病例口腔样本模型，制作成牙齿模型并进行拍照，所述数据集即所得到的样本照片；

步骤2，对采集的样本照片进行人工标记，数据集中的样本可分为两种类型，分别是已龋坏或未龋坏，同时将所述照片样本标注为不同类型，进而得到已分类的样本，随后自行建立数据集并手动对龋坏区域进行标记；

在步骤2中，标记样本需自行建立数据集并手动对龋坏区域进行标记，方法采用人工进行标记，手动框选需要标识的区域，在同一张图片中可以有一个或者多个任意或者相同种类的标识框，标识框也可以重叠，这不会影响后续识别；

步骤3，数据的预处理与图像叠加，口腔图片预处理需进行去噪操作，利用高斯滤波和中值过滤方法，结合TV 法与梯度下降法，建立各向异性扩散完全涨落模型，随后将去噪后的图片进行图像增强；

在步骤3中，预处理中，高斯滤波的特定操作使用模板扫描图像的像素，将中间像素值替换为相邻像素的加权平均灰值，并且由模板确定；

中值过滤是一种统计排序过滤器，它对附近的所有像素进行排序，然后获取附近中心的像素的中值；

采用P-M 方程的降噪，PM公式将图片图像的各有不相同的范围的特性和发散过程联系在一起，并且方向扩散系数不是绝对不变的，它可能会改变，但取决于图像的渐变系数，这有助于消除噪声并防止边缘变得平滑；

在图像叠加环节，在载入图像后并将原图片设置为全局变量，随后进行图片处理，并将边缘提取后的图像与原图像进行图像叠加，然后在此图像上进行龋坏部分自动标记，使特征值更明显，更适合后续操作；

步骤4，模型定义，选择Cifar10Net的神经网络模型对训练集进行训练；

在步骤4中，Cifar10Net网络共有15层，其中卷积层有2层，全连接层有2层，相对饱和函数而言能在更少的迭代次数中得到相同的效果；

步骤5，对网络进行微调，再对本数据集进行迁移学习，同时修改训练策略参数；

在步骤5中，训练策略参数的修改，经过多次测试后，发现若初始学习率为 0.001则在迭代后有可能会越过全局最小而跌入局部最小值导致 loss 值会保持在一个较高水平，导致不能获得预期的效果，将初始学习率设置为0.0001更加合适；

步骤6，迭代，将训练好的神经网络保存并分析训练结果；

在步骤6中，随着迭代次数增加，系统的拟合度也会不断提高，loss 值下降速率也将变慢，最后趋于在一个值的附近。在最后几次迭代时，loss 值已经稳定在 0.00005 左右的范围内。通过对实验数据的分析可以得出结论，在神经网络结构不变，使用当前训练策略训练原始图像数据集的情况下，最后训练的到的网络的 loss 大约是 0.00005，再增加迭代次数对效果的提升不大继续增加迭代次数反而有可能导致过拟合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。