一种基于深度神经网络的侧位片智能头影测量方法

摘要

本本发明公开了一种基于深度神经网络的侧位片智能头影测量方法，涉及侧位片图像数据的处理技术领域，为了解决现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题，本发明包括以下步骤：数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；构建端到端模型：包括构建编码器模块、构建关系推理模块、构建解码器模块；端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；基于训练好的端到端模型进行标志点检测和头影测量分析。本发明可以学习到更多的空间信息，通过构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级。

说明书

技术领域

本发明涉及侧位片图像数据的处理技术领域，更具体的是涉及一种基于深度神经网络的侧位片智能头影测量方法技术领域。

背景技术

头影测量分析是评估牙齿发育，治疗效果和面部美观程度的基本操作，头影测量分析是口腔医学非常重要的一步，特别是正畸科医生的一个主要工作之一，智能头影测量的关键步骤包括图像获取、智能定点、设置标尺、生成测量、生成报告，智能主要体现在智能定点模块；具体来说，正畸科医生的任务是确定颅颌面部的解剖学标志的位置，然后借助头颅测量技术设计治疗计划，当前的人机交互软件可以自动执行头影测量，但是正畸科医生进行人工定位的工作非常耗时，因此研究高分辨率头颅X射线图像中的智能定点将有助于临床正畸科医生进行头影测量分析，口腔医学在临床上迫切需要高分辨率医学图像中的智能头影测量分析方法。

现有技术中侧位片智能定点分析已经在最近几年被广泛研究，基于机器学习的方法成为主流方法，目前使用较多的一类机器方法是随机森林，通过使用随机森林方法，能够组合一组标志点特征来创建候选标志点检测器，通过具有最大的检测器响应的图像像素用来标识标志点，这种方法依靠标志点之间的空间关系来选择最终的候选点，随机森林也已用于建模标志点子集之间的空间关系；另外，还有通过基于形状和外观的标志点优化的博弈方式优化标志点检测算法，基于外观的标志点优化检测结合了全局和局部强度信息，以实现更准确的检测；目前，已经有人提出了两个阶段优化的框架，其中随机森林就用于第一阶段的训练步骤，他们分别训练了19个标志点探测模型，然后在第二阶段，使用了先前的形状约束来纠正标志点位置，使用随机森林来计算一组提取特征上每个地标的可能性，然后他们使用图片结构算法使用成对正则项对成本函数进行全局优化，这种方法能够获得较高的性能。

其他还有一些传统机器学习方法能够提高标志点检测的性能。例如，通过训练多个随机森林模型，对候选标志点位置进行投票，并基于回归投票结果，优化投票的总体标志点位置，该方法还被应用在受约束的局部模型框架中，作为全自动标志点检测系统的一部分，由于统计的形状模型与标志点的预测相匹配，确保了预测结果的一致性，另外也有一种基于树结构的检测算法，称为极度随机森林法，该方法结合了基于像素的简单的多分辨率特征，为了解决数据不平衡的学习问题，他们随机采样了局部点进行图像的训练，通过学习了每个标志点周围40毫米周围的观察结果；最近有学者提出了一种数据驱动的标志点检测方法，该方法联合估算了所有侧位片的位移，以估计侧位片图像的标志点位移，他们将位移估计概念化为凸优化问题，并考虑了测试集上的几何约束，该方法能够一定程度提高检测性能。

近年来，标志点检测方法中广泛使用了深度卷积神经网络模型，与传统的机器学习方法不同，深度卷积神经网络模型是在原始的未做任何处理的侧位片图像上进行模型的训练，而不是在人工设置的特征集上训练的，卷积神经网络模型一般使用热图回归的方式进行多个标志点的定位，他们通过回归热图而不是使用滑动窗口方法来生成多个标志点候选，来对单个卷积神经网络模型进行端到端的训练；热图回归的方法还广泛用于类似的相关任务中，大量的文献研究表明，热图回归是一种有效的侧位片标志点智能检测方法，另外通过将空间配置整合到热图回归中来优化该方法，采用全卷积结构进行预测，其中一个组件用来生成候选标志点，而另一个组件通过合并标志点的空间配置来提高模型的鲁棒性，卷积神经网络模型也可以直接用来回归标志点位置，用来定量的估计下颌和颅底区域的病理轮廓。

最近的一些方法已经建立了特定的神经网络模块，这些模块配置在深度神经网络模型中以提高侧位片标志点检测的性能，一种带有注意力机制的特征金字塔融合模块被提出来配备在深度卷积神经网络模型中，以在语义上增强融合特征并显式塑造高分辨率的输入，通过将偏移量地图作为多个模块投票进行回归学习，并使用逐像素投票来选择最可能的标志点位置；一种基于Faster R-CNN的卷积神经网络结构也被用于头影标志点检测，最新的研究成果中，多任务学习和多尺度训练策略也被用来减少类别内部变化并检测出具有较小误差的标志点，另外通过异常检测删除错误检测的标志点也对于结果的修正非常重要。

头影测量分析是以测量分析指标为导向的，这些指标由经典可靠的分析法决定，通常定位出的颅颌面部标志点最终用来进行头影测量分析，分析方法常见的如华西综合分析法（WCCA）、Tweed分析法和Downs分析法等，分析法中除了计算了标志点的位置信息外，还包括标志点间的距离、角度等潜在关系，下颌骨、上颌骨、牙齿、颅骨基底和颅骨区域之间有七种类型的相关关系；例如，颅骨基底角由前颅骨基底面和后颅骨基底面之间的角度组成，反映了前颅骨基底面和后颅骨基底面之间的相互位置关系，并且多个测量指标使用各个标志点来说明各种组织结构或其解剖学形式之间的相互关系，测量值可以反映出这些标志点在整个解剖结构中的关系，目前的基于深度学习的标志点检测方法只考虑了标志点的位置信息，具体分为高斯热图回归和偏移量回归两类方法；然而这些方法没有考虑标志点之间潜在的空间依赖关系，同时由于角度型测量指标和距离型测量指标的差异性，标志点的误差无法直观的反应到测量指标的误差，因此头影测量方法中存在空间信息缺失的问题。

已有的头影测量方法将所有标志点优先级归为同一等级考虑，这是不理想的，如说明书中表1列出了三种常见的X线头影测量分析方法中每个标志点的使用次数，这三种分析法分别是WCCA、Tweed和Downs分析法，该表显示在这三种分析法测量指标中共计18次被使用到，因此标志点N显然是最经常被使用的点，同样的标志点Or、Po、LI、Go、Gn、S、Pog、UI和A都被三种方法的测量指标所广泛使用，而一些标志点（Ar、SPr、Id、G、Si、Gns、Mes、C）则未被上述三种方法的任何一种方法使用；在此基础上，还有经常使用的基准线或基准平面所使用的标志点，基准线或基准平面在口腔正畸中十分重要，常被用于指示关键解剖结构和相对关系。基准线或基准平面中所使用到的标志点见说明书中的表3，表3中的缩写对应的基线见表5；说明书中的表2显示了基准线或基准平面中各个标志点的使用次数统计，可以发现标志点N依旧被频繁使用，其它如Pog和LI在说明书中的表1中也是被高频使用的标志点，在常见的分析法中，优先级高的标志点被广泛应用在各项测量分析指标中，目前已有的智能定点方法基本没有考虑到标志点的优先级问题，因此头影测量方法中存在标志点优先级缺失的问题。

综上，现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题。为解决该技术问题，我们特别提出了一种基于深度神经网络的侧位片智能头影测量方法。

发明内容

本发明的目的在于：为了解决现有技术中头影测量方法中存在空间信息缺失和标志点优先级缺失的问题，本发明提供一种基于深度神经网络的侧位片智能头影测量方法，通过关系推理模块来融合成对的标志点间的潜在关系特征，在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息；构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级，从而能更快速、准确和智能化地进行头影测量分析。

本发明为了实现上述目的具体采用以下技术方案：

一种基于深度神经网络的侧位片智能头影测量方法，包括以下步骤：

数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；

构建端到端模型：先进行侧位片图像特征提取，再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，然后构建关系推理模块用于推断出标志点关系的存在和含义，接着构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度；

侧位片图像特征提取中，在提取的不同标志点的潜在特征图的基础上，将每两个标志点的特征图和所有标志点的整体特征图进行拼接，然后形成统一的表达来学习到标志点间的空间关系，设标志点共计n个，标志点检测模型使用统一的网络骨架进行图像特征的提取，并根据以下公式进行计算：

其中，

标志点优先级计算中，通过统计不同标志点在三个主流的头影测量分析法中的应用，通过使用次数来标识标志点的优先级，然后通过归一化处理来构建隐藏层，将

其中，括号内

构建编码器模块中，数据准备好后，编码器模块以准备好的侧位片图像作为其输入，并将侧位片图像进行缩放处理，这个适当的分辨率为低于640的分辨率，通过编码器提取侧位片图像的热图特征和整体几何表征，并将热图特征和整体几何表征输入关系推理模块中以捕捉潜在的标志点关系；

构建关系推理模块中，关系推理模块由一个具有整流线性单位函数的四层轻量级CNN和一个三层轻量级CNN构成，四层轻量级CNN用于将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来，得到一个单通道关系特征图；三层轻量级CNN以所有经过优先级处理拼接后的单通道关系特征图为输入，将输入进行卷积处理，输出单通道聚合特征图，并将单通道聚合特征图用作上采样解码器的输入。

构建解码器模块中，解码器模块由轻量级卷积神经网络组成，解码器模块使用随机梯度下降法进行优化，在上采样解码器阶段，一个基于双线性插值的平均上采样层被用来生成上采样特征图，在下采样编码器阶段，通过对输入侧位片图像进行卷积特征提取，生成下采样特征图，相应的下采样特征图和上采样特征图被连接起来。

端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；端到端模型的训练包括损失函数计算和参数设置与更新；

损失函数计算中，通过优化图像上的位置、空间和测量指标的损失函数，共同训练出端到端模型，其中，损失函数分为三个部分，表达式如下:

其中，

所有标志点位置的热图回归损失函数

其中，

角度型测量指标的回归损失函数

其中，

距离型测量指标的回归损失函数

其中，

基于训练好的端到端模型进行标志点检测和头影测量分析；

基于训练好的模型进行标志点检测和头影测量分析中，具体包括如下步骤：

给定测试图像，将图像按照一定的比例缩小、裁剪和旋转；

将所有编码器模块生成的热图两两组合，再额外给每一个关系对拼接一个整体高斯热图特征；

拼接好之后的所有关系组合都作为关系推理模块的输入，并得到学习到的标志点的所有

上采样解码器接收输入单通道聚合特征图 C，生成预测的高斯热图，对生成的高斯热图求掩码区域的最大值来确定标志点的位置；

根据模型预测的标志点位置计算头影测量指标。

本发明的有益效果如下：

（1）本发明中通过关系推理模块来融合成对的标志点间的潜在关系特征，在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息；构建关系推理网络模块的隐藏层时充分考虑检测标志点的优先级，从而能更快速、准确和智能化地进行头影测量分析。

（2）本发明中通过该方法提高了关键标志点的准确性，同时保持了非关键标志点的准确性。

（3）本发明中将关系推理模块引入X线头影测量中，以确定标志点的潜在关系，并提高测量性能。

（4）本发明中该方法具有强大的鲁棒性，在多个数据集上进行了验证，证明了本发明的方法比基准方法具有更强大的性能。

附图说明

图1为本发明的流程图；

图2为本发明构建端到端模型的简图；

图3为本发明关系推理模块的简图；

图4为本发明全部标志点的预测结果对比的折线图；

图5为本发明关键标志点的预测结果对比的折线图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

实施例

如图1所示，本实施例提供一种基于深度神经网络的侧位片智能头影测量方法，包括以下步骤：

数据准备：导入侧位片图像的数据并对侧位片图像的数据进行标定，以及对侧位片图像的数据划分和预处理；深度神经网络方法需要大量的数据用于训练，因此首先需要准备好数据用于模型的训练，本发明使用的方法是一种端到端深度神经网络侧位片智能头影测量方法，因此在数据准备阶段需要对训练数据进行标定，对于每一例侧位片图像，都由多名正畸专家交叉进行标定，对于有争议的标志点位置，本发明不采用该结果，标定的工作在每一个侧位片图像上完成，口腔正畸医生标注时间平均一例30分钟；对于有重影的侧位片，标志点标注在中心点位置，本发明要求标注数据500例以上，并将数据按照比例划分为：70%用于模型训练，15%用于模型验证，15%用于模型测试；

不同仪器不同环境采集得到的侧位片图像在像素间隔，图像对比度等方面有很大的不同，本步骤通过线性插值、数值归一化的手段预处理侧位片图像，来得到各方面一致的数据，该步骤能够使得后续检测的步骤中侧位片图像的空间信息和强度信息保持一致，并保证了后续机器学习步骤能提取到有用的特征，获得更好的效果。

如图2-图3所示，构建端到端模型：先进行侧位片图像特征提取，再构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，然后构建关系推理模块用于推断出标志点关系的存在和含义，接着构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度。

图2-图3中I，I/4，I/8…表示特征图大小相对于输入特征图大小的比率，假设原图大小为576*512，I 则表示和原图大小相当，I/4表示是原图的1/4，I/8表示是原图的1/8…以此类推，Softargmax是指的一种过程可导的指数归一化函数，图3中的省略点表示多个四层轻量级CNN和关系对，

侧位片图像特征提取中，给定一张侧位片图像，本发明的目的是为了自动检测标志点，然后生成对应分析法的测量指标，本发明考虑到标志点间的空间关系，在提取的不同标志点的潜在特征图的基础上，将每两个标志点的特征图和所有标志点的整体特征图进行拼接，然后形成统一的表达来学习到标志点间的空间关系，设标志点共计n个，标志点检测模型使用统一的网络骨架进行图像特征的提取，并根据以下公式进行计算：

其中，

标志点优先级计算中，本发明考虑到标志点的优先级问题，通过统计不同标志点在三个主流的头影测量分析法中的应用，通过使用次数来标识标志点的优先级，然后通过归一化处理来构建隐藏层，这种设计能够让模型在训练阶段对关键的标志点学习更容易收敛，最终的关键标志点的定位效果也会更好，具体来说，将

其中，括号内

表1 为标志点在三种常用的分析方法中被使用的次数

表2 为标志点在基准线中被使用的次数

表3 为华西综合分析法、Tweed分析法和Downs分析方法中使用的基线定义

表4为表1中标志点名称的对照表

表5为表3中基线名称的对照表

构建编码器模块用于生成整体热图和所有标志点热图的骨干网络，编码器使用ResNet结构作为主干神经网络，数据准备好后，编码器模块以准备好的侧位片图像作为其输入，并将侧位片图像进行缩放处理，通过编码器提取侧位片图像的热图特征和整体几何表征，并将热图特征和整体几何表征输入关系推理模块中以捕捉潜在的标志点关系，编码器获得四个不同大小的特征图，通过对这些特征图进行1 x 1卷积，得到四个特征图，上述提到的“适当的分辨率”指低于640的分辨率；

构建关系推理模块用于推断出标志点关系的存在和含义，并且标志点的先后顺序对关系推理不产生影响，关系推理模块由一个具有整流线性单位函数（ReLU）的四层轻量级CNN和一个三层轻量级CNN构成，四层轻量级CNN的目标是将由第i个标志点热图特征Oi、第j个标志点热图特征Oj和内嵌的整体热图特征H组成的三通道特征图卷积起来，得到一个单通道关系特征图，三层轻量级CNN以所有经过优先级处理拼接后的单通道关系特征图为输入，将输入进行卷积处理，输出单通道聚合特征图，并将单通道聚合特征图用作上采样解码器的输入；此外H是通过对所有n个热图进行叠加起来编码，由此学习到的标志点的所有n×(n-1)个关系描述了标志点以及它们与其他标志点的相互作用，并被作为网络下一部分（三层轻量级CNN）的输入，在那里学习组合标志点关系；

构建解码器模块用于利用所有标志点的位置和空间信息，选择核心的关键标志点提高优先级以提升预测精确度，解码模块与编码器类似，均由轻量级卷积神经网络组成，解码器模块使用随机梯度下降法进行优化，在上采样解码器阶段，一个基于双线性插值的平均上采样层被用来生成上采样特征图，在下采样编码器阶段，通过对输入侧位片图像进行卷积特征提取，生成下采样特征图，同时相应的下采样特征图和上采样特征图被连接起来。

端到端模型的训练：优化侧位片图像上的位置、空间和测量指标的损失函数，得到训练好的模型；端到端模型的训练包括损失函数计算和参数设置与更新；

损失函数计算中，通过优化图像上的位置、空间和测量指标的损失函数，共同训练出端到端模型，其中，损失函数分为三个部分，表达式如下:

其中，

所有标志点位置的热图回归损失函数

其中，

角度型测量指标的回归损失函数

其中，

距离型测量指标的回归损失函数

其中，

参数设置与更新中，本发明主要使用的硬件是12GB显存的NVIDIA Titan XP GPU，采用了比例系数在0.5和1之间的随机裁剪方法，用于数据增广，使用动量为0.92的随机梯度下降法进行训练，学习率被初始化为0.15，并以0.96的系数进行指数衰减，权重衰减值为1e3，模型参数每 8 个批量更新一次，总的模型训练周期设置为200，每经过一个迭代周期学习之后，模型判断各级的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前级的当前模型，然后继续训练，若训练达到最大迭代次数或者总误差连续经过10迭代没有都下降，则训练停止。

基于训练好的模型进行标志点检测和头影测量分析中，具体包括如下步骤：

给定测试图像，将图像根据实际情况按照一定的比例缩小、裁剪和旋转；

将所有编码器模块生成的热图两两组合，再额外给每一个关系对拼接一个整体高斯热图特征；

拼接好之后的所有关系组合都作为关系推理模块的输入，并得到学习到的标志点的所有

上采样解码器接收输入单通道聚合特征图 C，生成预测的高斯热图，对生成的高斯热图求掩码区域的最大值来确定标志点的位置；

根据模型预测的标志点位置计算头影测量指标。

实验结果如表6：

表6使用临床数据测试得到的结果

表6中，MRE是指平均径向误差，SDR是指成功检测率，BASE表示网络只包含编码器模块和解码器模块，+KEY表示增加关键标志点的优先级，+RN表示使用了关系推理模块。

如图3所示，其中横坐标表示第i个标志点，纵坐标表示评价指标平均径向误差MRE，单位为毫米（mm），MRE的值越小越好，表示预测越精准，图4显示了在使用本发明提出的端到端深度神经网络模型后，评价指标平均径向误差（MRE）和未使用端到端深度神经网络模型的结果相比下降了，在优先考虑了关键标志点和测量指标后，总体预测精度仍然维持稳定的同时，关键标志点的MRE更低，见图5，图5中横坐标表示第i个关键标志点，纵坐标表示MRE（mm），该方法在临床数据上取得了出色的结果，预测的MRE最佳可达1.054毫米，能完全满足正畸医生的临床需求。

通过上述技术方案，本发明为了解决标志点间空间信息缺失的问题和标志点优先级缺失的问题，本发明提出了一种端到端深度神经网络侧位片智能头影测量方法，该模型是一个端到端的框架，包括一个基于完全卷积网络的编码器模块、解码器模块和一个关系推理模块，标志点之间的相对距离以及角度关系被用来建立一个新的损失函数，该损失函数能在所有标志点和标志点之间的关系中，优先考虑关键标志点，并捕捉到具有鉴别性和独特的潜在标志点关系；本发明在两个角度来提高模型学习空间关系的能力，在模型构建阶段，通过关系推理模块来融合成对的标志点间的潜在关系特征，在模型训练阶段融合标志点特征图的回归学习和直接的测量值的回归学习来使得模型学习到更多的空间信息；本发明关注的侧位片智能头影测量分析就是在模型特征提取阶段（即在关系推理网络模块隐藏层构建阶段，本发明通过统计不同标志点在三个主流的头影测量分析法中的应用，通过使用次数来标识标志点的优先级）充分考虑检测标志点（尤其是关键标志点）的优先级，帮助牙医（特别是正畸科牙医）更快速、准确和智能化地进行头影测量分析。