基于深度学习的头颅侧位片关键点自动检测系统及方法

摘要

本发明公开了一种基于深度学习的头颅侧位片关键点自动检测系统及方法。本发明包括如下步骤：步骤1、头颅侧位片CT图像的收集和预处理；构造模型训练的,且训练集中每个样本都标注出关键点位置；步骤2、构建编码‑解码结构的关键点识别模型；步骤3、关键点识别模型训练及评估；步骤4、对新的头颅侧位片进行关键点预测。本发明构建了一个深度监督的编码‑解码网络用于头颅侧位片的关键点识别。编码和解码的子模块通过一系列嵌套的密集跳跃路径进行相互连接，设计这种跳跃连接的目的是为了降低编码和解码子模块中各个特征图的语义缺失。进一步的，本发明提出的方法可以加快进行头颅侧位片的关键点标注。

说明书

技术领域

本发明是针对牙齿口腔正畸中的头颅侧位CT片，提供一种基于深度学习的头颅侧位片关键点自动检测系统及方法，通过构建深度学习模型自动识别关键点，辅助牙科正畸。

背景技术

随着深度学习以及数字化牙科的快速发展。如何有效的提高牙科正畸医师的效率受到越来越多的关注。深度学习技术辅助牙科治疗领域可以有效的提高了医师的效率，提高正畸诊断、治疗和手术指南的准确性。数字牙科的一个基本组成部分是从头颅侧位CT片中识别关键点从而计算相关角度。精确的识别头颅侧位CT关键点有助于医师的评估模拟。从头颅侧位片中自动和准确的进行关键点的定位一个困难的任务，口腔软组织、CT成像过程中的噪声等原因形成的噪声都会影响医生的诊断。传统的人工标注关键点的方式及效果远远不能满足牙科诊断的需求。

发明内容

本发明的目的是针对头颅侧位片的关键点识别问题，提供一种基于深度学习的头颅侧位片关键点自动检测系统及方法，。

基于深度学习的头颅侧位片关键点自动检测方法，包括如下步骤：

步骤1、头颅侧位片CT图像的收集和预处理；构造模型训练的,且训练集中每个样本都标注出关键点位置；

步骤2、构建编码-解码结构的关键点识别模型；

步骤3、关键点识别模型训练及评估；

步骤4、对新的头颅侧位片进行关键点预测。结果表明，本发明提出的方法可以加快进行头颅侧位片的关键点标注。

进一步的，步骤1所述的头颅侧位CT图像的收集和预处理具体实现如下

1-1.收集到的原始头颅侧位CT图像数据集由670位患者的头颅侧位CT图像组成，且每位患者CT数据的大小是不固定的png格式或bmp格式的图像。

1-2.通过Vott软件对原始头颅侧位CT图像数据集进行标注，得到学习关键点识别模型的训练数据集；同时为了兼并多种头颅关键点角度测量的方法，将关键点的类别数定义为32类，标签文件保存为CSV格式文件；

1-3.将标注软件Vott标注后得到的CSV格式文件转化为txt文件，每个txt文件对应一个患者的标注信息，该标注信息共32行，从上到下对应标签1-32的关键点的坐标(X,Y)；将标注后的头颅侧位片CT图像对应的标签作为关键点识别模型最终的训练集。

进一步的，定义的32类别的关键点具体包括：蝶鞍点、鼻根点、眶点、耳点、上齿槽坐点、下齿槽坐点、颏前点、颏下点、颏顶点、下颌角点、下颌中切牙切缘点、上颌中切牙切缘点、上唇突点、下唇突点、鼻下点、软组织之颏前点、后鼻棘、前鼻棘、关节点、颅顶点、髁突中心点、翼点、鼻顶点、颞下颌关节最低点、内下颌角点、上中切牙根尖点、上第一恒磨牙近中颊尖点、下第一恒磨牙近中颊尖点、下第一恒磨牙园中边缘点、下中切牙根尖点、下颌升支后缘、下颌角后下缘。

进一步的，步骤2所述的构建编码-解码结构的关键点识别模型，具体实现如下：

本发明提出一种新的编码-解码U形结构网络的关键点识别模型，该关键点识别模型充分利用多尺度特征，引入全尺度的跳跃连接，将编码器和解码器的不同子模块通过嵌套和跳跃连接在一起，该结构能有效的结合来自全尺度特征图的低级语义和高级语义，该关键点识别模型能够有效的学习关键点的深层特征。

进一步的，关键点识别模型中每个矩形表示一个密集卷积块，通过跳跃连接实现编码器和解码器特征图之间的语义鸿沟。

进一步的，每个密集卷积块X

进一步的，用f

其中C(·)表示卷积运算，[]表示直接在通道维度上的连接。当j＝0时，表示只接收来自前一层编码器的输出，密集卷积块X

进一步的，由于跳跃路径的存在，模型在多个语义层次上生成全分辨率特征，用二分类交叉熵损失和Dice系数损失的组合作为模型的目标函数：

其中，Y

基于深度学习的头颅侧位片关键点自动检测系统，包括训练集构造模块、关键点识别模型构建模块、模型训练及评估模块；

训练集构造模块：对头颅侧位片CT图像的收集和预处理得到初步训练集，对初步训练集中每个样本都标注出关键点位置，得到最终训练集；

关键点识别模型构建模块：构建一种新的编码-解码U形结构网络的关键点识别模型，该关键点识别模型充分利用多尺度特征，引入全尺度的跳跃连接，将编码器和解码器的不同子模块通过嵌套和跳跃连接在一起；关键点识别模型中每个矩形表示一个密集卷积块，通过跳跃连接实现编码器和解码器特征图之间的语义鸿沟；每个密集卷积块X

模型训练及评估模块：通过度量标准Dice系数和交并比进行评估。

本发明有益效果如下：

本发明构建了一个深度监督的编码-解码网络用于头颅侧位片的关键点识别。编码和解码的子模块通过一系列嵌套的密集跳跃路径进行相互连接，设计这种跳跃连接的目的是为了降低编码和解码子模块中各个特征图的语义缺失。进一步的，本发明提出的方法可以加快进行头颅侧位片的关键点标注。

附图说明

图1为本发明流程题。

图2为本发明患者的头颅侧位CT片。

图3为本发明键点的可视化以及类别说明示意图。

图4为本发明使用的U形关键点模型结构。

图5为本发明卷积模块X

图6为模型的第一条skip connection路径。

图7为模型对于头颅侧位片图像的关键点识别结果。

具体实施方式

下面结合附图和实施例对本发明作进一步是的说明。

如图1所示，基于深度学习的头颅侧位片关键点自动检测方法，具体采用的技术方案如下：

步骤1、头颅侧位片CT图像的收集和预处理；构造模型训练的,且训练集中每个样本都标注出关键点位置；

步骤2、构建编码-解码结构的关键点识别模型；

步骤3、关键点识别模型训练及评估；

步骤4、对新的头颅侧位片进行关键点预测。结果表明，本发明提出的方法可以加快进行头颅侧位片的关键点标注。

进一步的，步骤1所述的头颅侧位CT图像的收集和预处理具体实现如下

1-1.本发明使用的数据集由670位患者的头颅侧位CT图像组成，每位患者CT数据的大小是不固定的png格式或bmp格式的图像，如图2所示。

1-2.通过Vott软件对深度学习关键点识别模型的训练数据集进行标注；同时为了兼并多种头颅关键点角度测量的方法，将关键点的类别数定义为32类，标签文件保存为CSV文件格式；

进一步的，定义的32类别的关键点具体包括：蝶鞍点、鼻根点、眶点、耳点、上齿槽坐点、下齿槽坐点、颏前点、颏下点、颏顶点、下颌角点、下颌中切牙切缘点、上颌中切牙切缘点、上唇突点、下唇突点、鼻下点、软组织之颏前点、后鼻棘、前鼻棘、关节点、颅顶点、髁突中心点、翼点、鼻顶点、颞下颌关节最低点、内下颌角点、上中切牙根尖点、上第一恒磨牙近中颊尖点、下第一恒磨牙近中颊尖点、下第一恒磨牙园中边缘点、下中切牙根尖点、下颌升支后缘、下颌角后下缘，具体关键点的可视化以及类别说明如图3和图7所示。

1-3.将标注软件Vott标注后得到的CSV格式文件转化为txt文件，每个txt文件对应一个患者的标注信息，该标注信息共32行，从上到下对应标签1-32的关键点的坐标(X,Y)。将标注后的头颅侧位片CT图像对应的标签作为模型的训练集。

进一步的，步骤2所述的构建编码-解码结构的关键点识别模型，具体实现如下：

医学需要准确的精确度，因此对于头颅侧位CT这种医学图像，进行关键点的识别定位时，需要更加严密的精度。为此本发明提出一种新的编码-解码U形结构网络的关键点识别模型，模型结构如图4所示。该关键点识别模型充分利用多尺度特征，引入全尺度的跳跃连接(skip connection)，将编码器和解码器的不同子模块通过嵌套和跳跃连接在一起，该结构能有效的结合来自全尺度特征图的低级语义和高级语义，该关键点识别模型能够有效的学习关键点的深层特征。

进一步的，如图4所示，本发明使用的关键点识别模型，其中每个矩形表示一个密集卷积块，通过跳跃连接实现编码器和解码器特征图之间的语义鸿沟。比如X

进一步的，本发明对于每个密集卷积块X

进一步的，假设当接收的编码器特征和相应的解码器特征在语义上相似时，优化器将面临更容易的优化问题。为了方便分析跳跃连接，用f

其中C(·)表示卷积运算，[]表示直接在通道维度上的连接。从图4可以发现，j＝0表示只接收来自前一层编码器的输出，X

由于跳跃路径的存在，模型在多个语义层次上生成全分辨率特征，用二分类交叉熵损失和Dice系数损失的组合作为模型的目标函数：

其中，Y

进一步的，步骤3所述的关键点识别模型训练及评估，具体实现如下：

实验中的度量标准是Dice系数和交并比(IOU),并在验证集上使用早停机制，使用学习率为3e-4的Adam优化器。具体结构如表1所示:

表1：模型各个卷积块使用的卷积核个数

本发明关键点识别模型中的所有密集卷积块都使用k个大小3*3的卷积核。其中k＝32×2

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神范围，其均应涵盖在本发明的权利要求范围当中。