基于感知损失的X射线头影测量图像特征点提取方法及装置

摘要

本发明公开了一种基于感知损失的X射线头影测量图像特征点提取方法，涉及X射线头影测量图像技术领域，包括以下步骤：预先获取X射线头影测量图像，并作为数据输入；对X射线头影测量图像计算偏移距离图；将获取的偏移距离图输入至生成对抗网络模型，训练该模型预测得到每个特征点的偏移距离图，基于预测的偏移距离图，得到每个特征点的坐标，并以此作为该待测试X射线头影测量图像的特征点坐标。本发明网络模型耗时较短，节省硬件成本，而且无需对原始X射线头影测量图像进行裁剪，保证了数据的完整性，提高了特征点定位的准确性。

说明书

技术领域

本发明涉及X射线头影测量图像技术领域，具体涉及一种基于感知损失的X射线头影测量图像特征点提取方法，还涉及一种基于感知损失的X射线头影测量图像特征点提取装置。

背景技术

在经过几十年的发展，目前头影测量分析技术已广泛应用于研究颅面发育、牙颌正畸与治疗方面。头影测量分析技术是通过医学仪器拍摄患者的颅部，得到X射线头影测量图像，并对图像上的结构特征点进行标记。在临床实践中，特征点需要手动标记，医生在二维X射线头影测量图像上根据颅面结构，从直线和角度参考线以及其他几何形状提取特征点，然而，手动标记耗时较长，一位经验丰富的正畸医生进行一次头影测量图像的特征点标记需要大约20分钟的时间，并且容易受到其他主客观条件的影响，增大标记误差。

为了解决人工标记带来的问题，许多临床学者开始研究结构特征点的识别问题。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种基于感知损失的X射线头影测量图像自动提取特征点的方法，解决X射线头影测量图像结构特征点的人工定位工作量大、耗时长的问题以及自动定位方法中准确率低、速度慢的技术问题。

为解决上述技术问题，本发明提供了如下技术方案。

第一方面，本发明提供了一种基于感知损失的X射线头影测量图像特征点提取方法，包括以下过程：

获取X射线头影测量图像，对每幅图像标注预设数量的特征点，计算每个图像对每个特征点的真实偏移距离图；

基于得到的每个特征点的真实偏移距离图训练生成对抗网络模型，所述生成对抗网络模型包括生成器和鉴别器；具体训练过程为：

将真实偏移距离图输入至生成器中，得到每个特征点的预测偏移距离图；然后将真实偏移距离图与预测偏移距离图输入到视觉几何网络模块中，计算二者之间的感知损失，并将感知损失作为生成器总的损失函数的一部分；并且将真实偏移距离图、预测偏移距离图输入鉴别器中，判断预测偏移距离图是否为真，不断迭代以上过程直至得到最优的生成对抗网络模型；

获取待测试的X射线头影测量图像，利用经过训练的生成对抗网络模型进行预测，获得每个特征点的预测偏移距离图；根据每个特征点的预测偏移距离图，计算获得每个特征点的坐标。

可选的，所述感知损失的计算方式为：

其中G是生成器网络输出的偏移距离图，T(θ)表示特征点θ的真实距离图，

可选的，所述生成器的总损失函数包括重建损失和感知损失；生成器的总损失函数定义为：

L

其中，a

重建损失的计算方式为：

L

其中，T是真实的偏移距离图，G(X)是生成器输出的预测偏移距离图，||·||

可选的，所述鉴别器的损失函数为：

L

其中，D(T)表示将真实偏移距离图T输入到鉴别器D中得到的输出值，D(G(X))表示将生成器预测的偏移距离图输入到鉴别器中得到的输出值；L

其中，N是样本数量，y∈[0,1]表示输入的标签数据，

可选的，所述计算每个图像对每个特征点的真实偏移距离图，包括：

将每个X射线头影测量图像中每一个像素点p(x

重复执行以上过程，得到每个图像对每个特征点的真实偏移距离图。

可选的，所述根据每个特征点的预测偏移距离图，计算获得每个特征点的坐标，包括：

根据每个特征点的预测偏移距离图，采用回归投票方法计算获得每个特征点的坐标。

第二方面，本发明还提供了一种基于感知损失的X射线头影测量图像特征点提取装置，包括：

数据样本获取模块，用于获取X射线头影测量图像，对每幅图像标注预设数量的特征点，计算每个图像对每个特征点的真实偏移距离图；

网络模型训练过程，用于基于得到的每个特征点的真实偏移距离图训练生成对抗网络模型，所述生成对抗网络模型包括生成器和鉴别器；具体训练过程为：

将真实偏移距离图输入至生成器中，得到每个特征点的预测偏移距离图；然后将真实偏移距离图与预测偏移距离图输入到视觉几何网络模块中，计算二者之间的感知损失，并将感知损失作为生成器总的损失函数的一部分；并且将真实偏移距离图、预测偏移距离图输入鉴别器中，判断预测偏移距离图是否为真，不断迭代以上过程直至得到最优的生成对抗网络模型；

图像测试模块，用于获取待测试的X射线头影测量图像，利用经过训练的生成对抗网络模型进行预测，获得每个特征点的预测偏移距离图；根据每个特征点的预测偏移距离图，计算获得每个特征点的坐标。

与现有技术相比，本发明所达到的有益效果是：通过预先获取待测试X射线头影测量图像，并作为数据输入，进行对待测试X射线头影测量图像计算偏移距离图，将获取的偏移距离图输入至生成对抗网络模型，生成每个特征点的偏移距离图，并且利用预训练的视觉几何网络模块计算真实的偏移距离图与预测的偏移距离图之间的感知损失；基于偏移距离图，获得每个特征点的坐标，并作为该待测试X射线头影测量图像的特征点。本发明耗时较短，其不仅训练时间短，节省硬件成本，而且无需对原始X射线头影测量图像进行裁剪，保证了数据的完整性，提高了特征点定位的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的原理框图一；

图2是生成器的原理框图二；

图3是鉴别器的原理框图三；

图4是本发明实施例中的X射线头影测量图像提取的特征点位置示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明的一种基于感知损失的X射线头影测量图像特征点提取方法，参见图1所示，包括以下步骤：

步骤1，预先获取300张X射线头影测量图像，并作为训练阶段的数据样本集。

步骤2，对样本集中每幅图像标注预设数量的特征点，计算每个X射线头影测量图像对每个特征点的偏移距离图；

其中，所述计算每个特征点对应的偏移距离图，包括以下步骤：

读取样本集中每个X射线头影测量图像，在每个X射线头影测量图像中标定19个特征点，由于个体的生长发育状况不同，所以每幅图像的特征点位置也会有差别。

将每个X射线头影测量图像转换为二维数组；对该图像中每一个像素点p(x

遍历完整一张X线头影测量图上的所有像素点，得到第l个特征点对应的真实偏移距离图。

循环执行以上过程，得到每幅图像对19个特征点的所有偏移距离图。

步骤3，利用得到的每个特征点的真实偏移距离图训练生成对抗网络模型。

所述生成对抗网络模型包括生成器和鉴别器。具体训练过程为：

将步骤2得到的真实偏移距离图输入至生成对抗网络模型的生成器中，得到每个特征点的预测偏移距离图；然后将真实偏移距离图与预测偏移距离图输入到预训练的视觉几何网络模块中，计算二者之间的感知损失，并将感知损失作为生成器总的损失函数的一部分；并且计算预测偏移距离图与真实偏移距离图之间的拉普拉斯差值，将真实的偏移距离图、生成的偏移距离图和拉普拉斯差值输入鉴别器中，判断预测的距离图是否为真；

将数据分批次输入到网络模型中，每批次输入100张图片，训练迭代次数为2000次，根据机器性能的不同，可以对批次和迭代次数作相应调整。

如图2-图3所示，生成对抗网络模型的具体的训练过程为：

所述生成器G，输入是真实的偏移距离图，输出是预测的偏移距离图，用于得到预测的偏移距离图。同时，生成器包括两种损失函数，重建损失和感知损失。重建损失的计算方式为：

L

其中，T是真实的偏移距离图，G(X)是生成器输出的预测偏移距离图，||·||

感知损失可以计算真实的偏移距离图与生成器预测的偏移距离图之间的纹理类别差异，感知损失的好处是可以使预测偏移距离图的内容和结构更加接近真实的偏移距离图，产生更好的效果。感知损失的计算方式为：

其中G是生成器网络输出的偏移距离图，T(θ)表示特征点θ的真实距离图，

训练生成器的总损失函数定义为：

L

其中，a

生成器中，根据输入的真实距离图得到生成的预测距离图，生成器的损失函数越小说明生成的预测距离图与真实距离图之间的相似度越好，效果越好。

所述鉴别器，用于判断所述生成器生成的偏移距离图是否为真实的偏移距离图，鉴别器的损失函数为：

L

其中，D(T)表示将真实偏移距离图T输入到鉴别器D中得到的输出值，D(G(X))表示将生成器预测的偏移距离图输入到鉴别器中得到的输出值。因此函数L

L

其中，N是样本数量，y∈[0,1]表示输入的标签数据，

生成器的输入是计算得到的真实的偏移距离图，输出是生成的预测偏移距离图；具体结构如图2所示，图2中C1-C5为卷积层，F1-F2为全连接层，U1-U7反卷积层，卷积核的大小为3×3，每一层均进行批量归一化，激活函数采用线性整流函数，LAP1为计算预测偏移距离图与真实距离图之间的拉普拉斯差值。鉴别器的输入是真实的偏移距离图、预测的偏移距离图以及二者之间的拉普拉斯差值，具体结构如图3所示，C1-C6为卷积层，卷积核的大小为3×3，鉴别器的输出是判断预测的偏移距离图是否为真实的。

步骤4，获取待测试的X射线头影测量图像，利用步骤3中经过训练的生成对抗网络模型进行预测，获得每个特征点的预测偏移距离图；根据每个特征点的预测偏移距离图，计算获得每个特征点的坐标。

具体来讲，使用回归投票的方式计算目标解剖特征点的坐标。这里根据偏移距离反求特征点，由于已知某个像素点的坐标和这个像素点到特征点的偏移距离，则以该像素点为圆心，偏移距离为半径，画出一个圆，这个圆与偏移距离图上的交点为可能的特征点集合。偏移距离图上每一个像素点均作同样操作，则交点最多的点为最可能的特征点。并作为该待测试X射线头影测量图像的特征点。本发明实施例中的X射线头影测量图像提取的特征点位置示意图如图4所示，图中标注了提取的19个特征点。

本发明采用的生成对抗网络模型，训练耗时较短，即使是在性能较差的机器上也可以运行，对硬件的成本要求不高节省硬件成本，而且无需对原始X射线头影测量图像进行裁剪，保证了数据的完整性，提高了特征点定位的准确性。

实施例2

基于与实施例1方法同样的发明构思，本发明的一种基于感知损失的X射线头影测量图像特征点提取装置，包括：

数据样本获取模块，用于获取X射线头影测量图像，对每幅图像标注预设数量的特征点，计算每个图像对每个特征点的真实偏移距离图；

网络模型训练过程，用于基于得到的每个特征点的真实偏移距离图训练生成对抗网络模型，所述生成对抗网络模型包括生成器和鉴别器；具体训练过程为：

将真实偏移距离图输入至生成器中，得到每个特征点的预测偏移距离图；然后将真实偏移距离图与预测偏移距离图输入到视觉几何网络模块中，计算二者之间的感知损失，并将感知损失作为生成器总的损失函数的一部分；并且将真实偏移距离图、预测偏移距离图输入鉴别器中，判断预测偏移距离图是否为真，不断迭代以上过程直至得到最优的生成对抗网络模型；

图像测试模块，用于获取待测试的X射线头影测量图像，利用经过训练的生成对抗网络模型进行预测，获得每个特征点的预测偏移距离图；根据每个特征点的预测偏移距离图，计算获得每个特征点的坐标。

本发明装置中各模块的具体实现方案参见实施例1方法中各步骤处理过程。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。