胎儿超声图像生长参数测量方法、装置、设备和存储介质

摘要

本申请涉及一种胎儿超声图像生长参数测量方法、装置、设备和存储介质。所述方法包括：对包含目标结构的超声图像进行不同尺度的特征提取，得到多个初始特征；通过像素聚合特征金字塔网络对各初始特征进行特征融合，得到具有不同尺度的多个融合特征；针对每一尺度的融合特征，将感知目标结构的卷积模块对融合特征的处理结果与融合特征进行点乘处理，基于点乘处理的结果和检测头模块，得到目标结构在每一尺度下的预测测量点；对目标结构在多个尺度下的预测测量点进行加权平均运算，得到目标结构的测量点在超声图像中的定位信息，并基于定位信息确定超声图像中胎儿的生长参数值。采用本方法能够提升预测测量点的准确率。

说明书

技术领域

本申请涉及测量点预测技术领域，特别是涉及一种胎儿超声图像生长参数测量方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，对于超声图像中各结构的参数测量要求也越来越高。目前常见的自动化方法是使用分割方法分割出待测量的结构区域，再通过拟合方法获取测量线段，进而根据测量值判断是否产生异常。此外，还有通过对超声图像进行卷积处理，并利用卷积处理的结果对超声图像中各结构进行单次检测。

然而，现有方法存在以下两个问题。一是数据量受限，由于分割网络的训练数据需要医生人工标注，因此构建一定规模的训练数据很困难；二是测量值存在分割测量对象和从分割结构中拟合测量点两部分误差，分割不全和拟合不准会严重影响测量精度。这会导致测量点的预测准确率较低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升预测测量点准确率的胎儿超声图像生长参数测量方法、装置、设备和存储介质。

第一方面，本申请提供了一种胎儿超声图像生长参数测量方法，所述方法包括：

对包含目标结构的超声图像进行不同尺度的特征提取，得到多个初始特征；

通过像素聚合特征金字塔网络对各所述初始特征进行特征融合，得到具有不同尺度的多个融合特征；

针对每一尺度的所述融合特征，将感知所述目标结构的卷积模块对所述融合特征的处理结果与所述融合特征进行点乘处理，基于点乘处理的结果和检测头模块，得到所述目标结构在每一尺度下的预测测量点；所述预测测量点为不经过分割和拟合的单阶段预测测量点；

对所述目标结构在多个尺度下的预测测量点进行加权平均运算，得到所述目标结构的测量点在所述超声图像的定位信息，并基于所述定位信息确定所述超声图像中胎儿的生长参数值。

在其中一个实施例中，所述方法通过检测模型实现；所述检测模型的训练过程包括：

基于初始检测模型对包含生物结构的训练超声图像进行定位预测，确定所述生物结构的多个预测框；

基于所述生物结构的每一所述预测框和所述生物结构的真实框，确定所述初始检测模型的模型损失；

根据所述模型损失更新所述初始检测模型中的参数，得到训练完毕的检测模型。

在其中一个实施例中，所述基于初始检测模型对包含生物结构的训练超声图像进行定位预测，确定所述生物结构的多个预测框之前，包括：

获取针对生物结构的扫描视频流，所述扫描视频流中的每一帧图像对应所述生物结构的不同切面；

从所述扫描视频流中的各帧超声图像中，获取满足图像选取条件的训练超声图像；

确定所述训练超声图像的标注信息；所述标注信息包括所述训练超声图像中生物结构的标准测量点的坐标；

基于所述生物结构的标准测量点的坐标，确定所述生物结构的标准测量点之间的测量点距离；

基于所述测量点距离和所述标准测量点，确定所述生物结构的真实框。

在其中一个实施例中，所述从所述扫描视频流中的各帧超声图像中，获取满足图像选取条件的训练超声图像，包括：

并行检测所述扫描视频流中的各帧超声图像，从各帧超声图像中筛选出满足时空依赖关系的多个候选超声图像；

基于各所述候选超声图像中生物结构的位置关系和预测框的分类分数，从各所述候选超声图像中，确定出用作所述初始检测模型的训练样本的训练超声图像。

在其中一个实施例中，所述模型损失为组合损失；所述方法还包括：

获取分类损失、定位损失、热力损失以及几何损失；

将所述分类损失、所述定位损失、所述热力损失以及所述几何损失之间的加权求和结果确定为所述初始检测模型的模型损失。

在其中一个实施例中，所述定位损失的确定过程包括：

基于正样本分配策略从所述生物结构的多个预测框中确定正样本以及所述正样本的预测测量点；

基于所述正样本与所述真实框确定受限的交占比值；

基于所述正样本的预测测量点与所述真实框的标准测量点之间的距离，确定中心距离；

基于所述中心距离与外接矩形框的对角线长度之间的比值，得到比值结果；所述外接矩形框由所述真实框和所述正样本所确定的框；

获取所述正样本的预测测量点与所述真实框的标准测量点分别相对于所述融合特征中特征层每个元素所在网格左上角的相对位置；

基于所述受限的交占比值、所述中心距离、所述比值结果以及所述相对位置，确定所述定位损失。

在其中一个实施例中，所述几何损失的确定过程包括：

基于正样本分配策略从所述生物结构的多个预测框中确定正样本以及所述正样本的预测测量点；

获取所述正样本的预测测量点之间的第一距离以及标准测量点之间的第二距离；

基于所述第一距离和所述第二距离，确定所述正样本和所述标准测量点之间的长度误差；

使用范数方式对所述第一距离和所述第二距离进行范数处理，得到所述正样本的测量线段和真实测量线段之间的夹角；所述测量线段由测量点连接而成；

基于所述长度误差和所述夹角确定所述几何损失。

在其中一个实施例中，所述基于点乘处理的结果和检测头模块，得到所述目标结构在每一尺度下的预测测量点，包括：

获取每一所述融合特征和卷积模块对所述融合特征的处理结果之间进行点乘处理的多个点乘结果；

使用检测头模块基于每一所述点乘结果进行预测，得到所述目标结构在每一尺度下的多组测量点预测结果；

基于每一所述尺度下的多组测量点预测结果获取各测量点的分类分数的取值；

将所述分类分数的取值作为目标测量点的评估值，选取值最大的结果确定为所述目标结构在各尺度下的预测测量点。

第二方面，本申请提供了一种胎儿超声图像生长参数测量装置，所述装置包括：

特征提取模块，用于对包含目标结构的超声图像进行不同尺度的特征提取，得到多个初始特征；

特征融合模块，用于通过像素聚合特征金字塔网络对各所述初始特征进行特征融合，得到具有不同尺度的多个融合特征；

结构感知模块，用于针对每一尺度的所述融合特征，将感知所述目标结构的卷积模块对所述融合特征的处理结果与所述融合特征进行点乘处理，基于点乘处理的结果和检测头模块，得到所述目标结构在不同尺度下的预测测量点；

测量点定位模块，用于对所述目标结构在多个尺度下的预测测量点进行加权平均运算，得到所述目标结构的测量点在所述超声图像的定位信息，并基于所述定位信息确定所述超声图像中胎儿的生长参数值。

第三方面，本申请提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

上述胎儿超声图像生长参数测量方法、装置、设备和存储介质，通过对包含目标结构的超声图像进行不同尺度的特征提取，并将得到的初始特征进行特征融合，从而可以得到多个不同尺度的融合特征；通过结构感知将每一融合特征和卷积模块对融合特征的处理结果进行点乘处理，从而检测头模块可以根据多个不同尺度的融合特征对目标结构的测量点进行预测，使得目标结构的多组预测测量点为由不同尺度的融合特征所确定的预测测量点；通过对每一尺度中分类分数最高的一组预测测量点进行加权平均处理，可以综合考虑到利用多个不同尺度的融合特征各自进行测量点预测的效果，从而提升目标结构的预测测量点定位的准确性，以实现对目标结构的准确评估。

附图说明

图1为一个实施例中胎儿超声图像生长参数测量方法的应用环境图；

图2为一个实施例中胎儿超声图像生长参数测量方法的流程示意图；

图3为一个实施例中训练超声图像示意图；

图4为一个实施例中另一个训练超声图像示意图；

图5为另一个实施例中胎儿超声图像生长参数测量方法的流程示意图；

图6为一个实施例中检测模型的网络结构示意图；

图7为一个实施例中胎儿超声图像生长参数测量装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的胎儿超声图像生长参数测量方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104对包含了目标结构的超声图像进行不同尺度的特征提取，得到多个初始特征。服务器104通过使用像素聚合特征金字塔网络对各初始特征进行融合处理，从而得到多个不同尺度的融合特征。服务器104再将每一个融合特征和卷积模块对融合特征的处理结果进行点乘处理，服务器104根据点乘处理的结果，使用检测头模块对目标结构在每一尺度下的测量点进行预测处理，得到目标结构的预测测量点。服务器104对目标结构在多个尺度下的预测测量点进行加权平均运算，得到目标结构的测量点在超声图像的定位信息，并基于定位信息确定超声图像中胎儿的生长参数值。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种胎儿超声图像生长参数测量方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，对包含目标结构的超声图像进行不同尺度的特征提取，得到多个初始特征。

其中，目标结构和生物结构均指的是图像中的各个结构。例如，超声图像中的侧脑室后角、小脑、透明隔腔、脉络丛、脑中线等结构。又例如，可以根据长度判断是否发生异常的目标结构。

超声图像是对三维立体的目标结构扫描之后得到的图像，一张超声图像中可能有多个目标结构也可能只有一个目标结构，目标结构的数量根据测试的需求来确定。例如，现在只需要对胎儿脑部的小脑结构进行长度测量，虽然胎儿脑部的超声图像中还会有如透明隔腔、丘脑、脑中线等结构，但由于不需要获取这些结构的长度，则只有小脑才算是目标结构。

进行不同尺度的特征提取是通过卷积模块实现的。例如，输入检测模型的超声图像尺寸大小为640*640，经过卷积模块操作后可以得到尺寸为320*320的初始特征，再连续利用卷积模块对尺寸为320*320的初始特征进行特征提取，可以得到尺寸为40*40的初始特征。

可选地，服务器针对包含目标结构的超声图像，先使用卷积模块对超声图像进行特征提取，得到第一个初始特征，再使用卷积模块对第一个初始特征进行特征提取，并重复此过程，直至得到多个初始特征。

可选地，服务器使用卷积模块对超声图像进行不同尺寸的特征提取，从而得到多个初始特征。

步骤204，通过像素聚合特征金字塔网络对各初始特征进行特征融合，得到具有不同尺度的多个融合特征。

其中，像素聚合特征金字塔网络基于特征金字塔网络上采样融合的特征金字塔，增加一个自底向上的下采样融合过程，增强不同尺度的语义特征和定位特征学习。

特征融合是将同尺度的初始特征进行融合。例如，初始特征A和初始特征B的尺度不相同，则需要将A和B的尺度都调整为相同的尺度，调整的方式包括上采样处理和下采样处理。可以将A的尺度调整为与B的尺度相同，也可以将B的尺度调整为与A的尺度相同，还可以将A和B的尺度都调整为另一规格的尺度，将初始特征调整为相同尺度后再进行特征拼接，并使用卷积模块将拼接的结果进行处理，从而完成特征融合操作，得到多个融合特征。

融合特征为具有强语义表示和强定位能力的特征，强语义表示和强定位能力的特征可以提升测量点预测的精度。

可选地，服务器通过像素聚合特征金字塔网络将不同尺度的初始特征进行采样处理，使得进行特征融合时的初始特征为同一尺度的特征，将初始特征调整为相同尺度后再进行特征拼接，并使用卷积模块将拼接的结果进行处理，从而完成特征融合操作，得到多个融合特征。

步骤206，针对每一尺度的融合特征，将感知目标结构的卷积模块对融合特征的处理结果与融合特征进行点乘处理，基于点乘处理的结果和检测头模块，得到目标结构在每一尺度下的预测测量点。

其中，卷积模块对融合特征的处理包括卷积、池化等操作。在进行点乘处理前，经过卷积模块处理后的结果的尺寸大小不改变，也就是说卷积模块的输入和输出之间的尺寸是一样的，只对输入的数据进行处理。

点乘处理是将融合特征与卷积模块对融合特征的处理结果之间对应位置的元素进行点乘。例如，针对尺寸大小同为20*20的融合特征和卷积模块对融合特征的处理结果，则融合特征第一个位置的元素值与处理结果中第一个位置的元素值相乘，得到点乘处理的结果中第一个位置的元素值。

融合特征的数量为多个，一个融合特征是多维的，并且基于每一融合特征点乘处理的结果，经过检测头模块的测量点预测处理之后，都可以得到目标结构的预测测量点。例如，三个融合特征分别为A、B以及C，融合特征A和卷积模块对融合特征A的处理结果之间进行点乘处理，检测头模块根据点乘处理的结果进行测量点预测处理，从而可以得到目标结构X的预测测量点P

两个测量点组成目标结构的一组测量点。当目标结构在一个尺度下的预测测量点为多组时，从多组预测测量点中选取分类分数最高的一组作为该尺度下目标结构的最终预测测量点。其中，分类分数为同一组两个测量点的分类分数的相加值，两个测量点的分类分数从预测结果中直接获取。预测测量点为不经过分割和拟合的单阶段预测测量点指的是获取预测测量点的过程中，检测模型是利用整张超声图像进行预测测量点的获取的，而不需要将超声图像中的目标结构进行分割，再对分割后的目标结构进行拟合。因为对超声图像中的目标结构的分割不全和拟合不准确会影响预测的精度，也就是说分割和拟合两个步骤会带来两部分误差。而本申请在获取超声图像中目标结构的预测测量点时，只进行了单个阶段的处理，也就是利用检测模型对超声图像进行处理，并直接输出目标结构的预测测量点，这可以减少测量误差。

可选地，服务器使用卷积模块对每一融合特征进行卷积、池化等操作，并将处理的结果和融合特征本身进行点乘处理，并使用检测头模块对点乘处理的结果进行测量点预测处理，从而得到目标结构在每一尺度下的预测测量点。

在一个具体应用中，服务器使用卷积模块对融合特征A进行卷积、池化等操作，并将处理的结果和融合特征A本身进行点乘处理，使用检测头模块对点乘结果进行测量点预测处理，从而得到目标结构的多组预测测量点，服务器再从多组预测测量点中选取分类分数最高的一组作为融合特征A对应的最终预测测量点。

步骤208，对目标结构在多个尺度下的预测测量点进行加权平均运算，得到目标结构的测量点在超声图像中的定位信息，并基于定位信息确定超声图像中胎儿的生长参数值。

其中，多个尺度下的预测测量点指的是各尺度下分类分数最高的一组预测测量点。加权平均运算是根据每一尺度融合特征所在特征层的权重和每一尺度下的预测测量点来确定目标结构的测量点的定位信息。例如，基于尺度为A的特征层中的融合特征得到的一组预测测量点为a，该特征层的权重为x，基于尺度为B的特征层中的融合特征得到的一组预测测量点为b，该特征层的权重为y，则目标结构的测量点在超声图像的定位信息为ax+by。生长参数值指的是目标结构的预测测量点之间的长度。基于生长参数值可以辅助医生分析目标结构是否发生病变。

可选地，服务器根据基于不同尺度的融合特征得到的目标结构在各尺度下分类分数最高的预测测量点、以及每一尺度的融合特征所在特征层的权重，对每一尺度下的预测测量点的数据进行加权平均运算，从而得到目标结构的测量点在超声图像中的定位信息，也就是预测测量点的坐标位置。服务器根据得到目标结构的测量点的定位信息，计算目标结构的测量点之间的距离，并将距离的值确定为超声图像中胎儿的生长参数值，以实现对目标结构的评估。

上述胎儿超声图像生长参数测量方法中，通过对包含目标结构的超声图像进行不同尺度的特征提取，并将得到的初始特征进行特征融合，从而可以得到多个不同尺度的融合特征；通过结构感知将每一融合特征和卷积模块对融合特征的处理结果进行点乘处理，从而检测头可以根据多个不同尺度的融合特征对目标结构的测量点进行预测，使得目标结构的多组预测测量点为由不同尺度的融合特征所确定的预测测量点；通过对每一尺度中分类分数最高的一组预测测量点进行加权平均处理，可以综合考虑到利用多个不同尺度的融合特征各自进行测量点预测的效果，从而提升目标结构的预测测量点定位的准确性，以实现对目标结构的准确评估。

在一个实施例中，胎儿超声图像生长参数测量方法通过检测模型实现。检测模型的训练过程包括：

基于初始检测模型对包含生物结构的训练超声图像进行定位预测，确定生物结构的多个预测框。

基于生物结构的每一预测框和生物结构的真实框，确定初始检测模型的模型损失。

根据模型损失更新初始检测模型中的参数，得到训练完毕的检测模型。

其中，初始检测模型是还未进行训练的模型，检测模型是已经训练完毕的模型。初始检测模型的输入数据为训练超声图像、训练超声图像中各生物结构的标注信息。例如，标注信息为各生物结构的标准测量点的坐标和真实框的长宽。检测模型的输入为超声图像。初始检测模型和检测模型的输出都为图像中各结构的预测测量点坐标。

预测框是基于生物结构同一组测量点中的两个测量点的坐标和距离确定的。测量点为预测框的中心，预测框的长宽由两个测量点之间的距离所确定。例如，两个测量点之间的距离为L，则预测框的长宽设定为

初始检测模型的模型损失由分类损失、定位损失、热力损失以及几何损失加权平均后的组合损失所确定。分类损失的确定过程为：基于生物结构每一预测框各自的预测分类分数和正样本分配策略，从生物结构的多个预测框中确定生物结构的正样本，并通过计算确定正样本的质量分数，其中，为了对齐分类损失和定位损失，将正样本的质量分数作为正样本的真实分类分数；然后基于正样本的质量分数和正样本的预测分类分数得到损失。正样本的质量分数可以理解为正样本应属于某一生物结构的可能性大小，正样本的预测分类分数可以理解为预测的正样本属于某一生物结构的可能性大小。例如，对生物结构x，正样本A的质量分数为0.9，预测分类分数为0.7，则正样本A应属于生物结构x的分类分数为0.9，而经过预测后得到的正样本A属于生物结构x的分数为0.7。

分类损失的计算公式为

热力损失是基于生物结构的标准测量点的真实热力值和预测测量点的预测热力值所得到的损失。热力损失的公式为

可选地，服务器根据生物结构的标准测量点确定真实框，再使用初始检测模型对包含生物结构的训练超声图像进行测量点定位预测，得到生物结构的多个预测框和预测测量点。服务器基于生物结构的多个预测框和真实框，并根据分类损失、定位损失、热力损失以及几何损失的之间的加权求和结果来确定初始检测模型的模型损失。服务器将模型损失反馈给初始检测模型，并更新初始检测模型中的参数，从而得到训练完毕的检测模型。

本实施例中，通过根据生物结构的预测框和真实框，可以计算初始检测模型的模型损失，并通过模型损失对初始检测模型中的参数进行更新，从而可以使得初始检测模型完成模型训练，得到训练完毕的检测模型。

在一个实施例中，基于初始检测模型对包含生物结构的训练超声图像进行定位预测，确定生物结构的多个预测框之前，包括：

获取针对生物结构的扫描视频流，扫描视频流中的每一帧图像对应生物结构的不同切面。

从扫描视频流中的各帧超声图像中，获取满足图像选取条件的训练超声图像。

确定训练超声图像的标注信息。标注信息包括训练超声图像中生物结构的标准测量点的坐标。

基于生物结构的标准测量点的坐标，确定生物结构的标准测量点之间的测量点距离。

基于测量点距离和标准测量点，确定生物结构的真实框。

其中，图像选取条件指的是满足时空依赖关系和评估得分超过设定阈值。时空依赖关系指的是扫描视频流当前帧前面的历史帧和当前帧的关系，需要满足指定的连续帧数才判断为包含生物结构的图像。评估得分是根据基于生物结构的位置关系和预测框的分类分数构建的评分机制所得到的综合评分。预测框的分类分数可以理解为预测框属于某一生物结构的可能性大小。例如，根据扫描视频流当前帧前面的历史帧和当前帧的关系，确定满足指定的连续帧数的侧脑室水平横切面或小脑水平横切面，并根据基于侧脑室后角、透明隔腔、脉络丛、脑中线等结构的位置关系和预测框的分类分数构建的评分机制进行综合评分，筛选出总分高于90分的图像即为标准的超声图像，也就是得到初始检测模型的训练超声图像，如图3和图4所示。

标注信息为生物结构的标准测量点坐标和真实框的长宽，同一个生物结构的两个标准测量点为一组测量点，也就是说同组的标准测量点的分类相同。每一生物结构的真实框是以该生物结构的标准测量点为中心，以标准测量点之间的距离为长宽所确定的。真实框为长宽均相等的矩形框，是在标准测量点输入进初始检测模型之前根据标准测量点确定。

可选地，服务器获取包含生物结构的扫描视频流，然后从扫描视频流中确定满足时空依赖关系和评估得分超过设定阈值的图像作为训练超声图像，并确定训练超声图像中每一生物结构的标准测量点坐标、以及各生物结构的标准测量点之间的测量点距离。服务器再根据每一生物结构的标准测量点坐标、以及各生物结构的标准测量点之间的测量点距离，来确定每一生物结构各自的真实框。

本实施例中，通过将扫描视频流中满足图像选取条件的图像作为训练超声图像，可以排除掉不清晰或者不标准的图像对模型训练的干扰，使得初始检测模型学习到更多有用的信息。

在一个实施例中，从扫描视频流中的各帧超声图像中，获取满足图像选取条件的训练超声图像，包括：

并行检测扫描视频流中的各帧超声图像，从各帧超声图像中筛选出满足时空依赖关系的多个候选超声图像。

基于各候选超声图像中生物结构的位置关系和预测框的分类分数，从各候选超声图像中，确定出用作初始检测模型的训练样本的训练超声图像。

其中，并行检测指的是同时对扫描视频流中的相邻几帧图像进行检测，这样可以节省训练超声图像的确定时间。时空依赖关系指的是扫描视频流当前帧前面的历史帧和当前帧的关系，需要满足指定的连续帧数才判断当前帧为候选超声图像。

可选地，服务器对扫描视频流中的相邻几帧图像同时进行检测，然后根据扫描视频流当前帧前面的历史帧和当前帧的关系，筛选出满足指定的连续帧数的候选超声图像。服务器根据候选超声图像中各生物结构的位置关系和预测框的分类分数，从多个候选超声图像中确定用于训练初始检测模型的训练超声图像。

在一个具体应用中，服务器对扫描视频流中的相邻几帧图像进行同时检测，然后根据扫描视频流当前帧前面的历史帧和当前帧的关系，筛选出满足指定的连续帧数的候选超声图像。服务器根据候选超声图像中各生物结构的位置关系和预测框的分类分数构建的评分机制进行综合评分，筛选出总分高于90分的图像即为用于训练初始检测模型的训练超声图像。

本实施例中，通过先从扫描视频流中筛选出满足时空依赖关系的候选超声图像，然后再根据位置关系和预测框的分类分数从候选超声图像中确定用作训练初始检测模型的训练超声图像，可以减少非标准图像对模型训练的干扰，使得模型学习到更多有用的信息，提升模型训练的效果。

在一个实施例中，胎儿超声图像生长参数测量方法还包括：

获取分类损失、定位损失、热力损失以及几何损失。

将分类损失、定位损失、热力损失以及几何损失之间的加权求和结果确定为初始检测模型的模型损失。

其中，分类损失的确定过程为：基于生物结构每一预测框各自的预测分类分数和正样本分配策略，从生物结构的多个预测框中确定生物结构的正样本，并通过计算确定正样本的质量分数，然后基于正样本的质量分数和对应的预测分类分数得到分类损失。

热力损失是基于生物结构的标准测量点的真实热力值和预测测量点的预测热力值所得到的损失。预测热力值是通过将每一尺度下的融合特征经过上采样处理，变为同一尺度的融合特征，然后将尺度相同融合特征的相同位置的元素进行相加，再经过卷积后进行预测测量点的热力预测所得到的热力值。

可选地，服务器使用分类损失、定位损失、热力损失以及几何损失之间的加权求和结果作为初始检测模型的模型损失。

本实施例中，通过从不同的角度来计算模型的损失，可以对预测测量点和通过预测测量点获得的预测框进行综合评估，使得模型的损失更将精准，提升模型训练的有益效果，从而使得训练完毕的检测模型能输出准确的预测测量点。

在一个实施例中，定位损失的确定过程包括：

基于正样本分配策略从生物结构的多个预测框中确定正样本以及正样本的预测测量点。

基于正样本与真实框确定受限的交占比值。

基于正样本的预测测量点与真实框的标准测量点之间的距离，确定中心距离。

基于中心距离与外接矩形框的对角线长度之间的比值，得到比值结果；外接矩形框由真实框和正样本所确定的框。

获取正样本的预测测量点与真实框的标准测量点分别相对于融合特征中特征层每个元素所在网格左上角的相对位置。

基于受限的交占比值、中心距离、比值结果以及相对位置，确定定位损失。

其中，定位损失是由DIoU(Distance-Intersection over Union，距离交并比)和DFL(Distributed Focal Loss，分布交叉熵)损失构成。为了不让模型花费大量精力学习预测框的大小，主要采用一种柔性机制，也就是只要学习到的预测框b

其中，L

相对位置指的是以特征层每个元素所在网格左上角为中心的相对值。例如，比如中心位置为(1,0)，则位置(1,2)相对于中心位置的值就为(0,2)。

特征层是根据正样本的来源确定的。例如，正样本是基于融合特征A所在的特征层得到的，则在确定正样本和真实框与特征层每个元素所在网格左上角的相对位置时，是确定正样本和真实框与融合特征A所在的特征层每个元素所在网格左上角的相对位置。

可选地，服务器使用正样本分配策略对生物结构的多个预测框进行处理，并从中确定生物结构的正样本和各正样本的预测测量点。服务器基于正样本和真实框确定受限的交占比值。服务器根据生物结构的正样本的预测测量点和真实框的标准测量点之间的距离，得到中心距离。服务器再根据中心距离与外接矩形框的对角线长度之间的比值，确定比值结果。服务器还分别获取正样本的预测测量点和真实框的标准测量点分别相对于特征层每个元素所在网格左上角的相对位置。服务器基于受限的交占比值、中心距离、正样本的质量分数、比值结果以及相对位置，根据公式(1)和(2)的计算方式，得到模型的定位损失。

本实施例中，通过在定位损失中加入受限的交占比损失，可以使得预测框尽可能包含真实框，并使得预测框的中心点也就是预测测量点尽可能接近于真实框的中心点也就是标准测量点。

在一个实施例中，几何损失的确定过程包括：

基于正样本分配策略从生物结构的多个预测框中确定正样本以及正样本的预测测量点。

获取正样本的预测测量点之间的第一距离以及标准测量点之间的第二距离。

基于第一距离和第二距离，确定正样本和标准测量点之间的长度误差。

使用范数方式对第一距离和第二距离进行范数处理，得到正样本的测量线段和真实测量线段之间的夹角。测量线段由测量点连接而成。

基于长度误差和夹角确定几何损失。

其中，长度误差L

真实测量线段由真实框的标准测量点连接而成。

可选地，服务器基于正样本分配策略从生物结构的多个预测框中确定正样本，并确定每一正样本的预测测量点。服务器根据正样本的预测测量点之间的第一距离和真实框的标准测量点之间的第二距离，从而可以得到生物结构的正样本和标准测量点之间的长度误差。服务器再根据对第一距离和第二距离的范数处理，得到正样本的测量线段和真实测量线段之间的夹角。服务器根据夹角和长度误差之间的差值，确定几何信息，并根据几何信息确定模型的几何损失。

本实施例中，通过基于几何损失来对模型进行训练，可以关联模型输出的同类预测测量点的位置并相互约束，向真实结果不断优化，提升预测结果的准确率。

在一个实施例中，如图5所示，基于点乘处理的结果和检测头模块，得到目标结构在每一尺度下的预测测量点，包括：

步骤502，获取每一融合特征和卷积模块对融合特征的处理结果之间进行点乘处理的多个点乘结果。

步骤504，使用检测头模块基于每一点乘结果进行预测，得到目标结构在每一尺度下的多组测量点预测结果。

步骤506，基于每一所述尺度下的多组测量点预测结果获取各测量点的分类分数的取值。

其中，分类分数的取值指的是一组测量点预测结果中两个测量点的分类分数相加后的结果。

步骤508，将分类分数的取值作为目标测量点的评估值，选取值最大的结果确定为目标结构在各尺度下的预测测量点。

其中，目标测量点指的是多组测量点预测结果中的任意一组测量点。

可选地，服务器基于融合特征以及该融合特征经过卷积模块处理后的结果，将融合特征和卷积模块处理后的结果中相同位置处的元素进行点乘处理，对每一个融合特征和对应的处理结果都进行点乘处理后，则得到多个点乘结果。服务器根据每一点乘结果，使用检测头模块对目标结构的测量点进行预测处理，从而得到目标结构在每一尺度下的多组测量点预测结果。服务器再从每一尺度下的多组测量点预测结果中筛选出分类分数最高的一组测量点作为目标结构在每一尺度下的预测测量点。

本实施例中，通过将分类分数取值为目标值的预测测量点作为目标结构在每一尺度下的预测测量点，可以排除掉分类分数较低的预测测量点的干扰，从而使得最终得到的测量点的定位信息更加准确，以便于对生物结构的准确评估。

本申请还提供一种应用场景，该应用场景应用上述的胎儿超声图像生长参数测量方法。具体地，该胎儿超声图像生长参数测量方法在该应用场景的应用如下：并行检测扫描视频流中的相邻几帧图像，并筛选出满足时空依赖关系的多个候选超声图像，根据各候选超声图像中生物结构的位置关系和预测框的分类分数，从多个候选超声图像中确定用于训练初始检测模型的训练超声图像。获取训练超声图像中各个生物结构的标准测量点的坐标信息以及标准测量点的真实热力值，并基于坐标信息确定生物结构的真实框。将训练超声图像、训练超声图像中生物结构的坐标信息、以及生物结构的真实框输入进初始检测模型中，对初始检测模型进行训练。初始检测模型使用卷积模块对训练超声图像进行不同尺度的特征提取，得到多个不同尺度的特征，再将多个不同尺度的特征进行融合处理，从而得到多个不同尺度的融合特征。使用检测头模块对每一尺度的融合特征和卷积模块对融合特征的处理结果之间的点乘结果进行测量点预测处理，可以得到生物结构在每一尺度下的预测测量点。基于生物结构的一组预测测量点确定一个预测框，基于多组预测测量点则可以确定多个预测框。使用正样本分配策略从多个预测框中确定生物结构的正样本，并基于正样本的分类分数和预测框的分类分数，计算模型的分类损失。基于正样本和真实框确定受限的交占比值。根据生物结构的正样本的预测测量点和真实框的标准测量点之间的距离，得到中心距离。再根据中心距离与外接矩形框的对角线长度之间的比值，确定比值结果。分别获取正样本的预测测量点和真实框的标准测量点分别相对于特征层每个元素所在网格左上角的相对位置。基于受限的交占比值、中心距离、正样本的质量分数、比值结果以及相对位置，从而可以得到模型的定位损失。基于正样本的预测测量点之间第一距离和真实框的标准测量点之间的第二距离，可以得到正样本和真实框之间的长度误差和测量线段之间夹角。基于长度误差和夹角可以得到模型的几何损失。每一尺度下的融合特征经过上采样处理，变为同一尺度的融合特征，然后将尺度相同融合特征的相同位置的元素进行相加，再通过卷积进行预测测量点的热力预测，得到预测热力值。基于预测热力值和真实热力值，得到模型的热力损失。

对分类损失、定位损失、热力损失以及几何损失进行加权平均求和，从而确定模型损失。将模型损失反馈给初始检测模型，以更新初始检测模型中的参数，得到训练完毕的检测模型。最后将超声图像输入检测模型中，可以得到超声图像中目标结构的测量点定位信息，根据测量点之间的距离，确定超声图像中胎儿的生长参数值，从而可以实现对目标结构的异常评估。检测模型的网络结构如图6所示。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的胎儿超声图像生长参数测量方法的胎儿超声图像生长参数测量装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个胎儿超声图像生长参数测量装置实施例中的具体限定可以参见上文中对于胎儿超声图像生长参数测量方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种胎儿超声图像生长参数测量装置，包括：

特征提取模块702，用于对包含目标结构的超声图像进行不同尺度的特征提取，得到多个初始特征。

特征融合模块704，用于通过像素聚合特征金字塔网络对各初始特征进行特征融合，得到具有不同尺度的多个融合特征。

结构感知模块706，用于针对每一尺度的融合特征，将感知目标结构的卷积模块对融合特征的处理结果与融合特征进行点乘处理，基于点乘处理的结果和检测头模块，得到目标结构在每一尺度下的预测测量点。

测量点定位模块708，用于对目标结构在多个尺度下的预测测量点进行加权平均运算，得到目标结构的测量点在超声图像中的定位信息，并基于定位信息确定超声图像中胎儿的生长参数值。

在一个实施例中，胎儿超声图像生长参数测量装置包括：

预测框确定单元，用于基于初始检测模型对包含生物结构的训练超声图像进行定位预测，确定生物结构的多个预测框。

模型损失确定单元，用于基于生物结构的每一预测框和生物结构的真实框，确定初始检测模型的模型损失。

模型训练单元，用于根据模型损失更新初始检测模型中的参数，得到训练完毕的检测模型。

在一个实施例中，预测框确定单元包括：

视频获取子单元，用于获取针对生物结构的扫描视频流，扫描视频流中的每一帧图像对应生物结构的不同切面。

训练超声图像确定子单元，用于从扫描视频流中的各帧超声图像中，获取满足图像选取条件的训练超声图像。

坐标确定子单元，用于确定训练超声图像的标注信息。标注信息包括训练超声图像中生物结构的标准测量点的坐标。

测量点距离确定子单元，用于基于生物结构的标准测量点的坐标，确定生物结构的标准测量点之间的测量点距离。

真实框确定子单元，用于基于测量点距离和标准测量点，确定生物结构的真实框。

在一个实施例中，训练超声图像确定子单元包括：

候选超声图像确定子单元，用于并行检测扫描视频流中的各帧超声图像，从各帧超声图像中筛选出满足时空依赖关系的多个候选超声图像。

图像筛选子单元，用于基于各候选超声图像中生物结构的位置关系和预测框的分类分数，从各候选超声图像中，确定出用作初始检测模型的训练样本的训练超声图像。

在一个实施例中，胎儿超声图像生长参数测量装置还包括：

损失获取单元，用于获取分类损失、定位损失、热力损失以及几何损失。

模型损失确定单元，用于将分类损失、定位损失、热力损失以及几何损失之间的加权求和结果确定为初始检测模型的模型损失。

在一个实施例中，损失获取单元包括：

第一正样本确定子单元，用于基于正样本分配策略从生物结构的多个预测框中确定正样本以及正样本的预测测量点。

受限的交占比值确定子单元，用于基于所述正样本与所述真实框确定受限的交占比值。

中心距离确定子单元，用于基于所述正样本的预测测量点与所述真实框的标准测量点之间的距离，确定中心距离。

比值结果确定单元，用于基于所述中心距离与外接矩形框的对角线长度之间的比值，得到比值结果。所述外接矩形框由所述真实框和所述正样本所确定的框。

相对位置确定子单元，用于获取正样本的预测测量点与真实框的标准测量点分别相对于融合特征中特征层每个元素所在网格左上角的相对位置。

定位损失确定子单元，用于基于受限的交占比值、中心距离、比值结果以及相对位置，确定定位损失。

在一个实施例中，损失获取单元包括：

第二正样本确定子单元，用于基于正样本分配策略从生物结构的多个预测框中确定正样本以及正样本的预测测量点。

距离确定子单元，用于获取正样本的预测测量点之间的第一距离以及标准测量点之间的第二距离。

长度误差确定子单元，用于基于第一距离和第二距离，确定正样本和标准测量点之间的长度误差。

夹角确定子单元，用于使用范数方式对第一距离和第二距离进行范数处理，得到正样本的测量线段和真实测量线段之间的夹角。测量线段由测量点连接而成。

几何损失确定子单元，用于将长度误差和夹角之间的差值确定为几何损失。

上述胎儿超声图像生长参数测量装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储超声图像、初始特征、融合特征、点乘处理的结果、目标结构在每一尺度下的预测测量点以及目标结构的测量点在超声图像的定位信息数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种胎儿超声图像生长参数测量方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。