超声三维胎儿面部轮廓图像处理方法系统

摘要

本发明公开了超声三维胎儿面部轮廓图像处理方法及系统。该方法包括：对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域，其中，所述目标区域包括胎儿头部区域；筛选出包含目标区域的切片，并对筛选出的切片进行面部边界检测，以获取可信边界点；根据所述可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像。本发明通过利用可信边界点裁剪体数据，自动对胎儿面部的遮挡部分进行裁剪，简化了检测人员的操作，提高了超声三维出图率。

说明书

技术领域

本发明涉及超声成像技术领域，尤其涉及超声三维胎儿面部轮廓图像处理方法及系统。

背景技术

三维超声成像系统是在传统二维超声的基础上，采集多个顺序空间序列的二维超声图像，根据数据采集的空间位置关系，通过扫描转换等步骤将体积数据再现。三维超声成像系统提供了传统二维超声所不能提供的高一维的空间信息，使临床诊断、观察变得更为直观和灵活，使医患双方对诊断结果的交流变得更为顺畅。也正由于其信息丰富直观，三维超声成像系统目前被主要用于产科领域胎儿形态学的观察，尤其是面部观察。然而，由于成像环境的特殊性，在对胎儿面部进行三维可视化绘制的时候，胎儿面部前方有可能会被胎盘、脐带、手臂、子宫壁等遮挡，使得采集的三维体数据可能包括胎盘、羊水悬浮物质、脐带、子宫组织等，对成像目标造成遮挡，给目标观察带来困难。

虽然目前超声检查设备上通常有交互的容积剪裁方法可提供给检查人员对遮挡部位进行裁剪，但是操作较为繁琐，耗费时间较长。

发明内容

本发明提供了超声三维胎儿面部轮廓图像处理方法及系统，通过利用可信边界点裁剪体数据，自动对胎儿面部的遮挡部分进行裁剪，简化了检测人员的操作，提高了超声三维出图率。

为实现上述设计，本发明采用以下技术方案：

一方面，提供了超声三维胎儿面部轮廓图像处理方法，该方法，包括：

对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域，其中，所述目标区域包括胎儿头部区域；

筛选出包含目标区域的切片，并对筛选出的切片进行面部边界检测，以获取可信边界点；

根据所述可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像。

其中，在所述筛选出包含目标区域的切片的步骤之后还包括：

当当前帧切片目标区域的位置与邻近切片目标区域的位置的差值超过预定阈值时，则对所述当前帧切片目标区域的位置进行校正。

其中，所述对所述当前帧切片目标区域的位置进行校正的步骤，包括：

遍历所有所述筛选出的切片，得到<帧号，目标区域>的序列；

分别求出<帧号，目标区域>序列中各帧切片目标区域的位置与其邻近切片目标区域的位置的偏差；

计算所述偏差的均值；

当当前帧切片目标区域的位置与其邻近切片目标区域的位置的偏差大于所述均值时，则将当前帧切片目标区域的中心点坐标替换为目标切片目标区域的中心点坐标。

其中，所述对筛选出的切片进行面部边界检测，以获取可信边界点的步骤，包括：

获取各帧所述筛选出的切片中从较暗区域到较亮区域的过渡边界；

根据过渡边界所在连通区域的灰度值和轮廓形态，确定各帧所述筛选出的切片的面部区域，并将面部区域的上表面边界作为备选分割边界；

根据所述备选分割边界，获取多个可信边界点。

其中，在所述根据所述备选分割边界，获取多个可信边界点的步骤之前，还包括：边界生长的步骤。

其中，所述根据所述备选分割边界，获取多个可信边界点的步骤，包括：

根据所述备选分割边界，构造与每帧所述筛选出的切片一一对应的边界矩阵；

将所有所述边界矩阵与累加矩阵叠加，得到投票矩阵；

统计所述投票矩阵中每列的最大值，将最大值对应的点确定为可信边界点。

其中，所述根据所述可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像的步骤包括：

根据所述可信边界点制作裁剪模板；

根据所述裁剪模块对胎儿体数据进行裁剪，得到超声三维胎儿面部轮廓图像。

其中，所述对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域的步骤包括：

利用预先设置的分类器检测胎儿体数据在预定方向的各帧切片的所述目标区域；

保存所述目标区域及其对应的切片。

另一方面，提供了超声三维胎儿面部轮廓图像处理系统，该系统，包括：

目标区域检测模块，用于对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域，其中，所述目标区域包括胎儿头部区域；

可信边界点获取模块，用于筛选出包含目标区域的切片，并对筛选出的切片进行面部边界检测，以获取可信边界点；

裁剪模块，用于根据所述可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像。

其中，所述系统还包括：校正模块，用于当当前帧切片目标区域的位置与邻近切片目标区域的位置的差值超过预定阈值时，则对所述当前帧切片目标区域的位置进行校正。

所述校正模块还用于，遍历所有所述筛选出的切片，得到<帧号，目标区域>的序列；分别求出<帧号，目标区域>序列中各帧切片目标区域的位置与其邻近切片目标区域的位置的偏差；计算所述偏差的均值；当当前帧切片目标区域的位置与其邻近切片目标区域的位置的偏差大于所述均值时，则将当前帧切片目标区域的中心点坐标替换为目标切片目标区域的中心点坐标。

其中，所述可信边界点获取模块还用于：获取各帧所述筛选出的切片中从较暗区域到较亮区域的过渡边界；根据过渡边界所在连通区域的灰度值和轮廓形态，确定各帧所述筛选出的切片的面部区域，并将面部区域的上表面边界作为备选分割边界；根据所述备选分割边界，获取多个可信边界点。

其中，所述可信边界点获取模块包括边界生长单元，所述边界生长单元用于边界生长。

其中，所述可信边界点获取模块还用于：根据所述备选分割边界，构造与每帧所述筛选出的切片一一对应的边界矩阵；将所有所述边界矩阵与累加矩阵叠加，得到投票矩阵；统计所述投票矩阵中每列的最大值，将最大值对应的点确定为可信边界点。

其中，所述剪裁模块还用于根据所述可信边界点制作裁剪模板；根据所述裁剪模块对胎儿体数据进行裁剪，得到超声三维胎儿面部轮廓图像。

其中，所述目标区域检测模块还用于：利用预先设置的分类器检测胎儿体数据在预定方向的各帧切片的所述目标区域；保存所述目标区域及其对应的切片。

与现有技术相比，本发明的有益效果为：对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域，其中，所述目标区域包括胎儿头部区域；筛选出包含目标区域的切片，并对筛选出的切片进行面部边界检测，以获取可信边界点；根据所述可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像。本发明通过利用可信边界点裁剪体数据，自动对胎儿面部的遮挡部分进行裁剪，简化了检测人员的操作，提高了超声三维出图率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明具体实施方式中提供的超声三维胎儿面部轮廓图像处理方法的实施例的方法流程图。

图2是本发明具体实施方式中提供的胎儿体数据在预定方向的多帧切片的示意图。

图3是本发明具体实施方式中提供的对当前帧切片目标区域的位置进行校正的过程示意图。

图4a是本发明具体实施方式中提供的目标区域校正前的示意图。

图4b是图4a的目标区域校正后的示意图。

图5是本发明具体实施方式中提供的对筛选出的切片进行面部边界检测，以获取可信边界点的过程示意图。

图6a是本发明具体实施方式中提供的备选分割边界的示意图。

图6b是图6a中的备选分割边界进行边界生长后的示意图。

图7是本发明具体实施方式中提供的根据备选分割边界，获取多个可信边界点的过程示意图。

图8是本发明具体实施方式中提供的根据可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像的过程示意图。

图9是本发明具体实施方式中提供的一种裁剪模板。

图10a是本发明具体实施方式中提供的矢状面方向切片裁剪前的示意图。

图10b是图10a的剪裁后的示意图。

图11是本发明具体实施方式中提供的超声三维胎儿面部轮廓图像处理系统的实施例的结构方框图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，其是本发明具体实施方式中提供的超声三维胎儿面部轮廓图像处理方法的流程图。如图1所示，该方法包括：

步骤S101：对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域，其中，所述目标区域包括胎儿头部区域。

对胎儿体数据在预定方向的多帧(张)切片的目标区域进行检测，以获取至少一帧切片的目标区域。在本实施例中，目标区域包括胎儿头部区域，预定方向可以为胎儿体数据的切面方向，如与换能器阵列方向平行的平面方向。通常三维/四维成像检测人员会使用这个平面方向来获取胎儿的矢状面，矢状面也可以替换为冠状面等特征明显的切面。预定方向也可以用遍历体数据三个轴的平面方向的方式。当然也可以为通过其他算法确定的预定方向，这里不再一一赘述。

在本实施例中，目标区域检测采用方向梯度直方图(Histogram of OrientedGradient，HOG)特征提取算法及adboost分类器算法。分类器预先使用胎儿的矢状面头部区域的数据进行了训练，根据训练结果设置分类器，利用预先设置的分类器自动在胎儿体数据预定方向的各帧切片上定位矢状面的目标区域，保存目标区域及其对应的切片。

步骤S102：筛选出包含目标区域的切片，对筛选出的切片进行面部边界检测，以获取可信边界点。

胎儿体数据在预定方向的多帧切片，可能不是所有的切片都包括目标区域，因此需要筛选出包含目标区域的切片。

对包含所述目标区域的切片进行面部边界检测，可使用边界检测算子找出各帧切片从较暗区域到较亮区域的过渡边界，这里的边界检测算子包括但不仅限于prewitt算子和sobel算子。

分析各帧切片的所述过渡边界所在连通区域的灰度值和轮廓形态，将这些灰度值和轮廓形态与预先存储的面部灰度值和面部轮廓形态比较，找出各帧切片的面部区域，并将面部区域的上表面边界作为面部边界，根据各帧切片的面部边界对各个面部边界点进行投票，被面部边界经过最多的点确定为可信边界点。

步骤S103：根据可信边界点对胎儿体数据进行裁剪，以得到超声胎儿面部轮廓图像。

根据上述步骤S102获取的可信边界点制作模块，根据模板裁剪胎儿体数据，得到超声三维胎儿面部轮廓的图像。实现了自动对胎儿面部的遮挡部分进行裁剪，简化了检测人员的操作，提高了超声三维出图率。

上述实施例的超声胎儿面部轮廓图像处理方法，对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域；筛选出包含目标区域的切片，对筛选出的切片进行面部边界检测，以获取可信边界点；根据可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像。本发明通过利用可信边界点裁剪体数据，自动对胎儿面部的遮挡部分进行裁剪，使得操作简便、快捷，减少了操作手动操作带来的误差，图像质量更高。

在一个实施例中，在筛选出包含目标区域的切片的步骤之后，还包括：

当当前帧切片目标区域的位置与邻近切片目标区域的位置的差值超过预定阈值时，则对当前目标区域的位置进行校正。

筛选出包含目标区域的切片之后，需要对与邻近切片的目标区域的位置的差值达到预定阈值的目标区域的位置进行校正，以增加胎儿面部轮廓检测的准确性。所述预定阈值，这里不做具体限定，可以根据实际应用对准确率的要求进行选值。在本实施例中，邻近切片是指与当前帧切片在位置上相邻的切片。例如图2所示，在Z轴的切片序列上，编号为“1”、“3”、“5”、“6”的切片可检测出目标区域(ROI，region of interest)。那么编号为“3”的切片ROI的邻近ROI为编号为“1”及“编号为5”的切片的ROI。

优选地，在一个实施例中，如图3所示，对当前帧切片目标区域的位置进行校正的步骤包括：

步骤S301：遍历所有筛选出的切片，得到<帧号，目标区域>序列。

步骤S302：分别求出<帧号，目标区域>序列中各帧切片目标区域的位置与其邻近切片目标区域的位置的偏差。

在本实施例中，偏差包括各帧切片目标区域的中心点与其邻近切片目标区域的中心点的X坐标偏差和Y坐标偏差。将得到的X坐标偏差和Y坐标偏差分别保存在<帧号，与相邻切片目标区域的中心点的X坐标偏差>和<帧号，与相邻切片目标区域的中心点的Y坐标偏差>的序列中。

步骤S303：计算偏差的均值。

在本实施例中，均值包括X坐标偏差的均值和Y坐标偏差的均值。根据上述步骤得到的<帧号，与相邻切片的目标区域的中心点的X坐标偏差>和<帧号，与相邻切片的目标区域的中心点的Y坐标偏差>两个序列，分别剔除两个偏差序列中的最大值，然后计算上述两个序列的X坐标偏差的均值和Y坐标偏差的均值，即得到各帧切片目标区域与其邻近切片目标区域偏差的均值。

步骤S304：当当前帧切片目标区域的位置与其邻近切片目标区域的位置的偏差大于均值时，则将当前帧切片目标区域的中心点坐标替换为目标切片目标区域的中心点坐标。其中，目标切片与当前帧切片的距离最小，且目标切片目标区域的位置与其邻近切片目标区域的位置的偏差均小于均值。

在本实施例中，存在三种情况：

(1)当当前帧切片目标区域与邻近切片目标区域的中心点的X坐标偏差大于X坐标偏差的均值时，则将当前帧切片目标区域的中心点的X坐标替换为目标切片目标区域的中心点的X坐标。

(2)当当前帧切片目标区域与邻近切片目标区域的中心点的Y坐标偏差大于Y坐标偏差的均值时，则将当前帧切片目标区域中心点的Y坐标替换为目标切片目标区域中心点的Y坐标。

(3)当当前帧切片的目标区域与邻近切片目标区域的中心点的X坐标偏差大于X坐标偏差的均值，并且当前帧切片目标区域与邻近切片目标区域的中心点的Y坐标偏差大于Y坐标偏差的均值时，则将当前帧切片目标区域中心点的X坐标和Y坐标分别替换为目标切片目标区域中心点的X坐标和Y坐标。如图4a和图4b所示，图中的小方框代表目标区域，大方块代表切片，图4a和图4b分别是本发明具体实施方式中提供的一种面部目标区域的校正前和校正后的对比示意图。

在一个实施例中，如图5所示，对筛选出的切片进行面部边界检测，以获取可信边界点的步骤包括：

步骤S501，获取各帧筛选出的切片中从较暗区域到较亮区域的过渡边界。

利用边界检测算子找出各帧切片从较暗区域到较亮区域的过渡边界，这里的边界检测算子包括但不仅限于如下算子prewitt算子和sobel算子。

步骤S502，根据过渡边界所在连通区域的灰度值和轮廓形态，确定各帧切片的面部区域，并将面部区域的上表面边界作为备选分割边界，如图6a所示。

在本实施例中，分析各帧切片的过渡边界所在连通区域的灰度值和轮廓形态，将这些灰度值和轮廓形态与预先存储的面部灰度值和面部轮廓形态比较，找出各帧切片的面部区域，并将面部区域的上表面边界作为备选分割边界。

步骤S503，根据上述步骤获取的备选分割边界，获取多个可信边界点。

根据各帧切片的备选分割边界对各个面部边界点进行投票，被备选分割边界经过最多的点确定为可信边界点。在一个实施例中，在根据各帧切片的备选分割边界，获取多个可信边界点的步骤之前，还包括：边界生长的步骤。

由于各帧切片的备选分割边界的起止点可能不一致，将会影响后续获取可信边界，因此采用边界生长，能够得到从左到右贯穿切片的完整的面部边界，从而提高边界检测的准确性。

在本实施例中，边界生长是基于梯度图像进行的。以备选分割边界的左右两个端点作为横向方向的生长点，基于当前生长点的邻域在梯度图像上搜索边界点，将搜索到的边界点添加到当前备选分割边界上，得到各帧切片的完整的面部边界。边界生长的前后对比效果，如图6a和图6b所示。

在一个实施例中，如图7所示，根据备选分割边界，获取多个可信边界点的步骤，包括：

步骤S701，根据备选分割边界，构造与每帧筛选出的切片一一对应的边界矩阵。

每个边界矩阵的维度相同，具体大小可以视情况而定。在本实施例中，边界矩阵的背景点设置为0，边界点设置为1。当然也可以是设置为其它值，只要能区分出背景和边界点即可。边界点为各帧切片中的备选分割边界对应的点。

步骤S702，将所有边界矩阵与累加矩阵叠加，得到投票矩阵。

在本实施例中，累加矩阵可以为与边界矩阵同维度的零矩阵。将所有边界矩阵叠加到一个累加矩阵，这样穿过同一个点的备选分割边界会投票该点。

步骤S703，统计投票矩阵中每列的最大值，将最大值对应的点确定为可信边界点。

备选分割边界穿过同一个点会投票该点，背景点为0，边界点为1，如果一个元素(点)上累加的1的个数越多，分别统计每一列元素(点)的最大值，便可得到各列被备选分割边界经过最多的点，即亮度最大的点，确定该点为可信边界点，便可获取各列的可信边界点，由各列的可信边界点得到超声三维胎儿面部轮廓的可信边界。

在一个实施例中，如图8所示，根据可信边界点对胎儿体数据进行裁剪，以得到超声三维胎儿面部轮廓图像的步骤，包括：

步骤S801，根据可信边界点，制作裁剪模板。

裁剪胎儿体数据的主要操作是制作裁剪模板，裁剪模板是将投票后的可信边界点、图像右下角、图像左下角作为一个封闭区域进行填充，如图9所示，是本发明具体实施方式中提供的一种裁剪模板。

步骤S802，根据裁剪模块对胎儿体数据进行裁剪，得到超声三维胎儿面部轮廓图像。

将上述步骤获取的剪裁模板与筛选出的各帧切片做“与”操作——即各帧切片与裁剪模板白色区域一致的数据保留，黑色部分的数据删去。图10a和图10b分别是本发明具体实施方式中提供的矢状面方向切片裁剪前和裁剪后的示意图。利用剪裁模板裁剪胎儿体数据，便可得到胎儿面部轮廓的图像，实现了自动对胎儿面部的遮挡部分进行裁剪，简化了操作，提高了出图率。

在一个实施例中，在根据可信边界点对胎儿体数据进行裁剪，以得到胎儿面部轮廓图像的步骤之后，还包括：对裁剪后的胎儿体数据进行三维渲染。

将裁剪后的体数据进行渲染，渲染可采用公知的“光线投射法”等三维渲染方法来进行，得到更为直观的胎儿面部轮廓的图像。

本实施例对筛选出包含所述目标区域的各帧切片进行面部检测，得到各帧切片的备选分割边界，通过利用各切片的备选分割边界对各个面部边界点进行投票得到被备选分割边界经过最多的点——可信边界点，为提高边界检测的准确性，也可在得到备选分割边界之后进行边界生长，根据可信边界点制作裁剪模板，利用裁剪模板自动裁剪胎儿体数据，实现了自动对胎儿面部的遮挡部分进行裁剪，使得操作简便、快捷，减少了操作手动操作带来的误差，图像质量更高。

以下是本发明具体实施方式中提供的超声三维胎儿面部轮廓图像处理系统的实施例，超声三维胎儿面部轮廓图像处理系统的实施例基于上述的超声三维胎儿面部轮廓图像处理方法的实施例实现，在超声三维胎儿面部轮廓图像处理系统中未尽的描述，请参考前述超声三维胎儿面部轮廓图像处理方法的实施例。

请参考图11，其是本发明具体实施方式中提供的超声三维胎儿面部轮廓图像处理系统的实施例的结构方框图。如图所示，该系统，包括：

目标区域检测模块111，用于对胎儿体数据在预定方向的多帧切片进行检测，以获取各帧切片的目标区域，其中，所述目标区域包括胎儿头部区域。

可信边界点获取模块112，用于筛选出包含目标区域的切片，并对筛选出的切片进行面部边界检测，以获取可信边界点。

剪裁模块113还用于根据所述可信边界点制作裁剪模板；根据裁剪模块对胎儿体数据进行裁剪，得到超声三维胎儿面部轮廓图像。

在一个实施例中，该系统还包括：校正模块。校正模块用于当当前帧切片目标区域的位置与邻近切片目标区域的位置的差值超过预定阈值时，则对当前帧切片目标区域的位置进行校正。

校正模块还用于，遍历所有筛选出的切片，得到<帧号，目标区域>的序列；分别求出<帧号，目标区域>序列中各帧切片目标区域的位置与其邻近切片目标区域的位置的偏差；计算偏差的均值；当当前帧切片目标区域的位置与其邻近切片目标区域的位置的偏差大于所述均值时，则将当前帧切片目标区域的中心点坐标替换为目标切片目标区域的中心点坐标。

在一个实施例中，所述可信边界点获取模块还用于：获取各帧所述筛选出的切片中从较暗区域到较亮区域的过渡边界；根据过渡边界所在连通区域的灰度值和轮廓形态，确定各帧所述筛选出的切片的面部区域，并将面部区域的上表面边界作为备选分割边界；根据所述备选分割边界，获取多个可信边界点。

在一个实施例中，所述可信边界点获取模块包括边界生长单元，所述边界生长单元用于边界生长。

在一个实施例中，所述可信边界点获取模块还用于：根据所述备选分割边界，构造与每帧所述筛选出的切片一一对应的边界矩阵；将所有所述边界矩阵与累加矩阵叠加，得到投票矩阵；统计所述投票矩阵中每列的最大值，将最大值对应的点确定为可信边界点。

在一个实施例中，目标区域检测模块111还用于：利用预先设置的分类器检测胎儿体数据在预定方向的各帧切片的所述目标区域；保存所述目标区域及其对应的切片。

在一个实施例中，所述系统还包括渲染模块，用于对裁剪后的胎儿体数据进行三维渲染。

本实施例的超声三维胎儿面部轮廓图像处理系统用于实现前述的超声三维胎儿面部轮廓图像处理方法，因此超声三维胎儿面部轮廓图像处理系统中的具体实施方式可见前文中的超声三维胎儿面部轮廓图像处理方法的实施例部分，例如，目标区域检测模块111、可信边界点获取模块112、剪裁模块113，分别用于实现上述超声三维胎儿面部轮廓图像处理方法中步骤S101，S102，和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本实施例提供的超声三维胎儿面部轮廓图像处理系统对筛选出包含所述目标区域的切片进行面部检测，得到各帧切片的面部边界，对与邻近切片的目标区域的位置相差值达到设定偏差值的目标区域的位置进行校正，以提高检测的准确性，然后对所述切片的所述目标区域进行面部边界检测，通过对面部边界点进行投票得到被面部边界经过最多的点——可信边界点，利用可信边界点裁剪胎儿体数据，实现了自动对胎儿面部的遮挡部分进行裁剪，简化了检测人员的操作，提高了超声三维出图率。以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。