基于机器视觉的面部器官定位方法及相关设备

摘要

本申请提供了一种基于机器视觉的面部器官定位方法及相关设备，其中该方法包括：控制机械臂向检测对象移动，根据激光雷达数据得到检测对象的人脸图像；获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；在机械臂与人脸的距离小于等于预设值，且人脸不存在遮挡的情况下，根据激光雷达数据得到检测对象的第一人脸区域图像；获取第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；在检测对象的人脸存在遮挡的情况下，根据激光雷达数据得到检测对象的第二人脸区域图像；获取第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。本申请实施例有利于提高人体面部器官定位的精度。

说明书

技术领域

本申请涉及机器视觉技术在医疗健康领域的应用，尤其涉及一种基于机器视觉的面部器官定位方法及相关设备。

背景技术

随着新冠肺炎防疫的常态化，以及国家对基层医疗单位、农村地区等防疫能力提升的要求，鼻咽拭子采样逐步向基层地区普及。现阶段，鼻咽拭子采样多依赖于医护人员的手工操作，不同的采集手法使得获取的样本质量存在较大差异。更为重要的是，在采集过程中，检测对象含有病原体的飞沫通过咳嗽或喷嚏散发到空气中及采集人身上，对于含有新冠病毒阳性的患者或者潜伏期的病例，会严重增加医护人员的感染风险。针对这些情况，部分团队开发了基于人机协作的采样机器人，但是该方案依赖于操作人员对机器的控制，采样的效率不高。此外，也有部分研究团队开发的采样机器人可以采用特殊结构的辅助标记鼻夹标识鼻子位置，通过机器视觉自动识别面部结构和鼻孔位置；也可以采用结构光导航系统，在检测对象上固定光学定标记，以结构光摄像机为传感器进行3D(3-dimension，三维)成像，对获取到的二维平面信息和深度信息进行分析标记，实现鼻孔的定位。然而，目前的方案在采样过程中要求检测对象保持姿态，但是采样机器人在应用过程中，难免会遇到检测对象复杂多样的行为和突发状况，这就导致定位精度较低。

发明内容

针对上述问题，本申请提供了一种基于机器视觉的面部器官定位方法及相关设备，有利于提高人体面部器官定位的精度。

为实现上述目的，本申请实施例第一方面提供了一种基于机器视觉的面部器官定位方法，应用于人体生物样本采集装置，该人体生物样本采集装置包括机械臂，该方法包括：

控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；

在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

结合第一方面，在一种可能的实施方式中，基于第一解剖标记点得到检测对象的目标器官的位置信息，包括：

采用第一解剖标记点对人脸图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第一解剖标记点中确定出目标第一解剖标记点；

根据目标第一解剖标记点得到目标器官的位置信息。

结合第一方面，在一种可能的实施方式中，根据目标第一解剖标记点得到目标器官的位置信息，包括：

以目标第一解剖标记点构建目标坐标系；

在目标坐标系中，采用目标第一解剖标记点的坐标计算得到目标器官的中心点的位姿信息；

根据位姿信息得到目标器官的位置信息。

结合第一方面，在一种可能的实施方式中，根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，包括：

获取第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息；

获取第一人脸区域图像中各个像素点对应的第二区域的第二色彩信息和第二纹理信息；

根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点。

结合第一方面，在一种可能的实施方式中，根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点，包括：

确定第一解剖标记点对应的第一区域的第一色彩信息与各个像素点对应的第二区域的第二色彩信息之间的第一匹配值，以及确定第一解剖标记点对应的第一区域的第一纹理信息与各个像素点对应的第二区域的第二纹理信息之间的第二匹配值；

在第一解剖标记点对应的第一区域与各个像素点中的目标像素点对应的第二区域之间的第一匹配值大于第一阈值，且第一解剖标记点对应的第一区域与目标像素点对应的第二区域之间的第二匹配值大于第二阈值的情况下，将目标像素点确定为第一人脸区域图像中的第四解剖标记点；目标像素点为各个像素点中的任意一个像素点；

根据第一解剖标记点和第四解剖标记点得到检测对象的人脸中除第四解剖标记点以外的第五解剖标记点；

将第四解剖标记点和第五解剖标记点确定为第二解剖标记点。

结合第一方面，在一种可能的实施方式中，基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，包括：

采用第二人脸区域图像中未被遮挡的第一解剖标记点和有限元仿真优化对第二人脸区域图像进行补全，得到补全后的第二人脸区域图像；

将补全后的第二人脸区域图像中的解剖标记点确定为第三解剖标记点。

结合第一方面，在一种可能的实施方式中，基于第三解剖标记点得到目标器官的位置信息，包括：

采用第三解剖标记点对补全后的第二人脸区域图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第三解剖标记点中确定出目标第三解剖标记点；

根据目标第三解剖标记点得到面部器官的位置信息。

本申请实施例第二方面提供了一种基于机器视觉的面部器官定位装置，该装置包括：

第一获取模块，用于控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

第一定位模块，用于获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；

第二获取模块，用于在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

第二定位模块，用于根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

第三获取模块，用于在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

第三定位模块，用于基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：

控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；

在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：

控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；

在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

本申请的上述方案至少包括以下有益效果：与现有技术相比，本申请实施例通过控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。这样根据机械臂与人脸的距离、人脸的遮挡情况，在不同阶段采用不同的面部器官定位方案，即使检测对象存在姿态变化，也能根据解剖标记点对检测对象的面部器官进行准确定位，从而有利于提高人体面部器官定位的精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用环境的示意图；

图2为本申请实施例提供的一种多阶段定位方案的示意图；

图3为本申请实施例提供的一种基于机器视觉的面部器官定位方法的流程示意图；

图4为本申请实施例提供的一种获取第二解剖标记点的流程示意图；

图5为本申请实施例提供的一种获取第二解剖标记点的匹配示例图；

图6为本申请实施例提供的另一种基于机器视觉的面部器官定位方法的流程示意图；

图7为本申请实施例提供的一种基于机器视觉的面部器官定位装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种基于机器视觉的面部器官定位方案，该方案可基于图1所示的应用环境实施，如图1所示，该应用环境包括人体生物样本采集装置110和进行人体生物样本采集的检测对象120，其中，人体生物样本采集装置110包括机械臂1101，人体生物样本采集装置110可通过控制机械臂1101对检测对象120进行人体生物样本采集。机械臂1101上设置有激光雷达1102，激光雷达1102与人体生物样本采集装置110通信连接，激光雷达1102用于高速往复扫描采集环境数据，以使得人体生物样本采集装置110通过环境数据确定检测对象120的位置，然后控制机械臂1101向检测对象120的人脸方向移动。

在控制机械臂1101向检测对象120的人脸方向移动的过程中，往往会存在人脸遮挡、人脸移动或人脸表情变化等各种情况，为了解决上述情况带来的面部器官定位精度较低的问题，人体生物样本采集装置110提供了视觉定位与伺服系统，该视觉定位与伺服系统可在检测对象的人脸产生移动的情况下，根据激光雷达1102采集的数据进行人脸实时追踪、定位，同时，其具备关键点检测、器官分割、姿态估计等多任务分析处理功能，适用于检测对象的人脸产生移动或躲避等场景。具体而言，本申请实施例在采样过程中可根据人脸的实际状况，分阶段采用不同的面部器官定位方案，比如，如图2所示，在能够采集到完整人脸的情况下，可采用人工智能(Artificial Intelligence，AI)解剖标记点的方法实现定位；在机械臂1101靠近人脸，仅能采集到部分人脸的情况下，可采用光流追踪的方法实现定位；在人脸存在遮挡的情况下，可采用有限元仿真优化的方法实现定位。这样基于采用过程中机械臂1101与人脸的位置关系对人脸实际状况产生的影响，采用不同的面部器官定位方案，有利于提高人体面部器官定位的精度，同时，多阶段采用不同的定位方案在采样过程能够实现持续定位，从而有利于提高定位效率。

请参见图3，图3为本申请实施例提供的一种基于机器视觉的面部器官定位方法的流程示意图，该基于机器视觉的面部器官定位方法应用于人体生物样本采集装置，可基于图1所示的应用环境实施，如图3所示，包括步骤310-360：

310：控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像。

本申请实施例中，人体生物样本采集装置可以是拭子采样机器人，该人体生物样本采集装置可以应用到鼻咽拭子采样、咽拭子采样、耳拭子采样等场景中，即本申请实施例中的目标器官可以是鼻子、嘴巴、耳朵等器官。

示例性的，人体生物样本采集装置包括机械臂，机械臂上设置有激光雷达，通过激光雷达对采集环境进行扫描，以确定检测对象的位置信息和姿态信息，人体生物样本采集装置根据该位置信息和姿态信息控制机械臂向检测对象移动，在移动过程中，通过激光雷达持续向检测对象发送雷达信号，并接收返回的激光雷达数据，根据该激光雷达数据可得到检测对象人脸图像。由于在定位初期，机械臂与检测对象的人脸之间还存在一定距离，可以完整的看到人脸，因此，该人脸图像包括了检测对象的完整人脸。

320：获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息。

本申请实施例中，第一解剖标记点是指人体生物样本采集装置能够观测到的人脸中的解剖标记点，应当理解的，人脸上通常存在上百个解剖标记点，比如鼻尖、眼角、嘴角等。在采集的人脸图像中包括检测对象的完整人脸的情况下，采用基于CNN(ConvolutionalNeural Networks，卷积神经网络)的网络框架定位出人脸图像中所有的第一解剖标记点，从所有的第一解剖标记点中确定出预设数量的目标第一解剖标记点，根据该目标第一解剖标记点得到目标器官的位置信息。经测试，采用这上百个解剖标记点进行目标器官的定位，在正常人脸上，定位精度约为0.3mm。

具体实现中，首先采用第一解剖标记点对人脸图像进行面部器官分割，得到目标器官的初始位置信息，比如，根据所有的第一解剖标记点可以分割出人脸中眼睛、鼻子、嘴巴的粗略位置，比如，当目标器官为鼻子时，可将鼻子的粗略位置确定为鼻子的初始位置信息。然后，根据目标器官的初始位置信息从第一解剖标记点中确定出目标第一解剖标记点，该目标第一解剖标记点是指距目标的距离小于等于(比如最小)预设值的第一解剖标记点，以目标器官为鼻子进行说明，该目标可以是鼻子的中心，当距目标的距离小于或等于预设值的第一解剖标记点数量不够的情况下，可选取观测到的距目标的距离次小的第一解剖标记点为目标第一解剖标记点，比如，可选4个目标第一解剖标记点。对于选取出的目标第一解剖标记点，以该目标第一解剖标记点构建目标坐标系，该目标坐标系可以是重心坐标系(Barycentric coordinates)，重心坐标系对于空间三角形P1、P2、P3内任意一点P，必定唯一存在三个数w1,w2,w3满足：1)w1+w2+w3＝1；2)P＝w1*P1+w2*P2+w3*P3，即P表示成P1,P2,P3的线性组合，则(w1,w2,w3)就称为此三角形上P点的(归一化)重心坐标,w1,w2,w3分别为P1,P2,P3的权重。由于此处涉及到三维空间，因此，采用4个目标第一解剖标记点x1,x2,x3,x4来定义重心坐标系。在目标坐标系中，采用目标第一解剖标记点x1,x2,x3,x4的坐标计算得到目标器官的中心点的位姿信息，其计算公式如下：

X＝αx1+βx2+γx3+δx4；

其中，α+β+γ+δ＝1，α,β,γ,δ分别表示x1,x2,x3,x4的权重，X表示目标器官的中心点的位姿信息，比如，在鼻咽拭子采样场景中，其表示鼻子的中心点的位姿信息，进一步可以是鼻咽，应当理解的，位姿信息通常包括位置信息和角度信息，将该目标器官的中心点的位置信息确定为目标器官的位置信息。

330：在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像。

本申请实施例中，在机械臂持续向检测对象的人脸靠近的过程中，激光雷达仍然持续的向检测对象发送雷达信号，人体生物样本采集装置实时接收返回的雷达激光数据。当机械臂与检测对象的人脸的距离小于等于某个预设值时，基于返回的激光雷达数据仅能得到包含部分人脸的第一人脸区域图像。

340：根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息。

本申请实施例中，第二解剖标记点是指在仅采集到部分人脸的情况下，根据前一帧完整人脸图像中的第一解剖标记点和该第一人脸区域图像，采用光流追踪得到的新的解剖标记点。如图4所示，上述根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点包括步骤401-403：

401：获取第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息。

本申请实施例中，机械臂上还设置有传感器，该传感器包括结构光传感器(或者ToF(Time of Flight，飞行时间)传感器)和RGBD(Red红色，Green绿色，Blue蓝色，Depth深度)传感器，示例性的，可通过结构光传感器(或者ToF传感器)获取采集的图像的纹理信息，通过RGBD传感器获取采集的图像的颜色信息。针对完整人脸图像中的每个第一解剖标记点，将其预设范围内的区域确定为第一区域，将该第一区域作为光流追踪的区域，并提取该第一区域的第一色彩信息和第一纹理信息。

402：获取第一人脸区域图像中各个像素点对应的第二区域的第二色彩信息和第二纹理信息。

本申请实施例中，与第一解剖标记点类似的，对于第一人脸区域图像中的各个像素点，将其预设范围内的区域确定为第二区域，并提取该第二区域的第一色彩信息和第二纹理信息。进一步的，还可提取第一区域和第二区域的深度信息。该实施方式中，结合区域的色彩信息、纹理信息、深度信息等进行追踪匹配，有利于提高匹配精度，从而更精确地定位到解剖标记点。

403：根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点。

本申请实施例中，确定第一解剖标记点对应的第一区域的第一色彩信息与各个像素点对应的第二区域的第二色彩信息之间的第一匹配值，以及确定第一解剖标记点对应的第一区域的第一纹理信息与各个像素点对应的第二区域的第二纹理信息之间的第二匹配值，在第一解剖标记点对应的第一区域与各个像素点中的目标像素点对应的第二区域之间的第一匹配值大于第一阈值，且第一解剖标记点对应的第一区域与目标像素点对应的第二区域之间的第二匹配值大于第二阈值的情况下，将目标像素点确定为第一人脸区域图像中的第四解剖标记点，然后，根据第一解剖标记点和第四解剖标记点得到检测对象的人脸中除第四解剖标记点以外的第五解剖标记点，将第四解剖标记点和第五解剖标记点确定为第二解剖标记点。其中，目标像素点为各个像素点中的任意一个像素点，第四解剖标记点是指对前一帧完整人脸图像中的第一解剖标记点进行光流追踪得到的解剖标记点。比如，前一帧完整人脸图像中存在500个第一解剖标记点，按照上述匹配方法对该500个第一解剖标记点进行光流追踪得到第一人脸区域中200个第四解剖标记点，然后对该500个第一解剖标记点进行变换得到变换后的500个解剖标记点，再如图5所示，将该变换后的500个解剖标记点(图5中的(1)图)与200个第四解剖标记点(图5中(2)图)进行匹配，得到人脸中剩下的300个解剖标记点(图5中(3)图所示的白色标记点)，记为第五解剖标记点，将追踪得到的第四解剖标记点和变换匹配得到的第五解剖标记点确定为新的解剖标记点，即第二解剖标记点。示例性的，由于光流追踪涉及到大量计算，本申请实施例采用GPU(Graphics ProcessingUnit，图形处理器)进行加速。

示例性的，上述基于第二解剖标记点得到目标器官的位置信息，包括：

采用第二解剖标记点进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第二解剖标记点中确定出目标第二解剖标记点；

以目标第二解剖标记点构建重心坐标系，采用目标第二解剖标记点的坐标计算得到目标器官的中心点的位置信息；

根据该位姿信息得到目标器官的位置信息。

其中，上述基于第二解剖标记点得到目标器官的位置信息的具体实施方式可参见根据第一解剖标记点得到目标器官的位置信息实施方式中的相关描述，此处不再赘述。

350：在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像。

本申请实施例中，随着机械臂进一步向检测对象的人脸推进，机械臂末端夹持的采样棒对人脸产生了遮挡，导致根据返回的激光雷达数据仅能获取到检测对象的部分人脸，即第二人脸区域图像。

360：基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

本申请实施例中，人体生物样本采集装置在确定检测对象的人脸存在遮挡的情况下，执行人脸补全操作，示例性的，可采用有限元仿真优化的方法进行人脸补全。

示例性的，上述基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，包括：

采用第二人脸区域图像中未被遮挡的第一解剖标记点和有限元仿真优化对第二人脸区域图像进行补全，得到补全后的第二人脸区域图像；

将补全后的第二人脸区域图像中的解剖标记点确定为第三解剖标记点。

具体实施中，人体生物样本采集装置能够定位出第二人脸区域图像中未被遮挡的第一解剖标记点，通过调用内部存储的标准人脸模型，采用拉伸等方法将标准人脸模型中的解剖标记点与第二人脸区域图像中未被遮挡的第一解剖标记点进行重合，以第二人脸区域图像中未被遮挡的第一解剖标记点为有限元仿真的约束条件，以估算检测对象的人脸中被遮挡的解剖标记点，完成第二人脸区域图像的补全。同时，定义有限元能量，满足变形的需求能量最小，其中，有限元能量的公式如下：

E＝(R(a’,b’,c’)-(a,b,c))；

其中，E表示变形的需求能量，(a’,b’,c’)表示补全后的第二人脸区域图像中的任意的三个第三解剖标记点，R(a’,b’,c’)表示对(a’,b’,c’)进行刚性变换，(a,b,c)表示该任意的三个第三解剖标记点在标准人脸模型上对应的三个解剖标记点。

示例性的，上述基于第三解剖标记点得到目标器官的位置信息，包括：

采用第三解剖标记点对补全后的第二人脸区域图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第三解剖标记点中确定出目标第三解剖标记点；

根据目标第三解剖标记点得到面部器官的位置信息。

示例性的，上述根据目标第三解剖标记点得到面部器官的位置信息，包括：

以目标第三解剖标记点构建重心坐标系；

在重心坐标系中，采用目标第三解剖标记点的坐标计算得到目标器官的中心点的位姿信息；

根据位姿信息得到目标器官的位置信息。

其中，上述基于第三解剖标记点得到目标器官的位置信息的具体实施方式同样可参见根据第一解剖标记点得到目标器官的位置信息实施方式中的相关描述，此处不再赘述。该实施方式中，当检测对象的人脸存在遮挡时，采用有限元优化的方法对采集到的第二人脸区域图像进行补全，有利于解决机械臂近端采样时，鼻子等目标器官定位难的问题，提高定位精度。

可以看出，本申请实施例通过控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。这样根据机械臂与人脸的距离、人脸的遮挡情况，在不同阶段采用不同的面部器官定位方案，对近端定位也适用，即使检测对象存在姿态变化，也能根据解剖标记点对检测对象的面部器官进行准确定位，从而有利于提高人体面部器官定位的精度。另外，采用小型化的激光雷达进行环境数据和图像数据的采集，整个光学系统被集成在一个芯片上，有利于降低功耗和减小体积。

请参见图6，图6为本申请实施例提供的另一种基于机器视觉的面部器官定位方法的流程示意图，同样可基于图1所示的应用环境实施，如图6所示，包括步骤610-680：

610：控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

620：获取人脸图像中的第一解剖标记点，采用第一解剖标记点对人脸图像进行面部器官分割，得到目标器官的初始位置信息；

630：根据目标器官的初始位置信息从第一解剖标记点中确定出目标第一解剖标记点；

640：根据目标第一解剖标记点得到目标器官的位置信息；

650：在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

660：根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

670：在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

680：基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

其中，上述步骤610-680的具体实施方式在图3所示的实施例中已有详细描述，且能达到相同或相似的有益效果，此处不再赘述。

基于上述基于机器视觉的面部器官定位方法实施例的描述，本申请还提供一种基于机器视觉的面部器官定位装置，所述基于机器视觉的面部器官定位装置可以是运行于终端中的一个计算机程序(包括程序代码)。该基于机器视觉的面部器官定位装置可以执行图3或图6所示的方法。请参见图7，该装置包括：

第一获取模块710，用于控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

第一定位模块720，用于获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；

第二获取模块730，用于在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

第二定位模块740，用于根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

第三获取模块750，用于在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

第三定位模块760，用于基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

在一种可能的实施方式中，在基于第一解剖标记点得到检测对象的目标器官的位置信息方面，第一定位模块720具体用于：

采用第一解剖标记点对人脸图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第一解剖标记点中确定出目标第一解剖标记点；

根据目标第一解剖标记点得到目标器官的位置信息。

在一种可能的实施方式中，在根据目标第一解剖标记点得到目标器官的位置信息方面，第一定位模块720具体用于：

以目标第一解剖标记点构建目标坐标系；

在目标坐标系中，采用目标第一解剖标记点的坐标计算得到目标器官的中心点的位姿信息；

根据位姿信息得到目标器官的位置信息。

在一种可能的实施方式中，在根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点方面，第二定位模块740具体用于：

获取第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息；

获取第一人脸区域图像中各个像素点对应的第二区域的第二色彩信息和第二纹理信息；

根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点。

在一种可能的实施方式中，在根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点方面，第二定位模块740具体用于：

确定第一解剖标记点对应的第一区域的第一色彩信息与各个像素点对应的第二区域的第二色彩信息之间的第一匹配值，以及确定第一解剖标记点对应的第一区域的第一纹理信息与各个像素点对应的第二区域的第二纹理信息之间的第二匹配值；

在第一解剖标记点对应的第一区域与各个像素点中的目标像素点对应的第二区域之间的第一匹配值大于第一阈值，且第一解剖标记点对应的第一区域与目标像素点对应的第二区域之间的第二匹配值大于第二阈值的情况下，将目标像素点确定为第一人脸区域图像中的第四解剖标记点；目标像素点为各个像素点中的任意一个像素点；

根据第一解剖标记点和第四解剖标记点得到检测对象的人脸中除第四解剖标记点以外的第五解剖标记点；

将第四解剖标记点和第五解剖标记点确定为第二解剖标记点。

在一种可能的实施方式中，在基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点方面，第三定位模块760具体用于：

采用第二人脸区域图像中未被遮挡的第一解剖标记点和有限元仿真优化对第二人脸区域图像进行补全，得到补全后的第二人脸区域图像；

将补全后的第二人脸区域图像中的解剖标记点确定为第三解剖标记点。

在一种可能的实施方式中，在基于第三解剖标记点得到目标器官的位置信息方面，第三定位模块760具体用于：

采用第三解剖标记点对补全后的第二人脸区域图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第三解剖标记点中确定出目标第三解剖标记点；

根据目标第三解剖标记点得到面部器官的位置信息。

根据本申请的一个实施例，图7所示的基于机器视觉的面部器官定位装置的各个模块可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于机器视觉的面部器官定位装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的基于机器视觉的面部器官定位装置设备，以及来实现本申请实施例的基于机器视觉的面部器官定位方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

基于上述方法实施例和装置实施例的描述，请参见图8，图8为本申请实施例提供的一种电子设备的结构示意图，如图8所示，该电子设备至少包括处理器810、输入设备820、输出设备830以及计算机存储介质840。其中，电子设备内的处理器810、输入设备820、输出设备830以及计算机存储介质840可通过总线或其他方式连接。

计算机存储介质840可以存储在电子设备的存储器中，所述计算机存储介质840用于存储计算机程序，所述计算机程序包括程序指令，所述处理器810用于执行所述计算机存储介质840存储的程序指令。处理器810(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，本申请实施例提供的电子设备的处理器810可以用于进行一系列基于机器视觉的面部器官定位处理：

控制机械臂向检测对象移动，根据获取到的激光雷达数据得到检测对象的人脸图像；

获取人脸图像中的第一解剖标记点，基于第一解剖标记点得到检测对象的目标器官的位置信息；

在机械臂与检测对象的人脸的距离小于等于预设值，且检测对象的人脸不存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第一人脸区域图像；

根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，基于第二解剖标记点得到目标器官的位置信息；

在检测对象的人脸存在遮挡的情况下，根据获取到的激光雷达数据得到检测对象的第二人脸区域图像；

基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，以及基于第三解剖标记点得到目标器官的位置信息。

再一个实施例中，处理器810执行所述基于第一解剖标记点得到检测对象的目标器官的位置信息，包括：

采用第一解剖标记点对人脸图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第一解剖标记点中确定出目标第一解剖标记点；

根据目标第一解剖标记点得到目标器官的位置信息。

再一个实施例中，处理器810执行所述根据目标第一解剖标记点得到目标器官的位置信息，包括：

以目标第一解剖标记点构建目标坐标系；

在目标坐标系中，采用目标第一解剖标记点的坐标计算得到目标器官的中心点的位姿信息；

根据位姿信息得到目标器官的位置信息。

再一个实施例中，处理器810执行所述根据第一解剖标记点和第一人脸区域图像得到第二解剖标记点，包括：

获取第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息；

获取第一人脸区域图像中各个像素点对应的第二区域的第二色彩信息和第二纹理信息；

根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点。

再一个实施例中，处理器810执行所述根据第一解剖标记点对应的第一区域的第一色彩信息和第一纹理信息，以及各个像素点对应的第二区域的第二色彩信息和第二纹理信息得到第二解剖标记点，包括：

确定第一解剖标记点对应的第一区域的第一色彩信息与各个像素点对应的第二区域的第二色彩信息之间的第一匹配值，以及确定第一解剖标记点对应的第一区域的第一纹理信息与各个像素点对应的第二区域的第二纹理信息之间的第二匹配值；

在第一解剖标记点对应的第一区域与各个像素点中的目标像素点对应的第二区域之间的第一匹配值大于第一阈值，且第一解剖标记点对应的第一区域与目标像素点对应的第二区域之间的第二匹配值大于第二阈值的情况下，将目标像素点确定为第一人脸区域图像中的第四解剖标记点；目标像素点为各个像素点中的任意一个像素点；

根据第一解剖标记点和第四解剖标记点得到检测对象的人脸中除第四解剖标记点以外的第五解剖标记点；

将第四解剖标记点和第五解剖标记点确定为第二解剖标记点。

再一个实施例中，处理器810执行所述基于第二人脸区域图像中未被遮挡的第一解剖标记点得到第三解剖标记点，包括：

采用第二人脸区域图像中未被遮挡的第一解剖标记点和有限元仿真优化对第二人脸区域图像进行补全，得到补全后的第二人脸区域图像；

将补全后的第二人脸区域图像中的解剖标记点确定为第三解剖标记点。

再一个实施例中，处理器810执行所述基于第三解剖标记点得到目标器官的位置信息，包括：

采用第三解剖标记点对补全后的第二人脸区域图像进行面部器官分割，得到目标器官的初始位置信息；

根据目标器官的初始位置信息从第三解剖标记点中确定出目标第三解剖标记点；

根据目标第三解剖标记点得到面部器官的位置信息。

示例性的，上述电子设备可以是人体生物样本采集装置或者与人体生物样本采集装置通信连接的电脑、服务器等，该服务器可以是独立的物理服务器，也可以是服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。电子设备可包括但不仅限于处理器810、输入设备820、输出设备830以及计算机存储介质840。还可以包括内存、电源、应用客户端模块等。输入设备820可以是键盘、触摸屏、射频接收器等，输出设备830可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

需要说明的是，由于电子设备的处理器810执行计算机程序时实现上述的基于机器视觉的面部器官定位方法中的步骤，因此上述基于机器视觉的面部器官定位方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是信息处理设备或信息发送设备或信息接收设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关基于机器视觉的面部器官定位方法中的相应步骤。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。