首页> 中国专利> 用于对被扫描对象的脸部表情进行采集的三维扫描装置

用于对被扫描对象的脸部表情进行采集的三维扫描装置

摘要

本申请公开了一种用于对被扫描对象的脸部表情进行采集的三维扫描装置。所述三维扫描装置包括:投影器,其用于向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像;双目摄像头,其用于在所述投影器向所述被扫描对象的脸部表情投影所述格雷码编码图案和所述相移图像时,同步拍摄对应的格雷码编码图案和相移图像;片上处理器,其与所述投影器和所述双目摄像头通信连接,并且用于:根据所述格雷码编码图案和一张所述相移图像进行三维匹配;以及基于三维匹配结果确定三维坐标信息,以实现对所述被扫描对象的脸部表情进行采集。利用本申请的方案,可以提高扫描精度和运算速度,满足被扫描对象的脸部表情变化的需求。

著录项

  • 公开/公告号CN115670392A

    专利类型发明专利

  • 公开/公告日2023-02-03

    原文格式PDF

  • 申请/专利号CN202310005920.1

  • 发明设计人 涂颜帅;雷娜;陈伟;吴伯阳;

    申请日2023-01-04

  • 分类号A61B5/00;G06V40/16;

  • 代理机构北京维昊知识产权代理事务所(普通合伙);

  • 代理人李波;孙新国

  • 地址 100191 北京市海淀区知春路9号10层1005号

  • 入库时间 2023-06-19 18:32:25

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-02-03

    公开

    发明专利申请公布

说明书

技术领域

本申请一般涉及图像处理技术领域。更具体地,本申请涉及一种用于对被扫描对象的脸部表情进行采集的三维扫描装置和三维扫描方法以及一种头戴式三维扫描装置。

背景技术

随着深度学习技术的推进,人脸相关任务研究也跃升为学界和业界的热点。人们所熟知的人脸任务一般包括人脸检测,人脸身份识别,人脸表情识别等,其多是采用二维RGB 人脸作为输入,而三维扫描成像技术的出现与发展,使得人脸相关任务有了一条新的探索路线。

目前,影视动画中人物表情主要靠制作人员一帧一帧的手工制作,每一个动画表情的制作都耗费很多时间,这既浪费很多人力成本,又难以做到与真实表情变化一致。通过三维扫描仪动态捕捉人脸的表情信息,再将人物表情自动迁移到动画人物的脸上,可降低影视动漫行业中70%的时间成本和人力成本,并且扫描获得的人脸表情真实、自然。该技术也可以应用于演员拍戏时部分镜头补拍、换脸等人脸表情采集、迁移的需求,为影视动漫、游戏行业提供了全新的解决方案。然而,现有的三维扫描仪往往需要至少采集三张相移图像,导致扫描速度和运算速度较慢,无法满足被扫描对象的脸部表情变化的需求。

有鉴于此,亟需提供一种用于对被扫描对象的脸部表情进行采集的三维扫描装置,以便提高扫描精度和运算速度,满足被扫描对象的脸部表情变化的需求。

发明内容

为了至少解决如上所提到的一个或多个技术问题,本申请在多个方面中提出了用于对被扫描对象的脸部表情进行采集的方案。

在第一方面中,本申请提供一种用于对被扫描对象的脸部表情进行采集的三维扫描装置,包括:投影器,其用于向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像;双目摄像头,其用于在所述投影器向所述被扫描对象的脸部表情投影所述格雷码编码图案和所述相移图像时,同步拍摄对应的格雷码编码图案和相移图像;片上处理器,其与所述投影器和所述双目摄像头通信连接,并且用于:根据所述格雷码编码图案和一张所述相移图像进行三维匹配;以及基于三维匹配结果确定三维坐标信息,以实现对所述被扫描对象的脸部表情进行采集。

在一个实施例中,其中在根据所述格雷码编码图案和一张所述相移图像进行三维匹配中,所述片上处理器进一步用于:根据所述格雷码编码图案和一张所述相移图像确定与三维匹配相关的绝对相位;以及基于所述绝对相位进行三维匹配。

在另一个实施例中,其中在根据所述格雷码编码图案和一张所述相移图像确定与三维匹配相关的绝对相位中,所述片上处理器进一步用于:根据所述格雷码编码图案计算格雷编码值并且确定相位展开级次;基于所述格雷编码值和一张所述相移图像计算截断相位;以及根据所述相位展开级次和所述截断相位确定与三维匹配相关的绝对相位。

在又一个实施例中,其中基于所述格雷编码值和一张所述相移图像计算截断相位中,所述片上处理器进一步用于:根据一张所述相移图像确定对应的相移模型,其中所述相移模型中至少包括常数参数;基于所述格雷编码值计算所述常数参数;以及基于所述常数参数和所述相移模型计算所述截断相位。

在又一个实施例中,其中所述投影器至少包括转动镜和线激光器,所述片上处理器还进一步用于:控制所述转动镜根据预定角度转动并产生触发信号;以及响应于所述触发信号,控制所述线激光器的开启或者关闭而产生亮暗条纹投影,以控制令所述投影器向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像。

在又一个实施例中,其中所述投影器还包括角度传感器,所述角度传感器用于反馈所述转动镜的转动角度,以获得反馈结果,所述片上处理器还进一步用于:根据所述反馈结果构建与所述转动镜相关的转动模型;以及基于所述转动模型对所述投影器进行最优控制。

在又一个实施例中,其中所述转动模型与所述转动角度、所述投影器的驱动电流以及阻尼相关联,在基于所述转动模型对所述投影器进行最优控制中,所述片上处理器还进一步用于:计算所述驱动电流与所述转动角度的换算系数、阻尼系数和延时时间;以及根据所述换算系数、所述阻尼系数、所述延时时间和所述转动角度控制所述驱动电流和所述线激光器的开启或者关闭,以对所述投影器进行最优控制。

在又一个实施例中,所述三维扫描装置,还包括网络模块,所述片上处理器还进一步用于经由所述网络模块向终端传输数据。

在第二方面中,本申请还提供用于对被扫描对象的脸部表情进行采集的三维扫描方法,包括:使用投影器向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像;使用双目摄像头在所述投影器向所述被扫描对象的脸部表情投影所述格雷码编码图案和所述相移图像时,同步拍摄对应的格雷码编码图案和相移图像;使用片上处理器根据所述格雷码编码图案和一张所述相移图像进行三维匹配;以及基于三维匹配结果确定三维坐标信息,以实现对所述被扫描对象的脸部表情进行采集。

在第三方面中,本申请还提供一种头戴式三维扫描装置,包括:头盔;以及根据前述第一方面中的多个实施例所述的三维扫描装置。

通过如上所提供的用于对被扫描对象的脸部表情进行采集的三维扫描装置,本申请实施例通过设置投影器向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像,并且通过双目摄像头同步拍摄投影格雷码编码图案和一张相移图像,进而基于格雷码编码图案和一张相移图像进行三维匹配确定三维坐标信息,以对被扫描对象的脸部表情进行采集。基于此,通过投影器投影特定的图案,结合单张相移图像进行三维匹配,能够提高三维扫描装置的扫描速度和测算三维坐标信息的运算速度,从而满足被扫描对象的脸部表情变化的需求。

进一步地,本申请实施例通过格雷码编码图案和一张相移图像确定的绝对相位进行三维匹配,由于绝对相位单调递增,使得基于绝对相位作为匹配量的三维匹配不存在歧义。也即,一个像素的匹配点是唯一且精确的,因此可以精确的实现三维点云重构,提高三维扫描的精度,而且本申请实施例在仅采用一张相移图像的情形下,还能不损失任何相位精度。更进一步地,本申请实施例的投影器包括转动镜和线激光器,以实现投影格雷码编码图案。在一些实施例中,为了精确控制转动镜,本申请实施例还设置有角度传感器,以实时反馈转动镜的位置。此外,本申请实施例还提供一种头戴式三维扫描装置,以采集运动状态下的被扫描对象的脸部表情变化。

附图说明

通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:

图1是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描装置的示例性结构框图;

图2是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描装置的示例性示意图;

图3是示出根据本申请实施例的投影器投影格雷码编码图案的示例性示意图;

图4是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描装置的整体的示例性结构框图;

图5是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描方法的示例性流程框图;以及

图6是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的设备的示例性结构框图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例,而并非可以实现本申请的所有实施例。基于本说明书公开的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

图1是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描装置100的示例性结构框图。如图1中所示,该三维扫描装置100可以包括投影器110、双目摄像头120和片上处理器130。

在一个实施例中,上述投影器110可以用于向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像。在一个实现场景中,该投影器110可以例如是微机电系统(Micro-Electro-Mechanical System,“MEMS”)的结构光投影器,以投影特定的图案,将扫描空间进行唯一编码。相比于传统的结构光投影器(例如投影器)而言,本申请采用MEMS的结构光投影器具有体积小,帧率高等优点。

在一些实施例中,上述投影器110可以至少包括转动镜和线激光器。在实际应用场景中,转动镜可以布置于投影器110的表面并且布置与水平方向成一定角度(例如图2中所示),线激光器可以通过固定支架布置于朝向前述转动镜,通过线激光器的开关和转动镜的同步转动而实现亮暗条纹的投影,从而实现投影格雷码编码图案。具体而言,前述转动镜可以被片上处理器130控制根据预定角度转动并产生触发信号,响应于该触发信号,前述线激光器被片上处理器130控制开启或者关闭而产生亮暗条纹投影,从而令投影器向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像。稍后将结合图3详细描述前述投影器。

在一个实施例中,上述双目摄像头120可以用于在投影器向被扫描对象的脸部表情投影格雷码编码图案和相移图像时,同步拍摄对应的影格雷码编码图案和相移图像。基于此,可以通过双目立体匹配求解三维坐标信息,即通过两个摄像头像素视差计算深度信息。特别地,本申请在投影器向被扫描对象的脸部表情投影格雷码编码图案时,同步拍摄一张相移图像。

在一个实施例中,上述片上处理器103可以用于根据格雷码编码图案和一张相移图像进行三维匹配,以基于三维匹配结果确定三维坐标信息,实现对被扫描对象的脸部表情进行采集。在一个实施例中,前述片上处理器103可以例如是基于现场可编程逻辑门阵列(Field Programmable Gate Array,“FPGA”)的处理器。其中,在根据格雷码编码图案和一张相移图像进行三维匹配,以基于三维匹配结果确定三维坐标信息中,所述片上处理器103进一步用于根据格雷码编码图案和一张相移图像确定与三维匹配相关的绝对相位,进而基于绝对相位进行三维匹配。具体来说,首先可以根据格雷码编码图案计算格雷编码值并且确定相位展开级次,接着基于格雷编码值和一张相移图像计算截断相位,以根据相位展开级次和截断相位确定与三维匹配相关的绝对相位。

在一个示例性场景中,假设将格雷码编码图案记为

其中,

在一个实现场景中,上述

在获得上述格雷编码值后,可以基于格雷编码值和一张相移图像计算截断相位。在一个实施例中,可以根据一张相移图像确定对应的相移模型,其中相移模型中至少包括常数参数,接着基于格雷编码值计算常数参数,以基于常数参数和相移模型计算截断相位。需要理解的是,传统的三维扫描装置进行采集时,通过例如投影器投影三幅正弦强度分布的图案,摄像机同步采集三幅图像

其中,

可以理解,由于上述公式(3)中的tan的反函数

在一个实施例中,参考上述公式(2),可以获得单张相应图像对应的相移模型。在一个示例性场景中,可以通过如下式子表示单张相应图像对应的相移模型

根据前文可知,

其中,

在实现场景中,根据上述公式(7)和公式(8)可以求解出常数参数

其中,

结合上述描述可知,本申请实施例通过投影器投影的格雷码编码图案对扫描空间进行唯一编码和至少一张相移图像,并结合双目摄像头同步拍摄对应的格雷码编码图案和一张相移图像来确定绝对相位,进而基于绝对相位实现三维匹配,以实现对被扫描对象的脸部表情进行采集。由此,能够提高三维扫描装置的扫描速度和测算三维坐标信息的运算速度,从而满足被扫描对象的脸部表情变化的需求,并且由于绝对相位单调递增,使得基于绝对相位作为匹配量的三维匹配不存在歧义,因此可以精确的实现三维点云重构,提高三维扫描的精度。

在一个实现场景中,本申请实施例的上述三维扫描装置中的投影器、双目摄像头和片上处理器可以形成集成装置,例如集成于一个PC板上。相对于传统的三维扫描仪的大设备而言,本申请实施例的三维扫描装置的体积小且重量轻,同时成本低,便于大规模生产。

图2是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描装置的示例性示意图。需要理解的是,图2所描述的三维扫描装置是上述图1中的三维扫描装置100的一个具体实施例,因此上述图1中关于三维扫描装置所作的描述同样适用于图2。

如图2中所示,本申请实施例的三维扫描装置中的投影器110、双目摄像头120和片上处理器(图中未示出)可以集成于一个PC板210上。其中,前述投影器110可以布置于PC板210边缘的中间位置,并且设置成凸出PC板210的边缘,并且该投影器110可以设置成图中所示的形状。前述双目摄像头120可以布置于PC板210上的左右两侧。根据前文可知,前述投影器110可以至少包括转动镜220和线激光器230,线激光器230可以通过固定支架(图中未示出)布置于朝向前述转动镜220。在一些实施例中,前述投影器110可以例如是MEMS的结构光投影器,其不仅可以解决左右摄像头匹配的问题,还具有体积小,帧率高等优点。

在一个实现场景中,本申请实施例的三维扫描装置的布置成朝向被扫描对象的脸部,以便通过投影器110的线激光器230的开关和转动镜220的同步转动而实现亮暗条纹的投影,以向被扫描对象的脸部表情投影格雷码编码图案,并且在投影器向被扫描对象的脸部表情投影格雷码编码图案和相移图像时,经由双目摄像头120同步拍摄对应的格雷码编码图案和一张相移图像。接着,经由片上处理器首先根据格雷码编码图案和一张相移图像确定与三维匹配相关的绝对相位,进而基于绝对相位进行三维匹配。

具体地,首先可以基于格雷码编码图案,使用上述公式(1)确定格雷编码值

图3是示出根据本申请实施例的投影器投影格雷码编码图案的示例性示意图。如图3中所示,该投影器110可以包括转动镜220和线激光器230,其中线激光器230可以通过固定支架(图中未示出)布置于朝向前述转动镜220,通过投影器110的线激光器230的开关和转动镜220的同步转动而实现亮暗条纹的投影,以向被扫描对象的脸部表情投影格雷码编码图案。在一个实施例中,可以经由片上处理器控制转动镜220根据预定角度转动并产生触发信号,并且每转动一个角度,对应发送一个触发信号。

接着,响应于该触发信号,经由片上处理器控制线激光器230开启或者关闭而产生亮暗条纹投影,从而令投影器向被扫描对象的脸部表情投影格雷码编码图案。具体地,可以根据需要投影的条纹,控制开启线激光器或者关闭线激光器。当开启线激光器时,在相应的角度下产生亮条纹,而当关闭线激光器时,在相应的角度下产生暗条纹,这些亮暗条纹组成了格雷码编码图案。在实际应用场景中,经过1024个脉冲,转动镜220完成一个周期的转动,进而完成投影一张格雷码编码图案。优先地,可以投影6张格雷码编码图案,能够完成格雷码编码。

可以理解,上述转动镜的转动并非是均匀角速度转动,而是一个正弦振动,因此本申请实施例提出在投影器中加入角度传感器,该角度传感器可以用于反馈转动镜的转动角度,以获得与转动镜的转动角度相关的反馈结果。基于反馈转动镜的转动角度,可以获得转动镜的位置。进一步地,由于转动镜的转动速度较快,本申请实施例还提出对转动镜的控制保留余量,以提供提前控制量用于转动镜的精确控制。在一个实施例中,本申请实施例的上述片上处理器还进一步用于:根据反馈结果构建与转动镜相关的转动模型,以基于转动模型对投影器进行最优控制,以实现对转动镜的精确控制。

在一个实施场景中,上述转动模型与转动角度、投影器的驱动电流以及阻尼相关联,并且在基于转动模处理器型对投影器进行最优控制中,上述片上处理器还进一步用于:计算驱动电流与转动角度的换算系数、阻尼系数和延时时间,进而根据换算系数、阻尼系数、延时时间和转动角度控制驱动电流和线激光器的开启或者关闭,以对投影器进行最优控制。在一个实施例中,上述转动模型可以通过以下式子表示:

其中,

在一个示例性场景中,可以根据转动镜固有的频率和响应特性,测量驱动电流与转动角度的换算系数k以及等效阻尼系数

在一个实施例中,本申请实施例的三维扫描装置还可以包括网络模块,上述片上处理器还可以进一步用于经由网络模块向终端传输数据。在一些实施例中,该网络模块可以例如是以太网模块,并且可以使用基于用户数据报协议(User Datagram Protocol,“UDP”)的千兆网向终端传输数据(例如相移图像、格雷码编码图案以及三维坐标信息等)。在实现场景中,当片上处理器采集到数据后,将数据组合成一份UDP数据包发送到网络模块,经由网络模块与终端进行通信。

图4是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描装置的整体的示例性结构框图。如图4中所示,本申请实施例的三维扫描装置可以包括投影器,该投影器可以为MEMS 410的结构光投影器,并且该投影器可以包括转动镜和线激光器。在实际应用场景中,转动镜可以根据预定角度转动并产生触发信号,基于该触发信号,可以控制开启线激光器或者关闭线激光器,以对应产生亮条纹和暗条纹,从而向被扫描对象的脸部表情投影格雷码编码图案。在一些实施例中,前述投影器还可以包括角度传感器,以实时反馈转动镜的转动角度(或者说位置),以便精确地控制转动镜。进一步地,前述三维扫描装置还可以包括双目摄像头,例如COMS 420和COMS 421,其在投影器向被扫描对象的脸部表情投影格雷码编码图案和相移图像时,可以同步拍摄格雷码编码图案和一张相移图像,以实现双目立体匹配计算深度信息,从而求解三维坐标信息。

图中还进一步示出,三维扫描装置还可以包括片上处理器,并且该片上处理器可以是基于FPGA 430的处理器。根据前文可知,该FPGA 430可以用于控制MEMS 410的结构光投影器中的线激光器的开关和转动镜的同步转动而实现亮暗条纹的投影,从而实现投影格雷码编码图案。另外,FPGA 430还可以接收COMS 420和COMS 421同步拍摄的一张相移图像和格雷码编码图案进行三维匹配,以基于三维匹配结果确定三维坐标信息,实现对被扫描对象的脸部表情进行采集。关于进行三维匹配的更多细节,可以参考上述图1-图3所述描述的内容,本申请在此不再赘述。此外,本申请实施例的三维扫描装置还可以包括网络模块,例如以太网440。前述FPGA 430可以经由该以太网440与终端450进行高速通信,例如将前述相移图像、格雷码编码图案或者三维坐标信息等传输给终端450,以供后续使用。

图5是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的三维扫描方法500的示例性流程框图。如图5中所示,在步骤510处,使用投影器向被扫描对象的脸部表情投影格雷码编码图案和至少一张相移图像。在一个实施例中,该投影器可以例如是MEMS的结构光投影器,并且该投影器可以包括转动镜和线激光器,此外还可以包括例如角度传感器。在一些实施例中,经由线激光器的开关和转动镜的同步转动而实现亮暗条纹的投影,从而实现投影格雷码编码图案,并且通过角度传感可以实时反馈转动镜的转动角度,以便精确地控制转动镜。

接着,在步骤520处,使用双目摄像头在投影器向被扫描对象的脸部表情投影格雷码编码图案和相移图像时,同步拍摄对应的格雷码编码图案和相移图像。基于前述获得的格雷码编码图案和一张相移图像,在步骤530处,使用片上处理器根据格雷码编码图案和一张相移图像进行三维匹配。在一个实施例中,首先可以根据格雷码编码图案和一张相移图像确定与三维匹配相关的绝对相位,进而基于绝对相位进行三维匹配。更为具体地,首先可以根据格雷码编码图案计算格雷编码值并且确定相位展开级次,接着基于格雷编码值和一张相移图像计算截断相位,以根据相位展开级次和截断相位确定与三维匹配相关的绝对相位,基于绝对相位进行三维匹配。关于进行三维匹配的更多细节,可以参考上述图1-图3所述描述的内容,本申请在此不再赘述。最后,在步骤540处,基于三维匹配结果确定三维坐标信息,以实现对被扫描对象的脸部表情进行采集。

在一个实施例中,本申请实施例还提供一种头戴式三维扫描装置,该头戴式三维扫描装置可以包括头盔和本申请实施例的上述三维扫描装置。在一个实现场景中,三维扫描装置可以固定于头盔上,并且三维扫描装置布置于朝向被扫描对象的脸部,以扫描运动状态下的被扫描对象的脸部表情变化。

图6是示出根据本申请实施例的用于对被扫描对象的脸部表情进行采集的设备600的示例性结构框图。可以理解的是,实现本申请方案的设备可以是单一的设备(例如计算设备)或包括各种外围设备的多功能设备。

如图6中所示,本申请的设备可以包括中央处理器或中央处理单元(“CPU”)611,其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步,设备600还可以包括大容量存储器612和只读存储器(“ROM”)613,其中大容量存储器612可以配置用于存储各类数据,包括各种与格雷码编码图案、相移图像、算法数据、中间结果和运行设备600所需要的各种程序。ROM 613可以配置成存储对于设备600的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地,设备600还可以包括其他的硬件平台或组件,例如示出的张量处理单元(“TPU”)614、图形处理单元(“GPU”)615、现场可编程门阵列(“FPGA”)616和机器学习单元(“MLU”)617。可以理解的是,尽管在设备600中示出了多种硬件平台或组件,但这里仅仅是示例性的而非限制性的,本领域技术人员可以根据实际需要增加或移除相应的硬件。例如,设备600可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于对被扫描对象的脸部表情进行采集的三维扫描方法。

在一些实施例中,为了便于数据与外部网络的传递和交互,本申请的设备600还包括通信接口618,从而可以通过该通信接口618连接到局域网/无线局域网(“LAN/WLAN”)605,进而可以通过该LAN/WLAN连接到本地服务器606或连接到因特网(“Internet”)607。替代地或附加地,本申请的设备600还可以通过通信接口618基于无线通信技术直接连接到因特网或蜂窝网络,例如基于第3代(“3G”)、第4代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中,本申请的设备600还可以根据需要访问外部网络的服务器608和数据库609,以便获得各种已知的算法、数据和模块,并且可以远程地存储各种数据,例如用于呈现例如格雷码编码图案和相移图像等的各类数据或指令。

设备600的外围设备可以包括显示装置602、输入装置603和数据传输接口604。在一个实施例中,显示装置602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器,其配置用于对本申请的扫描被扫描对象的脸部表情进行语音提示和/或图像视频显示。输入装置603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件,其配置用于接收音频数据的输入和/或用户指令。数据传输接口604可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等,其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案,该数据传输接口604可以接收来自于双目摄像头采集的相移图像,并且向设备600传送包括相移图像或各种其他类型的数据或结果。

本申请的设备600的上述CPU 611、大容量存储器612、ROM 613、TPU 614、GPU 615、FPGA 616、MLU 617和通信接口618可以通过总线619相互连接,并且通过该总线与外围设备实现数据交互。在一个实施例中,通过该总线619,CPU 611可以控制设备600中的其他硬件组件及其外围设备。

以上结合图6描述了可以用于执行本申请的用于对被扫描对象的脸部表情进行采集的设备。需要理解的是这里的设备结构或架构仅仅是示例性的,本申请的实现方式和实现实体并不受其限制,而是可以在不偏离本申请的精神下做出改变。

根据上述结合附图的描述,本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机程序产品。该计算机程序产品可以用于实现本申请结合附图5所描述的用于对被扫描对象的脸部表情进行采集的三维扫描方法。

应当注意,尽管在附图中以特定顺序描述了本申请方法的操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。

应当理解,当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时,其仅用于区别不同对象,而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

虽然本申请的实施方式如上,但所述内容只是为便于理解本申请而采用的实施例,并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员,在不脱离本申请所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本申请的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号