从3D范围图像进行基于绘制的界标定位

摘要

提供一种计算机实现的方法，包括获取包含一个或多个3D界标的三维(3D)范围图像；绘制该3D范围图像到包含与所述一个或多个3D界标相关的亮度模式的被绘制的可视图像中；并且在所述被绘制的可视图像中定位所述一个或多个3D界标中的至少一个，以提供至少一个定位的3D界标。这样的方法以及相关系统和装置在生物识别应用中是有用的。

说明书

背景技术

生物识别正在成为用于访问控制和监控安全区域(诸如机场)的流行方 法。在这样的设置中，有时将人(或者人的某部分)的图像与之前捕获的“注册” 图像相比较是必要的。一些用于生物识别的技术需要自动地定位特定界标 (landmark)并估计这些界标的方向。

生物学方面许多过去的工作已经考虑到传统图像，即电磁光谱的可见部 分中的集成光。然而，随着3D捕获设备可用性的增加以及成本的降低，重点越 来越多地放在从所产生的3D范围(即深度)图像进行生物识别上。

附图说明

图1是图解现有技术界标定位方法的流程图；

图2是图解另一个现有技术界标定位方法的流程图；

图3是图解根据示例实施例使用绘制从3D范围图像进行界标定位的方 法的流程图；

图4A是根据示例实施例的具有各种3D面部界标的主体的被绘制的可视 图像的示意图；

图4B是根据示例实施例的具有至少一个3D面部界标的主体的被绘制的 可视图像的示意图；

图5是计算机系统的框图，该计算机系统执行用于处理根据示例实施例 的关于界标定位以及绘制的方法和流程的程序。

具体实施方式

在以下描述中，参考形成本文一部分的附图，并且其中通过图解示出可 以实现的特定实施例。

在一个实施例中，在此描述的功能或算法可以在软件中，或者在软件和 人类实现的流程的组合中实现。软件可以由存储在诸如存储器或者其它类型存 储装置的计算机可读介质上的计算机可执行指令构成。进一步，这些功能对应 于模块，它们是软件、硬件、固件或者它们的任意组合。多个功能可以在所期 望的一个或多个模块中执行，并且所描述的实施例仅仅是示例。软件可以在数 字信号处理器、ASIC、微处理器或者运行在计算机系统(诸如个人计算机、服 务器或者其它计算机系统)上的其他类型处理器上执行。

每张人脸具有大量的可区分界标，包括但不限于鼻子、眼眶、颧骨、下 巴等等，它们中的每一个都有特定的特征，诸如宽度、形状等。当在侧面像中 观看时，如在J.Zhou等，Histograms of Categorized Shapes for 3D Ear Detection， 2010IEEE，http://utopia.csis.pace.edu/cs615/btas2010/BTAS/papers/Paper％20157.pdf，(以下称为“Zhou”) 中描述，诸如在Zhou的第∏A部分(包括表1以及图3)中描述的，耳朵提供 了高度可区分界标，Zhou通过引用合并在本文中，就像在此充分陈述了那样。

在此，实施例描述了计算机实现的方法，包括获取包含一个或多个3D 界标的三维(3D)范围图像；将3D范围图像绘制(render)到包含与一个或多 个3D界标相关的亮度模式的被绘制的可视图像中；并且在被绘制的可视图像中 定位一个或多个3D界标中的至少一个以产生包含与至少一个3D界标相关的至 少一个定位的亮度模式的被绘制的可视图像。在生物识别应用中所述各种方法 以及相关系统和装置是有用的。

可视图像提供关于由场景中对象反射的光量的信息，而三维(3D)图像 是进一步提供照相机与场景中对象之间距离相关的信息的图像。而2.5D图像具 有二维(水平和垂直)和在特定位置处的提供距离信息的像素值，与3D图像不 同，它不包括关于该位置表面的方向的信息，使得照相机光轴和对象表面法线 之间的距离和角度都是已知的。尽管2.5D成像在人脸识别技术中已经被使用， 但根据定义，它包含更少的信息。

由于3D范围图像包含大量数据，因此其很难在3D范围图像中找到特定 的界标，即界标定位。

例如，图1示出用于定位界标(例如，耳朵)的现有技术方法100，该 方法包括获取102传统可视图像(例如人头部一侧的RGB可视图像)，并行地 获取1043D范围图像或者扫描(用于匹配)。3D范围图像具有与距离对应的像 素值，即更亮的值意味着更短的距离，或反之亦然。通过对可视图像执行界标 定位106以确定可视图像102中想要的界标的位置来继续该方法。由于两个图 像(已获取的3D范围图像以及已定位的可视图像)通常没有正确地对齐，因此 必须在两个图像之间执行随后的图像配准步骤(即映射)108以产生配准的可视 图像。原始获取的3D范围图像104以及来自配准步骤108的配准的可视图像的 界标剪裁110紧随图像配准108。结果提供3D图像中界标的位置，该位置输出 112给用户，即3D界标位置被映射到3D图像。当3D图像和可视图像之间的 配准步骤108例如因为可视传感器和3D范围传感器之间的光学对齐较差而不精 确时，该方案是存在问题的。由于该方法需要采用特定的耳朵位置或者来自可 视图像的界标并且确定它与3D图像(例如，整个耳朵)的哪个部分对应或者相 匹配，因此也很难使配准一致。

其它方法已经试图通过不使用所获取的图像或者初始地不获取图像来忽 略整个可视图像。(参见，例如Zhou)。图2示出另一个现有技术方法，其包括 获取202 3D范围图像并执行界标定位204。界标剪裁206紧随定位。结果是在 3D图像中的界标的位置，该位置被输出212给用户。然而，由于3D范围图像 的特性与可视图像的特性不同，一般地在此不应用为可视图像(诸如RGB可视 图像)所开发的现有技术。此外，由于该方法实质上要求用于每个特定特征(诸 如耳朵)的定制检测器，因而其不经常被使用。

在这里所描述的实施例中，界标定位的还原方法从3D范围图像中产生 合成的或绘制的可视图像，该可视图像与它所来源的3D范围图像内在地对齐。 结果，不用配准将从绘制的可视图像中找到的界标位置映射到3D图像。

图3是图解用于输出3D界标的实施例的流程图300，其由获取302包含 一个或多个3D界标的3D范围图像开始。接下来是3D范围图像的绘制304以 产生包含与该一个或多个3D界标相关的亮度模式的被绘制的可视图像。(如在 此所使用的，“被绘制的可视图像”是在特定照明和皮肤反射模型下同一区域的 可视图像的估计)。随后对被绘制的可视图像执行306界标定位以产生定位的3D 界标。该方法能够可选地包括界标剪裁308以产生被剪裁的定位的3D界标。与 定位的3D界标(或被剪裁的定位的3D界标)相关的亮度模式能够被提供310 给显示器，和/或定位的3D界标(或者被剪裁的定位的3D界标)能够被提供 311给处理器用于进一步处理。

与常规方法相比，在此所描述的新颖方法消除对图像配准(如图1所示) 以及3D范围图像的界标定位(如图2所示)的需要。取而代之的是，通过以类 似于计算机图形学的方式来绘制图像中的主体，产生被绘制(即合成)的可视 图像。

该方法能够进一步包括获得312参考3D范围图像，并且在随后的处理 步骤中为一般或者生物识别的目的，将该参考3D范围图像与定位的3D界标(或 者被剪裁的定位的3D界标)相比较314。

能够从能提供人脸几何和对称的现有知识的任何来源中获得参考3D范 围图像，诸如为存储来自包含特定个体的界标的注册图像的各种特征(诸如面 部特征)的各种界标而特别创建的数据库，等等。

任何合适类型的装置都能够用来获取3D范围图像，诸如任何类型的编 码光方法(Coded Light Approach，CLA)装置。其它装置可能包括但不限于 LIDAR，激光扫描仪，立体照相机，散焦测距(depth from defocus)。

如一般所知，典型的3D范围图像包含伪影和缺失点，主要在投射光不 能到达的区域上和/或在高折射率或低反射率表面上。如上面所提到的，3D范围 图像具有与距离对应的像素值，例如更亮的值意味着更短距离，或反之亦然。 如果被正确地校准，用于获得3D范围图像的传感器能够提供物理距离单位的像 素值。在一个实施例中，3D范围图像中的数据由到该图像中每个像素位置的公 制距离(metric distance)指定或者获取。这在使用特定类型的系统，诸如光检 测和测距(LIDAR)系统(即光学遥感技术)是有用的，该系统测量散射光特 性以找到距离目标的范围和/或其他信息。最普遍的，使用激光脉冲确定到对象 或者表面的距离。Zhou讨论了将分类形状的直方图用于耳朵的3D对象识别。

在替代的实施例中，提供3D范围图像作为图像中每个像素位置处的表 面方向而提供，例如当所述3D范围图像被获取为来自阴影系统的形状时。在提 供公制距离的实施例中，可通过局部差分将该数据转换为表面方向。

3D范围图像的绘制包括通过计算机程序，从一个或多个3D模型(即场 景文件)产生二维(2D)合成图像。场景文件包含在严格定义的语言或数据结 构中的对象作为虚拟场景的描述，例如x-y-z坐标(几何)，半透明，视点，纹 理，反射率信息等等。换句话说，如果知道光在特定表面以及该表面的局部形 状上反射的形式，就能够产生关于在任意照明模式下该表面看起来是什么样的 图像。在大多数实施例中，假定存在均匀和漫射的照明而没有粗糙阴影(例如， 摄影棚照明)。还可以考虑阴影和强反射(bright reflection)。还考虑表面反射入 射光的方式，以对不同表面使用不同的阴影模型。在场景文件中包含的数据随 后被传给绘制程序处理并且输出到数字图像或者光栅图形图像文件。

在一个实施例中，使用商业上可获得的，能够在来自Persistence of Vision  Raytrancer Pty有限公司的计算机(例如，Persistence of Vision Raytracer (POV-Ray))等等上产生虚拟3D场景视图的光线追踪包执行绘制。绘制还可以 用其它诸如扫描线或者z-buffer绘制技术执行。在一个实施例中，光线投射也被 用作隐藏表面移除方法，以主要模仿与光传播关联的实际物理效果。

3D范围图像和3D范围图像中的主体的双向反射分布函数(bidirectional  reflectance distribution function，BRDF)一起，被用来绘制与合成光源有关的主体 外形。(BRDF是定义在不透明的表面上光怎样反射的四维函数)。在一个实施 例中，人类皮肤的BRDF被用来绘制与合成光源(诸如漫射光源)有关的人的 外形。

由于界标定位技术被应用到被绘制的RGB图像，因此估计的位置与3D 范围图像中的位置精确地对应。在一个实施例中，不管人种而使用参考皮肤色 调。尽管对于一般识别目的(例如识别特定群体中的成员)有用，由于一般的 皮肤模型可能与给定个体的皮肤特性匹配不好，这些被绘制的图像不打算被用 于特定人的明确生物识别。在一个实施例中，参考皮肤色调主要用于匹配人种， 例如黑人，白人，亚洲人等等。在这样的实施例中，可以执行明确的生物识别。

其它主体不同地反射入射光(例如，树，建筑物，动物，等等)，并且可 能需要不同的阴影模型。在一个实施例中，使用定制的应用，其能够硬编码人 类皮肤BRDF和/或参考照明。通过约束BRDF和/或照明，定制的应用可以在 比商业上可获得的光线追踪包更少的时间内绘制图像。

如果给定绘制的输出，则能够应用传统的用于界标定位的RGB技术，例 如使用模板匹配或局部特征分类。如果给定必需界标的估计位置，这些位置能 够映射回到可以从中执行生物识别的3D范围图像。在一个实施例中，系统进一 步包括比较装置以通过将一个或多个3D界标与参考图像中的一个或多个3D界 标比较来执行生物识别。

在此描述的新颖方法具有商业和执法应用的广泛适用性，包括但不限于 安全和访问控制，公共场所监视，面部照片匹配等等。

在一个实施例中，被绘制的可视图像是被绘制的RGB可视图像。在一个 实施例中，被绘制的可视图像是被绘制的黑白(B&W)图像或者被绘制的灰度 图像。

图4A是具有各种界标的主体人脸的简化示意图400，这些界标具有各种 特性，包括但不限于眼睛402之间的间隔，鼻子404的宽度，颧骨406的形状 以及下巴特征408。图4B是具有眼眶界标414的主体人眼的简化示意图412.

绘制步骤的使用和配置的省略以及尝试3D图像界标定位，在这里所描 述的各种实施例中提供了提高的简单性和准确性。相比之下，由于必须通过采 用距离信息的衍生物来建立每个像素的表面方向，因此2.5D图像无法提供合适 的绘制。如果存在任何噪声，其会因采用所述衍生物而放大。

图4示出计算机系统的框图，该计算机系统执行用于运行上述诊断系统 算法的程序。一般计算设备以计算机410形式，可以包括处理单元402，存储器 404，可移除存储器412以及不可移除存储器414。存储器404包括易失性存储 器406和非易失性存储器408。计算机410可以包括，或者具有对计算环境的访 问，该计算环境包括各种计算机可读介质，例如易失性存储器406和非易失性 存储器408，可移除存储器412和不可移除存储器414。计算机存储器包括随机 访问存储器(RAM)，只读存储器(ROM)，可擦除可编程只读存储器(EPROM) &电可擦除可编程只读存储器(EEPROM)，闪存或者其它存储器技术，光盘只 读存储器(CD ROM)，数字多功能光盘(DVD)或者其它光盘存储器，磁盒， 磁带，磁盘存储器或者其它磁存储装置，或者任何其它能够存储计算机可读指 令的介质。计算机410可以包括或者具有对计算环境的访问，该计算环境包括 输入416，输出418以及通信连接420。计算机可以运行在网络化环境中，该环 境使用通信连接以连接到一个或多个远程计算机。远程计算机可以包括个人计 算机(PC)，服务器，路由器，网络PC，对等设备或者其它普通网络节点等等。 通信连接可以包括局域网(LAN)，广域网(WAN)或者其它网络。

存储在计算机可读介质上的计算机可读指令可由计算机410的处理单元 402执行。硬盘，CD-ROM和RAM是包括计算机可读介质的物品的一些示例。

尽管在以上已经详细描述了一些实施例，但其它修改是可能的。例如， 附图中所描述的逻辑流程不需要按所示的特定顺序或者依次的顺序来达到想要 的结果。可以提供其它步骤，或者可以从所描述的流程中删除步骤，并且可以 添加其它组件到所描述的系统，或从所描述的系统中删除组件。其它实施例将 落入所附权利要求的范围内。

遵循37C.F.R.§1.72(b)而被提供的摘要被提交，可以理解其不被用来解释 或限定权利要求的范围或含义。