伪装检测系统,伪装检测方法以及伪装检测程序

摘要

一种伪装检测系统，包括：成像单元(2)，通过从第一角度对检查对象(12)进行成像，来获得第一图像，并且通过从不同于第一角度的第二角度对检查对象进行成像，来获得第二图像；特征点坐标计算单元(101)，从第一图像检测第一特征点，获得对检测到的第一特征点的位置进行表示的第一特征点坐标，并且从第二图像检测第二特征点，获得对检测到的第二特征点的位置进行表示的第二特征点坐标；特征点关联单元(102)，将第一特征点与第二特征点相关联；特征变换单元(104)，通过执行第二特征点坐标从第二图像到第一图像的平面投影变换，来获得变换后坐标；以及相似性确定单元(105)，当变换后坐标与第一特征点坐标之间的差等于或小于预定值时，确定试图进行伪装。

说明书

技术领域

本发明涉及伪装检测系统，伪装检测方法以及伪装检测程序，能够使用登记者的照片或在监视器上显示的面部图像来识别人，特别是在执行个人识别时。

背景技术

伪装检测系统是在例如基于面部或头部进行认证时使用登记者的照片或在监视器上显示的面部图像来执行个人识别的系统。这种伪装检测系统和伪装检测方法公开在例如专利文献1中。该文献第[0015]段公开了通过使用照明灯来改变照明环境，以及可以基于在不同照明环境中获得的面部图像之间的相似性程度，来去除伪装。该文献第[0061]段公开了预先获得从多个方向获取的多个面部图像，以及将从一定方向获取的面部图像登记为“认证字典”。

]-[0021]段公开了使用用户图像和相应的图像获取角度，来产生关于用户的三维信息，并将该三维信息与预先存储的个人的面部三维形状相比较。这样，避免了使用照片的伪装。应该注意，专利文献3、非专利文献1、非专利文献2和非专利文献3将在稍后说明。

相关现有技术文献

专利文献

专利文献1：日本特开专利公开No.2003-178306

专利文献2：日本特开专利公开No.2004-362079

专利文献3：日本特开专利公开No.2006-338092

非专利文献

非专利文献1：Kanazawa和Kanatani，“Detection of Feature Points for Computer Vision”，The Journal of the Institute of Electronics，Information and Communication Engineers，Vol.87，No.12，2004

非专利文献2：T.K.Leung，M.C.Burl和P.Perona，“Finding Faces in Cluttered Scenes using Random Labeled Graph Matching”，Fifth International Conference on Computer Vision，pp.637-644，1995

非专利文献3：R.Sukthankar，R.G.Stockton，M.D.Mullin，“Smarter presentations：Exploiting Homography in Camera-Projector Systems”，Proceedings of International Conference on Computer Vision，Vol.1，pp.247-253，July 2001

发明内容

然后，上述文献中公开的相关现有技术在以下方面还有待改进。

首先，为了检测伪装，必需准备成像设备之外的附加设备，以用于认证。例如，可控的外部照明是为创建多种照明环境而所需的，专用的距离检测设备是为测量距离而所需的。此外，需要复杂的处理装置来获得关于个人的三维信息。

其次，由于认证时照明环境的改变，疏忽地接受使用照片的伪装的可能性较高。例如，通过利用主分量分析的技术，基于对象的亮度变化来检测伪装。然而，随着认证期间照明环境显著改变，对象的亮度的变化更大。结果，疏忽地接受照片作为真实对象的可能性变大。

鉴于以上情况，提出了本发明。本发明的目的是提供伪装检测系统，伪装检测方法以及伪装检测程序，能够基于获得的图像来准确地检测伪装，而不需要除成像设备之外的任何附加设备。本发明的另一目的是提供一种对抗照明环境的改变的伪装确定系统。

根据本发明，提供了一种伪装检测系统，包括：成像单元，通过从第一角度对检查对象进行成像，来获得第一图像，并且通过从不同于第一角度的第二角度对检查对象进行成像，来获得第二图像；计算单元，从第一图像检测第一特征点，获得对检测到的第一特征点的位置进行表示的第一特征点坐标，并且从第二图像检测第二特征点，获得对检测到的第二特征点的位置进行表示的第二特征点坐标；特征点关联单元，将第一特征点与第二特征点相关联；特征变换单元，通过执行第二特征点坐标从第二图像到第一图像的平面投影变换，来获得变换后坐标；以及相似性确定单元，当变换后坐标与对应的第一特征点坐标之间的差等于或小于预定值时，确定试图进行伪装。

根据本发明，提供了一种伪装检测方法，包括：通过从第一角度对检查对象进行成像来获得第一图像的步骤；从第一图像计算第一特征点坐标的步骤；通过从第二角度对检查对象进行成像来获得第二图像的步骤；从第二图像计算第二特征点坐标的步骤；特征点关联步骤，将第一特征点与第二特征点相关联；特征变换步骤，通过执行第二特征点坐标从第二图像到第一图像的平面投影变换，来获得变换后坐标；以及相似性确定步骤，当变换后坐标与对应的第一特征点坐标之间的差等于或小于预定值时，确定试图进行伪装。

根据本发明，提供了一种伪装检测程序，用于使计算机执行：特征点坐标计算处理，用于从检查对象的第一图像获得对第一特征点的位置进行表示的第一特征点坐标，所述第一图像是从第一角度获得的，并且用于从检查对象的第二图像获得对第二特征点的位置进行表示的第二特征点坐标，所述第二图像是从不同于第一角度的第二角度获得的；特征点关联处理，用于将第一特征点与第二特征点相关联；特征变换处理，用于通过执行第二特征点坐标从第二图像到第一图像的平面投影变换，来获得变换后坐标，所述第二特征点是使用第一特征点和第二特征点来关联的；以及相似性确定处理，用于当变换后坐标与第一特征点的坐标之间的差等于或小于预定值时，确定试图进行伪装。

采用上述结构，本发明能够提供伪装检测系统，伪装检测方法以及伪装检测程序，能够通过确定输入图像彼此之间是否具有平面关系，来以高精度检测伪装，而不需要除成像设备之外的任何附加设备。

根据本发明，仅根据关于检查对象的图像信息来执行确定，因此，在提供伪装检测系统，伪装检测方法以及伪装检测程序时不需要除成像设备之外的任何附加设备。此外，由于不是基于检查对象的亮度变化，而是基于特征点位置的移动，来执行确定，所以能够提供对抗照明环境的改变的伪装检测系统，伪装检测方法以及伪装检测程序。

附图说明

从以下结合附图的优选实施例描述中，本发明的上述和其他目的、特征和优点将更加明显。

图1是根据第一示例实施例的伪装检测系统的功能框图。

图2是根据第一示例实施例的操作的流程图。

图3是第一示例实施例的具体示例的功能框图。

图4是第一示例实施例的具体示例的图。

图5是根据第二示例实施例的伪装检测系统的功能框图。

具体实施方式

下面参照附图描述本发明的示例实施例。应该注意，在所有附图中，相似部件由相似附图标记表示，并且不再重复对其的说明。

(第一示例实施例)

图1是示出了伪装检测系统的示例结构的图。该示例实施例提供了一种伪装检测系统，包括：成像单元2，通过从第一角度对检查对象进行成像，来获得第一图像，并且通过从不同于第一角度的第二角度对检查对象进行成像，来获得第二图像；特征点坐标计算单元101，从第一图像检测第一特征点，获得对检测到的第一特征点的位置进行表示的第一特征点坐标，并且从第二图像检测第二特征点，获得对检测到的第二特征点的位置进行表示的第二特征点坐标；特征点关联单元102，将第一特征点与第二特征点相关联；特征变换单元104，通过执行第二特征点坐标从第二图像到第二图像的平面投影变换，来获得变换后坐标；以及相似性确定单元105，当变换后坐标与对应的第一特征点坐标之间的差等于或小于预定值时，确定试图进行伪装。

在相对于检查对象，成像单元2的第一角度和第二角度所形成的角度可以固定的情况下，预先计算稍后描述的变换矩阵，并且图1的平面变换矩阵估计单元103可以不执行任何操作。在第一角度和第二角度所形成的角度发生改变的情况下，每次角度改变时，使用平面变换矩阵估计单元103来计算变换矩阵，之后执行相似性确定处理。

如图1所示，该伪装检测系统包括在程序控制下进行操作的数据处理设备1、以及对检查对象进行成像的成像单元2。

这里，数据处理设备1包括上述特征点坐标计算单元101、特征点关联单元102、平面变换矩阵估计单元103、特征变换单元104和相似性确定单元105。

成像单元2是数码相机、数字视频摄像机、或CCD摄像机模块等。成像单元2具有对检查对象进行成像的功能、以及将获得的图像数据输出至数据处理设备1的功能。

根据成像单元2从第一角度获得的检查对象的图像(以下该图像被称为第一图像)、以及从第二角度获得的检查对象的图像(以下该图像被称为第二图像)，特征点坐标计算单元101获取对第一特征点的位置进行表示的第一特征点坐标以及对第二特征点的位置进行表示的第二特征点坐标。

这里，“特征点”是指当从一定角度观看时看起来始终相同的点。特征点可以是如下区域：其中存在可与周围相区分的模式，例如眼睛、嘴的边缘、痣、鼻尖、颧骨的最高点、胡子的一部分、发际线、眼镜框的边角等位置。

这些特征点是可以通过Harris算子和KLT技术(非专利文献1)检测的部分，通过Harris算子和KLT技术，可以从图像中提取具有较大浓淡变化的点。或者这些特征点是可以通过如下技术检测的部分：通过预先登记要检测的指定模式，并执行模板匹配，来检测所需部分(非专利文献2)。

通常，模板匹配是如下方法：通过比较所获得的图像与预先登记的指定模式(模板图像)，来从所获得的图像中搜索与指定模式相似的图像区域。在该示例实施例中，预先准备对例如面部特征和背景的多个特征点进行指示的指定模式。通过将第一图像与指定模式相比较，来提取第一特征点，并且通过将第二图像与指定模式相比较，来提取第二特征点。指定模式与被确定为对应于该指定模式的区域的图像区域之间的相关程度被称作“置信度”。当可信度提高时，可以判断对应的图像区域与指定模式更加相似。

虽然描述了特征点是面部特征点上的一部分，但是获得的特征点可以是从背景获得的特征点，或者是从面部或头部之前放置的隐蔽对象获得的特征点。照片中背景或隐蔽对象中的特征点像面部一样平面地移动，并且可以预期该特征点具有与真实面部的角度变化不同的变化。

特征点关联单元102将第一特征点与第二特征点相关联。即，由特征点坐标计算单元101计算的第一特征点坐标与也由特征点坐标计算单元101计算的第二特征点坐标相关联。基于第一特征点和第二特征点周围的亮度模式，获得由特征点关联单元102彼此关联的第一特征点与第二特征点之间的对应关系。

具体而言，该对应关系在第一特征点与第二特征点之间将特征点彼此关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，通过模板匹配将检测到的特征点彼此关联。可以通过计算表示第一特征点的图像区域与表示第二特征点的图像区域之间的相关程度，并且提供具有高相关程度的对(第一和第二特征点形成对)，来执行关联处理。此后，将第一特征点和第二特征点的组合称为关联点。

平面变换矩阵估计单元103使用由特征点关联单元102关联的特征点中的一些，确定变换矩阵，以将第二图像平面变换到第一图像。

为计算用于平面变换的变换矩阵，例如可以使用非专利文献3中公开的方法。非专利文献3公开了一种计算变换矩阵的方法，称为“单应性矩阵”。

单应性矩阵H由如下公式(1)表示：

(公式1)

$H=\left(\begin{array}{ccc}{p}_1& p_2& p_3\\ p_4& p_5& p_6\\ p_7& p_8& p_9\end{array}\right)$

其中，矢量p是(p₁，...，p₉)，该矢量的范数是|p|＝1。

单应性矩阵是在对检查对象的相同点成像的两个摄像机之间的坐标变换矩阵。当对相同点成像时，由摄像机1获得的第一图像中该点的坐标是(x，y)，由摄像机2获得的第二图像中该点的坐标是(X，Y)。

当对象表面上n(n≥4)个点对于两个摄像机的坐标是(x_i，y_i)和(Y_i，Y_i)时，将表示第一图像中的n个点的点(x_i，y_i)与第二图像中的点(Y_i，Y_i)相关联(i＝1...n)。

这里，如下定义矩阵A：

(公式2)

$A=\left(\begin{array}{ccccccccc}{X}_1& Y_1& 1& 0& 0& 0& -X_1{x}_1& -Y_1{x}_1& -x_1\\ 0& 0& 0& X_1& Y_1& 1& -X_1{y}_1& -Y_1{y}_1& -y_1\\ X_2& Y_2& 1& 0& 0& 0& -X_2{x}_2& -Y_2{x}_2& -x_2\\ 0& 0& 0& X_2& Y_2& 1& -X_2{y}_2& -Y_2{y}_2& -y_2\\ ·& ·& ·& ·& ·& ·& ·& ·& ·\\ ·& ·& ·& ·& ·& ·& ·& ·& ·\\ ·& ·& ·& ·& ·& ·& ·& ·& ·\\ X_n& Y_n& 1& 0& 0& 0& -X_n{x}_n& -Y_n{x}_n& -x_n\\ 0& 0& 0& X_n& Y_n& 1& -X_n{y}_n& -Y_n{y}_n& -y_n\end{array}\right)$

此时，通过确定将|Ap^T|最小化的矢量p，来确定对两幅图像之间的投影进行定义的最优单应性矩阵H。这里，符号T指示矩阵的转置。单应性矩阵H用作变换矩阵，并且执行以下投影变换来获得(xw，yw，w)。

(公式3)

$\left(\begin{array}{c}\mathrm{xw}\\ \mathrm{yw}\\ w\end{array}\right)=H\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)$

通过用“xw，yw”除以“w”，获得第一图像中的(x，y)。

虽然该示例中使用了两个摄像机，但是可以通过由单个摄像机从不同角度进行成像，来获得第一图像和第二图像。

通过以上估计的平面变换矩阵来将第二特征点坐标变换到第一图像上，并且可以计算变换后坐标。在计算变换矩阵时，可以使用有效关联似然性较大的一些关联点来确定变换矩阵。

在平面变换矩阵估计单元103处，使用由特征点关联单元102彼此关联的第一特征点和第二特征点，来确定变换矩阵，以使第二特征点变换后坐标与对应的第一特征点坐标之间的差最小。

接下来，描述使用一部分对应关系来估计最优单应性矩阵的方法的具体示例。

在该示例中，获得8个特征点的关联。首先，如上所述，4个点的关联应该足以计算单应性矩阵，因此，使用彼此关联的8个特征点形成的对之中的由4个点形成的对，来计算第一临时变换矩阵。使用该临时单应性矩阵，将表示所述由4个点形成的对的第二特征点坐标投影到第一图像上，以获得4个点的变换后坐标。计算4个点的变换后坐标与对应的各个第一特征点坐标之间的差。同时，使用由剩余的4个点形成的对，来计算临时单应性矩阵，作为第二临时变换矩阵。使用该临时单应性矩阵，将表示4个点形成的对的第二特征点坐标投影到第一图像上，以获得这4个点的变换坐标。计算这4个点的变换后坐标与对应的各个第一特征点坐标之间的差。将如上所述获得的第一临时变换矩阵和第二临时变换矩阵之中具有较小差的临时变换矩阵估计为正式变换矩阵(单应性矩阵)。

在该示例中，虽然在计算单应性矩阵时使用全部的8个特征点的关联，但是可以通过在先前获得的关联点之中对相关程度执行阈值处理，并仅使用获得足够高的相关程度的特征点的关联来执行上述计算，来以更高精度估计单应性矩阵。

上述内容可以如下泛化。在该示例中有第一特征点和第二特征点的N个对应关系(对)。从N个对中产生第一到第M个组G₁到G_M，每个组包含这N个对中的4个对。在组G₁到G_M中包含的对可以彼此交叠。关于这些组G₁到G_M，计算上述临时单应性矩阵PH₁到PH_M。然后分别计算这些组G₁到G_M的各自的变换后坐标，并且计算变换后坐标与表示对应第一特征点的坐标之间的差(在例如Euclidean空间或Manhattan距离中是范数)。将具有最小的差值总和的临时变换矩阵估计为变换矩阵(单应性矩阵)。

特征变换单元104使用由平面变换矩阵估计单元103计算的变换矩阵，执行第二坐标到第一图像中变换后坐标的平面投影变换。这样，在第一图像中获得第二图像的投影变换后坐标。

相似性确定单元105确定由特征变换单元104在第一图像中获得的第二图像的投影变换后坐标与第一图像中第一坐标之间的差。如果该差等于或小于一定值，则确定在第一图像和第二图像所示的检查对象之间存在平面对应关系，并且存在使用照片的伪装。这里，高相似性程度指示检查对象与真实个人相似，并且该确定指示在第一图像中的第二图像的投影变换后坐标与第一图像中第一坐标之间存在较大差异。

利用这种布置，在从不同角度成像对象的第一图像和第二图像的情况下，无法获得平面畸变，除非该对象是照片。因此，确定该对象不是平面的。由此，可以确定对象是否是平面的。

此外，在该示例实施例中，如果在一定时间段上连续地确定第一图像和第二图像所示的对象具有平面畸变，则可以确定该对象是照片。

在该示例实施例中，如上所述，通过确定从两个不同方向以不同角度对检查对象进行成像而形成的、用于识别个人的图像是否彼此具有平面投影关系，来简单地检测伪装。因此，不需要在登记个人时登记要认证的个人的有关三维信息。

利用这种布置，不需要像在登记个人时要求登记三维信息的情况下一样，从不同方向获得个人的图像。因此，可以实现更高的用户友好性。

参照图2的流程图，描述根据第一示例实施例的伪装检测方法。

图2的伪装检测方法包括：步骤A01，通过从第一角度对检查对象进行成像来获得第一图像；步骤A02，从第一图像检测第一特征点，并且计算对检测到的第一特征点的位置进行表示的第一特征点坐标；步骤A03，通过从第二角度对检查对象进行成像来获得第二图像；步骤A04，从第二图像检测第二特征点，并且计算对检测到的第二特征点的位置进行表示的第二特征点坐标；步骤A05，将第一特征点坐标与第二特征点坐标相关联；特征变换步骤A07，通过执行第二特征点坐标从第二图像到第二图像的平面投影变换，来获得变换后坐标；以及相似性确定步骤A10，当变换后坐标与对应的第一特征点坐标之间的差等于或小于预定值时，确定试图进行伪装。

在相对于检查对象，第一角度和第二角度所形成的角度可以固定的情况下，可以预先执行稍后描述的变换矩阵步骤A06，并且可以跳过图2的平面变换矩阵步骤A06。在第一角度和第二角度所形成的角度发生改变的情况下，每次角度改变时，执行变换矩阵估计步骤A06的计算，然后执行相似性计算步骤A08，随后是确定步骤A09到A11。

接下来，描述每个步骤。

(步骤A01)

首先，由成像单元2获得第一角度上的图像。

(步骤A02)

在接收到第一图像之后，在第一特征点坐标计算步骤A02，根据第一图像计算对第一特征点的位置进行表示的第一特征点坐标。

这里，“特征点”是指当从一定角度观看时看起来始终相同的点。特征点可以是如下区域：其中存在可与周围相区分的模式，例如眼睛、嘴的边缘、痣、鼻尖、颧骨的最高点、胡子的一部分、发际线、眼镜框的边角等位置。虽然描述了特征点是面部特征点，但是获得的特征点可以是从背景获得的特征点，或者是从面部或头部之前放置的隐蔽对象获得的特征点。照片中背景或隐蔽对象中的特征点像面部一样平面地移动，并且可以预期该特征点具有与真实面部角度变化不同的变化。

这些特征点可以通过从图像中提取具有较大浓淡变化的点的技术来检测，或者这些特征点可以通过如下技术来检测：通过预先登记要检测的指定模式，并执行模板匹配。此外，特征点由一个或多个部分形成，但是第一特征点和第二特征点不需要由完全相同的部分形成。

(步骤A03)

首先，由成像单元2获得第二角度上的图像。

(步骤A04)

接收到第二图像的特征点坐标计算单元101根据第二图像计算对第二特征点的位置进行表示的第二特征点坐标。

(步骤A05)

使用在第一特征点坐标计算步骤A02和在第二特征点坐标计算步骤A04计算的两个特征点坐标集合，执行关联处理。

对应关系在第一特征点与第二特征点之间将相似的特征点关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，通过使用模板匹配检测彼此关联的特征点的技术，来获得对应关系。

(步骤A06)

使用上述彼此关联的第一特征点坐标与第二特征点坐标，确定用于将第二图像平面变换到第一图像的变换矩阵。即，在平面变换矩阵估计步骤，利用彼此关联的特征点之中的一些特征点坐标，将第一图像平面地投影变换到第一图像。

在由获得第一图像的第一角度与获得第二图像的第二角度形成的角度固定的情况下，如果预先计算了变换矩阵，则可以跳过平面变换矩阵估计步骤A06。

根据伪装检测方法，例如，可以基于上述第一特征点和第二特征点周围的亮度模式，获得由特征点关联单元102彼此关联的第一特征点和第二特征点之间的对应关系。

根据伪装检测方法，在计算变换矩阵时，可以使用有效关联似然性较大的一些关联点来确定变换矩阵。

在该示例中有第一特征点和第二特征点的N个对应关系(对)。伪装检测方法可以包括以下步骤：产生第一到第M个组G₁到G_M，每个组包含这N个对之中的4个对，并且关于这些组G₁到G_M，计算临时变换矩阵；利用临时矩阵，通过执行针对第二特征点的投影变换，来获得相应的变换后坐标，并且计算临时的变换后坐标与表示对应第一特征点的坐标之间的差(在例如Euclidean空间或Manhattan距离中是范数)；以及从临时变换矩阵中选择具有最小差值的临时变换矩阵，作为针对组G₁到G_M的变换矩阵。

根据伪装检测方法，平面变换矩阵估计步骤可以包括如下步骤：使用在特征点关联步骤中彼此关联的第一特征点和第二特征点，通过临时变换矩阵计算第二图像的变换后坐标；以及确定变换矩阵为具有所计算的变换后坐标与对应于这些特征点的第一特征点之间的最小差的临时矩阵。

根据伪装检测方法，变换矩阵可以是上述单应性矩阵。

在第一角度和第二角度预先设定的情况下，可以预先确定通过平面变换矩阵变换的坐标。

(步骤A07)

特征点变换处理(疑似正面特征计算步骤)包括：特征变换(疑似正面特征计算)步骤，利用通过平面变换矩阵处理得到的变换矩阵，执行投影变换。

特征变换(疑似正面特征计算)步骤是利用在平面变换矩阵估计步骤A06计算的变换矩阵来将第二坐标投影变换到第一图像上的步骤。

(步骤A08)

最后，在相似性计算步骤A08，确定在特征变换(疑似正面特征计算)步骤A07中获得的投影到第一图像上的第二图像的变换后坐标与第一图像的变换后坐标之间的差。

(步骤A09)

将第一图像的变换后坐标与投影的第二图像的投影变换后坐标之间的差看作相似性程度，并将相似性程度与阈值相比较。

(步骤A10和A11)

如果该差等于或小于一定值，则在第一图像和第二图像所示的检查对象之间存在平面对应关系，判断存在使用照片的伪装。这里，高相似性程度指示检查对象与真实个人相似，判断指示较大差异。

利用这种布置，在从不同角度成像对象的第一图像和第二图像的情况下，无法获得平面畸变，除非该对象是照片。因此，确定该对象不是平面的。由此，可以确定对象是否是平面的。

此外，在该示例实施例中，如果在一定时间段上连续地确定第一图像和第二图像所示的对象具有平面畸变，则可以确定该对象是照片。

如果相似性程度高于阈值，则确定对象是照片(A10)。如果相似性程度低于阈值，则确定对象是真实的(A11)。然后，操作结束。

利用本发明的结构，可以使用通过平面变换矩阵将第一图像变换到第一图像并且计算变换后坐标的技术，来执行伪装检测，可以在识别个人时，通过确定从不同角度对检查对象进行成像而形成的的图像是否彼此具有平面投影关系，来简单地检测伪装。因此，不需要在登记个人时登记要认证的个人的有关三维信息。

利用这种布置，不需要在登记个人时从不同方向获得个人的图像。因此，可以实现更高的用户友好性。

下面参照图1到3，描述根据第一示例实施例的程序。图3是示出了稍后描述的图1所示结构的具体示例的图。

图1的数据处理设备1和图3的数据处理设备6均可以由包括微处理器、ROM、RAM、信号传输总线和输入/输出接口的集成电路来形成。数据处理设备1和6各自的功能块101、102、103、104、602和602中的全部或一些可以由例如半导体集成电路等硬件来具体实现，或者可以由记录在例如非易失性存储器或光盘上的程序或程序代码来具体实现。这种程序或程序代码使包括CPU等处理器的计算机执行功能块101、102、103、104、602和602的操作的全部或一些。

图1中，伪装检测程序使计算机执行：特征点坐标计算处理，用于从检查对象的第一图像获得对第一特征点的位置进行表示的第一特征点坐标，所述第一图像是从第一角度获得的，并且用于从检查对象的第二图像获得对第二特征点的位置进行表示的第二特征点坐标，所述第二图像是从不同于第一角度的第二角度获得的；特征点关联处理，用于将第一特征点与第二特征点相关联；特征变换处理，用于通过执行第二特征点坐标从第二图像到第二图像的平面投影变换，来获得变换后坐标，所述第二特征点是与第一特征点相关联的；以及相似性确定处理，用于当变换后坐标与对应的第一特征点的第一坐标之间的差等于或小于预定值时，确定试图进行伪装。

在相对于检查对象，成像单元2的第一角度和第二角度所形成的角度可以固定的情况下，只要预先计算稍后描述的变换矩阵，则可以跳过图1的平面变换矩阵估计处理。在第一角度和第二角度所形成的角度发生改变的情况下，每次角度改变时，通过平面变换矩阵估计处理来计算变换矩阵，之后执行相似性确定处理。

图1的特征点坐标计算单元101使计算机执行如下处理：获得成像单元2从第一角度获得的对象的第一图像，并根据第一图像计算第一特征点的第一坐标；以及随后根据从不同于第一角度的第二角度成像的检查对象的第二图像，计算第二特征点的第二坐标。

这里，“特征点”是指当从一定角度观看时看起来始终相同的点。特征点可以是如下区域：其中存在可与周围相区分的模式，例如眼睛、嘴的边缘、痣、鼻尖、颧骨的最高点、胡子的一部分、发际线、眼镜框的边角等位置。虽然描述了特征点是面部特征点，但是获得的特征点可以是从背景获得的特征点，或者是从面部或头部之前存在的对象获得的特征点。

这些特征点可以通过从图像中提取具有较大浓淡变化的点的技术来检测。或者这些特征点可以通过如下技术来检测：预先登记要检测的指定模式，并执行模板匹配。此外，特征点由一个或多个部分形成，但是第一特征点和第二特征点不需要由完全相同的部分形成。

图1的特征关联单元使计算机执行如下处理：使用由特征点坐标计算单元101计算的两种特征点的坐标，将特征点彼此关联。

这里，对应关系在第一特征点与第二特征点之间将相似的特征点关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，通过使用模板匹配检测彼此关联的特征点的技术，来获得对应关系。

图1的平面变换矩阵估计单元103时计算机执行如下处理：根据上述彼此关联的第一特征点坐标与第二特征点坐标，估计平面变换矩阵，使用所估计的平面变换矩阵在第一图像上变换第二特征点坐标，并获得变换后坐标。

在由获得第一图像的第一角度与获得第二图像的第二角度形成的角度固定的情况下，如果预先计算了变换矩阵，则可以省略平面变换矩阵估计单元103。

由特征点关联单元102关联的第一特征点与第二特征点之间的对应关系可以是例如基于上述第一特征点和第二特征点周围的亮度模式而获得的关系。

根据伪装检测程序，在计算变换矩阵时，可以使用有效关联似然性较大的一些关联点来确定变换矩阵。

根据伪装检测程序，在计算变换矩阵时，可以使用关联点中的一些，来计算临时变换矩阵，可以通过使用临时变换矩阵对在计算临时变换矩阵时未使用的第二特征点进行变换，来计算变换后坐标，并且可以将具有所计算的变换后坐标与对应于特征点的第一特征点之间的最小差的临时变换矩阵看作变换矩阵。

根据伪装检测程序，变换矩阵可以是用于将第二图像平面投影到第一图像上的变换矩阵。

根据伪装检测程序，变换矩阵可以是上述单应性矩阵。

在预先设定第一角度和第二角度的情况下，可以预先确定通过平面变换矩阵变换的坐标。

在该示例中有第一特征点和第二特征点的N个对应关系(对)。使计算机执行如下处理：产生第一到第M个组G₁到G_M，每个组包含这N个对之中的4个对，并且关于这些组G₁到G_M，计算临时单应性矩阵PH₁到PH_M；关于这些组G₁到G_M，获得相应的变换后坐标，并且计算变换后坐标与表示对应第一特征点的坐标之间的差(在例如Euclidean空间或Manhattan距离中是范数)；以及选择具有最小差值总和的临时变换矩阵，作为变换矩阵(单应性矩阵)。组G₁到G_M中包含的对可以彼此交叠。

图1的特征变换单元104使计算机执行如下处理：使用通过平面变换矩阵估计处理得到的变换矩阵，将第二特征点坐标投影变换到第一特征点坐标。

图1的相似性确定单元105使计算机执行如下处理：确定第一图像的变换后坐标与特征变换单元104所获得的投影变换的第二图像的投影变换后坐标之间的差。

在相似性确定处理中，使计算机执行如下处理：将相似性程度与阈值相比较，相似性程度是变换后坐标与对应第二坐标之间的差。如果该差等于或小于一定值，则确定在第一图像和第二图像所示的检查对象之间存在平面对应关系，并且存在使用照片的伪装。这里，高的相似性程度指示检查对象与真实个人相似，判断指示较大差异。

利用这种布置，在从不同角度成像对象的第一图像和第二图像的情况下，无法获得平面畸变，除非该对象是照片。因此，确定该对象不是平面的。由此，可以确定对象是否是平面的。

此外，在该示例实施例中，如果在一定时间段上连续地确定第一图像和第二图像所示的对象具有平面畸变，则可以确定该对象是照片。

如果相似性程度高于阈值，则确定对象是照片。如果相似性程度低于阈值，则确定对象是真实的。然后，使计算机结束操作。

利用本发明的结构，可以使用通过平面变换矩阵将第一图像变换到第一图像并且计算变换后坐标的技术，来执行伪装检测，可以在识别个人时，通过确定从不同角度对检查对象进行成像而形成的图像是否彼此具有平面投影关系，来简单地检测伪装。因此，不需要在登记个人时登记要认证的个人的有关三维信息。利用这种布置，不需要在登记个人时从不同方向获得个人的图像。因此，可以实现更高的用户友好性。

(第一示例实施例的具体示例)

下面，描述第一示例实施例的具体示例。图3是示出了将图1的伪装检测系统应用于便携式电话5的情况的图。

在该示例实施例的具体示例中，使用具有摄像机的便携式电话5。成像单元5等同于安装在便携式电话5中的CCD摄像机7，便携式电话5是预先安全锁定的。

为解除便携式电话5的安全锁定，用户执行使用便携式电话5的操作，例如按压便携式电话5键按钮，或者在便携式电话5是翻盖式电话的情况下打开便携式电话5，或者在便携式电话5是滑盖型的情况下滑动面板。

利用这样的操作作为触发，便携式电话5从CCD摄像机7获得检查对象12的图像。个人识别单元601确定所获得的图像中的生物信息是否是从与在存储设备8的登记特征存储单元801中预先登记了特征的个人相同的个人而获得的。这里，例如通过专利文献3中公开的面部验证技术，将输入图像与所登记的特征相比较。当作为验证结果，确定检查对象12的图像是与登记了特征的个人相同的个人的图像时，通过便携式电话5的监视器9、扬声器10或LED显示器11，向用户发出改变用于对生物信息进行成像的角度的指令。

在向用户发出该指令之前或之后，将个人识别中使用的图像作为第一角度上的图像发送给特征点坐标计算单元101，特征点坐标计算单元101获得第一特征点的第一坐标。

然后，特征点坐标计算单元101从CCD摄像机7获得不同于第一图像的第二角度上的图像。接着，特征点坐标计算单元101计算第二特征点坐标。

特征点关联单元102将第一特征点与第二特征点相关联。即，将由特征点坐标计算单元101计算的第一特征点坐标与也由特征点坐标计算单元101计算的第二特征点坐标相关联。

这里，对应关系在第一特征点与第二特征点之间将相似的特征点关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，通过使用模板匹配检测彼此关联的特征点的技术，来获得对应关系。对应关系在第一特征点与第二特征点之间将相似的特征点关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，通过使用模板匹配检测彼此关联的特征点的技术，来获得对应关系。

在平面变换矩阵估计单元103处，使用由特征点关联单元102彼此关联的第一特征点和第二特征点，确定变换矩阵，以使第二特征点坐标与对应的第一特征点坐标之间的差最小。

在检查对象12是真实的面部的情况下，在通过平面投影第二图像的特征点的坐标到第一图像上而形成的变换后坐标与对应的第一坐标之间，出现位置差，如图4(a)所示。

在图4(a)中，在顶行示出了通过从第一角度对检查对象成像而获得的第一图像13、以及通过从第二角度对检查对象成像而获得的第二图像14，第二图像14在第一图像13所示的检查对象的左侧。在第一图像13下面示出了通过计算第一图像13的特征点的坐标而获得的特征点坐标15，在第二图像14下面示出了通过计算第二图像14的特征点的坐标而获得的特征点坐标16。在第一图像的特征点坐标15和第二图像的特征点坐标16下面，以星形指示了第一图像的特征点坐标、以及通过将第二图像的特征点坐标平面投影到第一图像上而获得的特征点坐标。此外，在这些特征点坐标下面示出了第一图像的特征点坐标与通过平面投影第二图像的特征点坐标到第一图像上而获得的特征点坐标之间的比较。在该图中，由箭头指示了第一图像的特征点坐标与通过平面投影第二图像的特征点坐标到第一图像上而获得的特征点坐标之间的差异部分(例如，鼻尖)。因此，可以确定检查对象是三维的，是真实的面部。

图4(b)示出了在获得照片中的面部图像的情况下执行的确定的过程。

在顶行示出了通过从第一角度对检查对象成像而获得的第一图像23、以及通过旋转作为检查对象的图像帧21并从第二角度对图像帧21成像而获得的图像24(在检查对象的图像帧23的左侧)。在第一图像23下面示出了通过计算第一图像23的特征点的坐标而获得的特征点坐标25，在第二图像24下面示出了通过计算第二图像24的特征点的坐标而获得的特征点坐标26。在第一图像的特征点坐标25和第二图像的特征点坐标26下面，以星形指示了第一图像的特征点坐标、以及通过将第二图像的特征点坐标平面投影到第一图像上而获得的特征点坐标。此外，在这些特征点坐标下面示出了第一图像的特征点坐标与通过平面投影第二图像的特征点坐标到第一图像上而获得的特征点坐标之间的比较。在该图中，由粗箭头指示了第一图像的特征点坐标基本上与通过平面投影第二图像的特征点坐标到第一图像上而获得的特征点坐标相匹配。因此，可以确定检查对象是平面照片，检测到伪装。

如果坐标的差等于或大于阈值，则确定检查对象12是真实面部，图3的锁定解除单元602解除便携式电话5的安全锁定。

如果坐标的差小于阈值，则不解除安全锁定，操作结束。在该示例实施例中，当坐标的差小于阈值时，立即结束操作。然而，可以在预定时间段上反复地获得第二图像来检查伪装，直到坐标的差超过阈值为止。

如上所述，当某人试图利用照片或监视器9上显示的面部图像来解除便携式电话5的安全锁定时，在上述结构中不需要除成像设备之外的任何附加设备。此外，无论照明环境如何变化，能够稳定地检测到伪装，而无需关于对象的任何登记的三维信息。因此，可以防止对便携式电话5的未授权访问。

接下来，描述第一示例实施例的优点。

在该示例实施例中，仅基于从检查对象12获得图像，来检查伪装，因此，可以在无需除成像设备之外的任何附加设备的情况下执行伪装检测。

此外，在示例实施例中，基于特征点位置的变化，而不是基于检查对象的亮度的变化，来检测伪装。因此，可以对抗检查对象12周围的照明环境变化的方式，来执行伪装检测。

此外，在该示例实施例中，在识别个人时，通过确定从不同角度对检查对象12进行成像而获得的图像是否彼此具有平面投影关系，来简单地检测伪装。因此，不需要在登记个人时登记要认证的个人的有关三维信息。利用这种布置，不需要在登记个人时从不同方向获得个人的图像。因此，可以实现更高的用户友好性。

(第二示例实施例)

参照图5，描述本发明的第二示例实施例。

第二示例实施例提供了一种伪装检测系统，包括：第一成像单元2，从第一角度对12进行成像来获得第一图像；第二成像单元3，通过从不同于第一角度的第二角度对检查对象12进行成像，来获得第二图像；特征点坐标计算单元401，从第一图像检测第一特征点，获得对检测到的第一特征点的位置进行表示的第一特征点坐标，并且从第二图像检测第二特征点，获得对检测到的第二特征点的位置进行表示的第二特征点坐标；特征点关联单元102，将第一特征点与第二特征点相关联；特征变换单元104，通过执行第二特征点坐标从第二图像到第二图像的平面投影变换，来获得变换后坐标；以及相似性确定单元105，当变换后坐标与对应的第一特征点坐标之间的差等于或小于预定值时，确定试图进行伪装。

如图5所示，本发明的第二示例实施例与第一示例实施例的不同之处在于，图1所示第一示例实施例的数据处理设备1被在程序控制下进行操作的数据处理设备4代替，特征点坐标计算单元101被特征点坐标计算单元401代替，成像单元3是添加到第一示例实施例中的。

放置成像单元2和成像单元3，以从彼此不同的角度对检查对象12进行成像。在具体示例中，成像单元2和3可以是安装在便携式电话5中的两个CCD摄像机7。利用这种布置，可以固定第一角度和第二角度。因此，预先计算平面变换矩阵，并且可以去除平面变换矩阵估计单元103。

特征点坐标计算单元401几乎同时地从成像单元2和成像单元3获得第一角度上的第一图像以及不同于第一角度的第二角度上的第二图像。然后，特征点坐标计算单元401获得第一特征点坐标和第二特征点坐标。

特征点关联单元102将第一特征点与第二特征点相关联。即，由特征点坐标计算单元401计算的第一特征点坐标与也由特征点坐标计算单元401计算的第二特征点坐标相关联。

对应关系在第一特征点与第二特征点之间将特征点彼此关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，可以通过利用模板匹配检测彼此关联的特征点的技术，来获得对应关系。对应关系在第一特征点与第二特征点之间将特征点彼此关联，其中特征点具有围绕特征点的相似亮度模式、相似频率、相似边缘分量等。备选地，可以通过利用模板匹配等检测彼此关联的特征点的技术，来获得对应关系。

平面变换矩阵估计单元102基于由特征点坐标计算单元401提取的第一坐标和第二坐标，获得将第二图像平面变换到第一图像的变换矩阵。

如果假设成像单元2和成像单元3所形成的角度可以固定，则可以从成像单元2和成像单元3所形成的角度，预先计算变换矩阵。在这种情况下，平面变换矩阵估计单元103可以不执行任何操作。

之后，执行与第一示例实施例中的过程相同的过程。

接下来，描述第二示例实施例的优点。

首先，利用上述结构，本发明的该示例实施例可以实现与第一示例实施例的效果相同的效果。此外，利用这种结构，无需执行用于改变检查对象12的图像获得角度的操作，能够提高用户友好性。

本申请基于2008年10月28日提交的日本专利申请No.2008-277212，其全部内容作为参考合并在此。