属性确定方法、属性确定装置、程序、记录介质及属性确定系统

摘要

本发明提供具有针对人的高检测精度的属性确定方法、属性确定装置、程序、记录介质以及属性确定系统，利用这样的方法、装置和系统，甚至在脸部的特征部位被隐藏的情况下也能够确定人的属性。本发明的属性确定方法包括：图像获取步骤(S11)，获取待确定人的图像；属性确定区域检测步骤(S21)，检测从来自待确定人的图像的头部区域、脸部区域以及其他区域构成组中选择的至少两个属性确定区域；以及属性确定步骤(S22)，基于至少两个属性确定区域的图像来确定属性。

说明书

技术领域

本发明涉及属性确定方法、属性确定装置、程序、记录介质以及属性确定系统。

背景技术

从图像中检测人并且确定诸如年龄和性别等属性的系统在各种场合中使用，例如，各种图像通信(例如，视频会议和视频电话)；数据库搜索；安全系统(例如，建筑物安全)；以及脸部识别系统。例如，存在一种方法，通过利用作为人脸的特征部位的脸部部位(例如，眼睛、眉毛、鼻孔和嘴)执行模式识别来确定图像示出了人的脸部，检测图像中的人，并且进一步确定人的属性(例如，参见专利文献1)。按照以下顺序执行检测脸部部位的方法。首先检测人的头部，然后提取脸部部位。

现有技术文献

[专利文献]

[专利文献1]JP H10(1998)-307923 A

发明内容

本发明要解决的问题

然而，在使用脸部的属性确定方法中，存在以下问题：如果脸部特征部位的一部分被隐藏，以及如果只能针对几乎正面面向的人来执行检测和确定，则对人的检测和对人的属性的确定是困难的。因此，在将这种类型的方法应用于人检测和人属性确定的情况下，需要在适合拍摄正面面向的人的位置处提供摄像机。然而，通常在这样的位置提供摄像机是困难的。此外，由于人的移动通常不规则，因此不能始终检测到正面面向的脸部。

因此，本发明意在提供一种具有对于人的高检测精度的属性确定方法、属性确定装置、程序、记录介质以及属性确定系统，利用这样的方法、装置和系统甚至例如在脸部的特征部位被隐藏的情况下也能够确定人的属性。

解决问题的手段

为了实现上述目的，本发明的属性确定方法包括：

图像获取步骤，在所述图像获取步骤中获取待确定人的图像；

属性确定区域检测步骤，在所述属性确定区域检测步骤中检测从来自待确定人的图像的头部区域、脸部区域以及其他区域构成的组中选择的至少两个属性确定区域；以及

属性确定步骤，在所述属性确定步骤中基于至少两个属性确定区域的图像来确定属性。

本发明的属性确定装置包括：

图像获取单元，所述图像获取单元获取待确定人的图像；

属性确定区域检测单元，所述属性确定区域检测单元检测从来自待确定人的图像的头部区域、脸部区域以及其他区域构成的组中选择的至少两个属性确定区域；以及

属性确定单元，所述属性确定单元基于至少两个属性确定区域的图像来确定属性。

本发明的程序使计算机执行根据本发明的属性确定方法。

本发明的记录介质记录有根据本发明的程序。

本发明的属性确定系统包括：

图像获取单元，所述图像获取单元获取待确定人的图像；

属性确定区域检测单元，所述属性确定区域检测单元检测从来自待确定人的图像的头部区域、脸部区域以及其他区域构成的组中选择的至少两个属性确定区域；

属性确定单元，所述属性确定单元基于至少两个属性确定区域的图像来确定属性；

输出单元，所述输出单元输出属性确定的结果，其中所述图像获取单元和所述输出单元经由所述系统外部设置的通信网络连接至所述属性确定区域检测单元和所述属性确定单元。

本发明的效果

根据本发明，可以提供一种具有对于人的高检测精度的属性确定方法、属性确定装置、程序、记录介质以及属性确定系统，利用这样的方法、装置和系统甚至例如在脸部的特征部位被隐藏的情况下也能够确定人的属性。

附图说明

图1A是示出了本发明的属性确定方法的示例(第一示例性实施例)的流程图。

图1B是示出了本发明的属性确定装置的示例(第一示例性实施例)配置的框图。

图1C是示出了第一示例性实施例的属性确定装置的另一示例的配置的框图。

图2A(a)和(b)是用于说明本发明中对用于学习的图像应用头部区域(正例)的示例的视图。

图2B是用于说明本发明中对用于学习的图像应用脸部区域(正例)的示例的视图。

图2C是用于说明本发明中对用于学习的图像应用全身区域(正例)的示例的视图。

图2D(a)至(c)是用于说明计算头部区域与脸部区域的交叠度的示例的视图。

图2E是用于说明计算头部区域与全身区域的交叠度的示例的视图。

图3A(a)至(c)是用于说明本发明中属性确定区域检测步骤和属性确定步骤的示例的视图。

图3B(a)至(c)是用于说明本发明中属性确定区域检测步骤和属性确定步骤的另一示例的视图。

图4是示出了使用本发明的属性确定装置的属性确定系统的示例(第三示例性实施例)的配置的框图。

具体实施方式

在本发明中，其他区域可以是包括头部区域或脸部区域的区域，并且其他区域的示例包括全身和全身的一部分(上身等)。

接着，描述本发明的实施例。这里应注意，本发明不限于以下描述的实施例。在以下图1至4中，相同部分由相同的数字和符号来指示。

[示例性实施例1]

第一示例性实施例是其他区域是全身的情况的示例。图1A示出了第一示例性实施例的属性确定方法的流程图。图1B示出了第一示例性实施例的属性确定装置的框图。如图1B所示，第一示例性实施例的属性确定装置包括图像获取装置(单元)111、计算装置(单元)120、输出装置(单元)131和数据存储装置(单元)140，作为主要部件。图像获取装置111连接至计算装置120。计算装置120连接至输出装置131和数据存储装置140。计算装置120包括属性确定区域检测装置(单元)121和属性确定装置(单元)122。预先获得的属性确定区域检测模型141和属性确定模型142存储在数据存储装置140中。属性确定区域检测装置121连接至属性确定区域检测模型141。属性确定装置122连接至属性确定模型142。属性确定区域检测模型141包括头部区域检测模型141a、脸部区域检测模型141b和全身区域检测模型141c。属性确定模型142包括头部区域属性确定模型142a、脸部区域属性确定模型142b和全身区域属性确定模型142c。

图像获取装置111的示例包括电荷耦合器件(CCD)摄像机、互补金属氧化物半导体(CMOS)摄像机和图像扫描仪。计算装置120的示例包括中央处理单元(CPU)。输出装置131的示例包括通过图像输出数据的监视器(例如，诸如液晶显示器(LCD)和阴极射线管(CRT)显示器等图像显示器)、通过打印输出数据的打印机、以及通过声音输出数据的扬声器。输出装置131是可选部件。本发明的属性确定装置优选地包括输出装置131，尽管该装置并不始终是必要的。数据存储装置140的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘(HD)、光盘和软(注册商标名称)盘(FD)。例如，数据存储装置140可以是内置型或外部型，例如，外部存储设备。关于图像获取装置，计算装置、输出装置和数据存储装置，同样适用于以下描述的实施例。

在本发明中，属性是与人相关的属性，并且属性的示例包括性别、年龄、种族、头部的角度、头发长度、戴或不戴帽子、头发颜色、发型、脸部的方向、脸部表情、戴或不戴眼镜或太阳镜、戴或不戴面具、以及有或没有髭或胡须。

例如，使用如下图1B的属性确定装置来执行第一示例性实施例的属性确定方法。

首先，在执行属性确定方法之前，通过使用机器学习(模式识别)技术执行学习来形成头部区域检测模型141a和头部区域属性确定模型142a；脸部区域检测模型141b和脸部区域属性确定模型142b；以及全身区域检测模型141c和全身区域属性确定模型142c。

<头部区域检测模型和头部区域属性确定模型>

利用作为正例的用于学习的图像的头部区域和作为反例的用于学习的图像的非头部区域，通过机器学习(模式识别)来执行学习，形成头部检测模型141a。具体地，例如，如图2A(a)和(b)所示，首先，通过分别对用于学习的图像10a(正面面向的男性)和10b(背面面向的女性)施加标记11a和11b，来应用头部区域。具体地，例如，人使用传统已知的输入装置(例如，键盘、鼠标等)进行输入，来进行对头部区域的训练数据的应用。考虑到检测精度，用于学习的图像的数目越多越好。此外，优选地准备大量用于学习的图像(例如，侧面面向的图像)来形成头部区域检测模型。

接着，通过对头部区域应用用于确定属性的训练数据并且使用各自被应用了用于确定属性的训练数据的多个头部区域，由机器学习(模式识别)来形成头部区域属性确定模型142a。在第一示例性实施例的属性确定方法中，用于确定属性的训练数据的示例包括诸如性别和年龄。具体地，例如，对图2A(a)中示出的用于学习的图像的头部区域应用用于确定属性的训练数据“性别：男性”，“年龄：30”等。例如，对图2A(b)中示出的用于学习的图像的头部区域应用用于确定属性的训练数据“性别：女性”，“年龄：20”等。人使用传统已知的输入装置(例如，键盘、鼠标等)进行输入，来进行对用于确定属性(例如，性别、年龄等)的训练数据的应用。此外，在使用用于属性确定的头部区域的“方向”项目的情况下，例如，也可以应用用于确定头部区域的方向属性的训练数据，例如，以1度为基础指示的方向数据(例如，向左60°)，根据8个方向的方向数据(例如，0°，45°，90°等)等。此外，例如，可以不采用学习而是采用人制定规则并确定属性的方法(头部区域属性确定规则)来执行属性确定。

<脸部区域检测模型和脸部区域属性区域模型>

通过机器学习(模式识别)来学习用于学习的图像的脸部区域(包括人脸的特征部位的区域，例如，眼睛、眉毛、鼻孔和嘴)，形成脸部区域检测模型141b。具体地，例如，如图2B所示，首先，通过对用于学习的图像10c(正面面向的男性)施加标记11c，来应用脸部区域。人使用传统已知的输入装置(例如，键盘、鼠标等)进行输入，来进行对脸部区域的训练数据的应用。考虑到检测精度，用于学习的图像的数目越多越好。此外，优选地准备大量用于学习的图像来形成脸部区域检测模型。例如，脸部区域检测模型可以包括脸部部位的相对位置、尺寸等。

接着，通过对脸部区域应用用于确定属性的训练数据并且使用各自被应用了用于确定属性的训练数据的多个脸部区域，由机器学习(模式识别)来形成脸部区域属性确定模型142b。在第一示例性实施例的属性确定方法中，用于确定属性的训练数据的示例包括性别和年龄。具体地，例如，对图2B中示出的用于学习的图像的脸部区域应用用于确定属性的训练数据“性别：男性”，“年龄：30”等。人使用传统已知的输入装置(例如，键盘、鼠标等)进行输入，来进行对用于确定属性(例如，性别、年龄等)的训练数据的应用。此外，例如，可以不采用学习而是采用人制定规则并确定属性的方法(脸部区域属性确定规则)来执行属性确定。

<全身区域检测模型和全身区域属性确定模型>

利用作为正例的用于学习的图像的全身区域和作为反例的用于学习的图像的非全身区域，通过机器学习(模式识别)来执行学习，形成全身区域检测模型141c。具体地，例如，如图2C所示，首先，通过对用于学习的图像10b(正面面向的男性)施加标记11d，来应用全身区域。人使用传统已知的输入装置(例如，键盘、鼠标等)进行输入，来进行对全身区域的训练数据的应用。考虑到检测精度，用于学习的图像的数目越多越好。此外，优选地准备大量用于学习的图像来形成全身区域检测模型。

接着，通过对全身区域应用用于确定属性的训练数据并且使用各自被应用了用于确定属性的训练数据的多个全身区域，由机器学习(模式识别)来形成全身区域属性确定模型142c。在第一示例性实施例的属性确定方法中，用于确定属性的训练数据的示例包括性别和年龄。具体地，例如，对图2C中示出的用于学习的图像的全身区域应用用于确定属性的训练数据“性别：男性”，“年龄：30”等。人使用传统已知的输入装置(例如，键盘、鼠标等)进行输入，来进行对用于确定属性(例如，性别、年龄等)的训练数据的应用。此外，例如，可以不采用学习而是采用人制定规则并确定属性的方法(全身区域属性确定规则)来执行属性确定。此外，在使用用于属性确定的身体的“方向”项目的情况下，例如，也可以应用用于确定身体区域的方向属性的训练数据，例如，以1度为基础指示的方向数据(例如，向左60°)和根据8个方向的方向数据(例如，0°，45°，90°等)等。

接着，如图1A的流程图所示，执行以下步骤。首先，图像获取装置111获取待确定人的图像(步骤S11)。

接着，属性确定区域检测装置121参考使用多个用于学习的图像执行学习来预先形成的属性确定区域检测模型141，这些图像已各自被应用了属性确定区域的训练数据，属性确定区域检测装置121从待确定人的图像中检测从头部区域、脸部区域和全身区域构成的组中选择的至少两个属性确定区域的数据(步骤S21)。

<头部区域数据的检测>

具体地，例如，通过指定想要检测的头部区域(例如方形)的尺寸并且参考预先形成的头部区域检测模型141a，通过从待确定人的图像的端部开始沿着水平方向移动图像补丁并且按顺序连续向下移动，通过所谓的光栅扫描来搜索头部区域数据。此外，例如，通过改变待确定人的图像的获取尺寸并且搜索头部区域，检测头部区域的数据。优选地以这种方式检测头部区域的数据，这是因为可以同时执行头部区域的对准。这里应注意，头部区域数据的方向不限于该示例。例如，可以通过将待确定人的图像中的圆形对象检测为头部区域并且执行对检测到的头部区域的对准，来执行检测。例如，可以通过计算装置中包含的对准装置(单元)(未示出)来执行对准。

<脸部区域数据的检测>

具体地，例如，通过参考预先形成的脸部区域检测模型141b，作为与脸部区域检测模型141b匹配的部位来从待确定人的图像中检测脸部区域数据。

<全身区域数据的检测>

具体地，例如，通过指定想要检测的全身区域(例如矩形)的尺寸并且参考预先形成的全身区域检测模型141c，通过与头部区域检测相同的方法来检测全身区域数据。

接着，属性确定装置122通过参考预先形成的属性确定模型142，基于至少两个属性确定区域的图像来确定属性(步骤S22)，其中属性确定模型142是使用各自被应用了用于确定属性的训练数据的许多属性确定区域来执行学习而预先形成的。具体地，例如确定每个属性确定区域图像的属性，以确定每个属性确定区域图像是否属于同一人，并且通过将属于同一人的各属性确定区域图像相组合来确定属性。在通过机器学习执行属性确定的情况下，可以使用估计诸如年龄等连续值的方法(回归)和估计诸如男性/女性等类别的方法(分类)二者。

<基于头部区域图像的属性确定>

基于头部区域图像的属性确定的确定项目的示例包括性别、年龄、种族、头部的角度、头发长度、戴或不戴帽子、头发颜色、发型、脸部的方向、脸部表情、戴或不戴眼镜或太阳镜、戴或不戴面具、以及有或没有髭或胡须。例如，在确定项目是性别的情况下，基于性别度(例如，0到1)来进行确定。可以基于头部区域数据来计算性别度。具体地，例如准则设定如下。即，如果性别度是“0到小于0.5”，则确定为“女性”，如果性别度是“0.5到1”则确定为“男性”。根据计算的性别度的值来执行对性别的确定。用于根据性别度来确定性别的准则不限于该示例。例如，准则可以如下。即，如果性别度是“0到0.3”则确定为“女性”，并且如果性别度是“0.7到1”则确定为“男性”，如果性别度是“大于0.3并小于0.7”，则确定为“不可确定”。同样关于年龄等，例如通过设定预定准则，根据基于头部区域数据计算的值来执行对年龄等的确定。

<基于脸部区域图像的属性确定>

基于脸部区域图像的属性确定的确定项目的示例包括针对基于头部区域图像的属性确定的确定项目而描述的那些示例。例如，基于脸部区域图像的属性可以按照与基于头部区域图像的属性确定的相同方式来确定。

<基于全身区域图像的属性确定>

基于全身区域图像的属性确定的确定项目的示例包括针对基于头部区域图像的属性确定的确定项目而描述的那些示例。例如，基于全身区域图像的属性可以按照与基于头部区域图像的属性确定的相同方式来确定。

<确定各属性确定区域图像是否属于同一人>

接着，确定头部区域、脸部区域和全身区域中的每一个是否属于同一人。使用以下公式(3)表示的交叠度来进行该确定。这里注意，例如，可以在各属性确定区域图像的属性确定之前进行是否属于同一人的确定。即，例如，在预先确定头部区域、脸部区域和全身区域中的每一个是否属于同一人之后，可以进行对属于同一人的头部区域、脸部区域和全身区域的属性确定。

交叠度＝(2×X×Y)/(X+Y)  (3)

X：交叠区域的面积与属性确定区域之一的面积之比，其中交叠区域是指所述属性确定区域之一和通过使除了所述属性确定区域之一以外的属性确定区域以预定比率变形而获得的区域相交叠的区域。

Y：交叠区域的面积与通过以预定比率变形而获得的所述区域的面积之比。

<交叠度计算的具体示例>

以下参照具体示例描述由公式(3)表示的交叠度。然而，交叠度不限于以下示例。

<脸部区域和头部区域的交叠度>

首先，描述脸部区域与头部区域的交叠度。即，首先，如图2D(a)所示，从待确定人的获得图像中检测头部区域(A)21和脸部区域22。接着，如图2D(b)所示，以预定比率使检测到的脸部区域22变形。该区域是指头部区域(B)21a。具体地，例如，在脸部区域的横向尺寸是x并且脸部区域22的纵向尺寸是y的情况下，通过分别沿着右方向和左方向将脸部区域22延伸0.5乘x、沿着向上方向将脸部区域22延伸0.8乘y、并、沿着向下方向将脸部区域22延伸0.2乘y而获得的区域是指头部区域(B)21a。接着，如图2D(c)所示，计算其中头部区域(A)21与头部区域(B)21a交叠的区域(C，对角阴影区域)24的面积。然后，如以下公式(1)所指示，计算交叠区域(C)的面积与头部区域(A)的面积之比(X)。

X＝C/A  (1)

此外，如果以下公式(2)所指示，计算交叠区域(C)的面积与头部区域(B)的面积之比(Y)。

Y＝C/B  (2)

基于比值(X)和(Y)如以下公式(3)所指示，计算头部区域与脸部区域的交叠度。

交叠度＝(2×X×Y)/(X+Y)  (3)

<头部区域与全身区域的交叠度>

接着，描述头部区域与全身区域的交叠度。即，首先，从待确定人的获得图像中检测头部区域(A)和全身区域。接着，如图2E所示，以预定比率使检测到的全身区域23变形。该区域是指头部区域(D)21b。具体地，例如，在全身区域23的横向尺寸是x并且全身区域23的纵向尺寸是y的情况下，通过分别沿着右方向和左方向将全身区域23缩窄0.3乘x，沿着向下方向将全身区域23缩窄0.8乘y而获得的区域是指头部区域(D)21b。在图2E中，21e是指头部区域(A)。接着，按照与上述相同的方式，计算其中头部区域(A)与头部区域(D)交叠的区域(C)的面积。接着，按照与公式(1)相同的方式，计算交叠区域(C)的面积与头部区域(A)的面积之比(X)。此外，按照与公式(2)相同的方式，计算交叠区域(C)的面积与头部区域(D)的面积之比。然后，基于比值(X)和(Y)，如以下公式(3)所指示的，计算头部区域和全身区域的交叠度。

交叠度＝(2×X×Y)/(X+Y)  (3)

除了上述两个具体示例以外，在计算脸部区域与全身区域的交叠度的情况下，例如，可以利用通过以预定比率缩窄(变形)全身区域而作为脸部区域获得的区域，按照与上述相同的方式来计算交叠度。此外，例如，可以利用通过以预定比率缩窄(变形)头部区域而作为脸部区域获得的区域，按照与上述相同的方式来计算头部区域与脸部区域的交叠度。此外，例如，利用通过以预定比率延伸(变形)头部区域而作为全身区域获得的区域，按照与上述相同的方式来计算头部区域与全身区域的交叠度。

交叠度表达为从1(最大值)到0(最小值)的数值。在第一示例性实施例的属性确定方法中，例如，在交叠度等于或大于预定阈值的情况下(例如，交叠度≥0.7)，可以确定头部区域、脸部区域和全身区域中的每一个属于同一人。

<通过属性确定区域图像的组合的属性确定>

接着，通过将确定为属于同一人的头部区域、脸部区域和全身区域的图像组合来确定属性。可以通过以下公式(4)来执行确定项目(确定结果)的组合。在以下公式(4)中，“n”指示待确定图像(帧)的个数，“i”指示待确定图像的图像编号。

接着，输出装置131输出属性确定结果(步骤S31)。确定项目的示例与上述确定项目相同。输出步骤S31是可选步骤。本发明的属性确定方法优选地包括输出步骤S31，尽管这并不始终是必要的。

以下参照通过图像获取装置11获取的待确定人的图像的具体示例，来描述属性确定区域检测步骤和属性确定步骤。然而，本发明不限于以下示例。

图3A(a)是待确定人的图像的示例的视图，示出了多于一个人。图3A(a)在左侧示出了人的胸部以上并且在右侧示出了正向面向人的全身。

首先，属性确定区域检测装置121参考预先获取的属性确定区域检测模型141来检测属性确定区域。因此，如图3A(a)所示，检测头部区域31a和31b、脸部区域32a和32b以及全身区域33b。

接着，属性确定装置122参照预先获取的属性确定模型142，确定头部区域31a和31b、脸部区域32a和32b以及全身区域33b的属性。

接着，使用交叠度来确定头部区域31a和31b、脸部区域32a和32b以及全身区域33b中的每一个是否属于同一人。例如，确定头部区域31a和脸部区域32a属于图3A(a)中左侧的人，而头部区域31b、脸部区域32b和全身区域33b属于图3A(a)中右侧的人。

接着，如图3A(b)所示，通过将头部区域31a和脸部区域32a组合来确定属性。此外，如图3A(c)所示，通过将头部区域31b、脸部区域32b以及全身区域33b组合来确定属性。

在待确定项目是性别的情况下，可以通过以下公式(5)来执行图3A(b)中示出的组合，例如，

在公式(5)中，“头部性别度”是指在属性确定步骤S22中计算的头部区域的性别度。“脸部性别度”是指在属性确定步骤S22中计算的脸部区域的性别度。例如，“头部性别置信度”可以由大于0但不大于1的值来表示，指示在属性确定步骤S22中计算的头部区域的性别度的可靠性级别。此外，例如，“脸部性别置信度”可以由大于0但不大于1的值来表示，并且指示在属性确定步骤S22中计算的脸部区域性别度的可靠性级别。头部区域的置信度和脸部区域的置信度可以根据要使用的模型的性能来确定。例如，在当基于头部区域的图像确定性别时可靠性是70％精度并且当基于脸部区域的图像来确定性别时可靠性是80％精度的情况下，可以通过增大后者的置信度来进行高精度的确定。

此外，例如，由于在待确定人的整个图像色调较暗导致整个头部区域的色调较暗，存在性别度向男性偏移的情况，尽管事实上图像中的人是女性。在这样的情况下，在待确定人的整个图像的色调较暗的条件下，由于在整个头部区域处确定性别的可靠性较低，因此将头部区域的性别置信度设置为低(接近0的数值)。

对脸部性别置信度有影响的条件的示例包括脸部的角度(方向)。在已知如果基于正面面向人的脸部图像确定性别则精度较高并且如果基于对角面向人的脸部图像确定性别则精度略微降低的情况下，将前一种情况的置信度设置为高(接近1的数值)，并且将后一种情况的置信度设置为低(接近0的数值)。除了脸部的角度(方向)以外，对置信度有影响的条件的示例还包括：脸部的隐藏级别、待确定人的图像的质量、待确定人的图像中脸部区域的尺寸、光亮度条件以及对比度强度。具体地，关于脸部的隐藏级别，例如，在隐藏区域较大的情况下将置信度设置为低。关于待确定人的图像的质量，例如，在摄像机抖动较大的图像或噪声图像的情况下，将置信度设置为低。关于待确定人的图像中脸部区域的尺寸，例如，在脸部区域较小的情况下将置信度设置为低。关于光亮度条件，例如，在光亮度有偏差的情况下，将置信度设置为低。关于对比度强度，例如，在对比度较弱并且信息量较少的情况下将置信度设置为低。

在待确定项目是性别的情况下，例如，可以通过以下公式(6)执行图3A(c)中示出了组合。

(6)

在公式(6)中，“全身性别度”是指在属性确定步骤S22中计算的性别度。例如，“头部性别度”和“脸部性别度”与针对公式(5)描述的相同。“全身性别置信度”例如可以由大于0但小于1的值表示，并且指示在属性确定步骤S22中计算的全身区域的性别度的可靠性级别。“头部性别置信度”和“脸部性别置信度”与针对公式(5)描述的相同。

对全身性别置信度有影响的条件的示例包括全身的角度(方向)。在已知如果基于正面面向人的全身图像确定性别则精度较高并且如果基于对角面向人的全身图像确定性别则精度略微降低的情况下，将前一种情况的置信度设置为高(接近1的数值)，并且将后一种情况的置信度设置为低(接近0的数值)。除了全身的角度(方向)以外，对置信度有影响的条件的示例还包括：全身的隐藏级别、待确定人的图像的质量、待确定人的图像中全身区域的尺寸、光亮度条件以及对比度强度。具体地，关于全身的隐藏级别，例如，在隐藏区域较大的情况下将置信度设置为低。关于待确定人的图像质量，例如，在摄像机抖动较大的图像或噪声图像的情况下，将置信度设置为低。关于待确定人的图像中全身区域的尺寸，例如，在全身区域较小的情况下将置信度设置为低。关于光亮度条件，例如，在光亮度有偏差的情况下，将置信度设置为低。关于对比度的强度，例如，在对比度较弱并且信息量较少的情况下将置信度设置为低。

图3B(a)示出了待确定人的图像的另一示例。图3B(a)是示出了多于一个人的图像。图3B(a)在左侧示出了背面面向人的全身并且在右侧示出了戴帽子的正面面向人的全身。

首先，属性确定区域检测装置121参考预先获取的属性确定区域检测模型141来检测属性确定区域。因此，如图3B(a)所示，检测头部区域31c、脸部区域32d以及全身区域33c和33d。

接着，按照与图3A(a)相同的方式，属性确定装置122参照预先获取的属性确定模型142，确定头部区域31c、脸部区域32d以及全身区域33c和33d的属性。

接着，按照与图3A(a)相同的方式，使用交叠度确定头部区域31c、脸部区域32d以及全身区域33c和33d中的每一个是否属于同一人。例如，确定头部区域31c和全身区域33c属于图3B(a)中左侧的人，而脸部区域32b和全身区域33d属于图3B(a)中右侧的人。

接着，如图3B(b)所示，通过将头部区域31c和全身区域33c组合来确定属性。此外，如图3B(c)所示，通过将脸部区域32d和全身区域33d组合来确定属性。

在待确定项目是性别的情况下，可以通过以下公式(7)来执行图3B(b)中示出的组合，例如，

在公式(7)中，“头部性别度”和“头部性别置信度”与针对公式(5)描述的相同。“全身性别度”和“全身性别置信度”与针对公式(6)描述的相同。

在待确定项目是性别的情况下，通过以下公式(8)执行图3B(c)的组合，例如。

在公式(8)中，“脸部性别度”和“脸部性别置信度”与针对公式(5)描述的相同；并且“全身性别度”和“全身性别置信度”与针对公式(6)描述的相同。

如上所述，在第一示例性实施例的属性确定方法中，基于从头部区域、脸部区域和全身区域构成的组中选择的至少两个属性确定区域的图像来确定属性。即，通过混合至少两个属性确定区域来确定属性。因此，根据第一示例性实施例的属性确定方法，即使在存在无法检测的区域的情况下，对人的检测精度也较高，并且能够确定人的属性。换言之，例如，如图3B(c)所示，即使在脸部的特征部位被隐藏的情况下，也可以基于头部区域和全身区域的两个图像来确定人的属性。例如，能够扩大对放置图像获取装置(例如，监视摄像机等)的地点的选择范围。例如，能够使用现有的监视摄像机等。此外，由于不仅脸部而且头部和全身也用于确定属性，因此与仅使用脸部的情况不同，可以利用示出了从任何方向拍摄的人的图像(帧)(例如，示出了从背侧拍摄人的图像)进行属性确定，在仅使用脸部的情况下，属性确定困难，除非使用示出了几乎正面面向的的人的图像。因此，例如，不需要拍摄许多帧。此外，例如，由于示出了从任何方向拍摄的人的图像可以用于确定属性，因此可以获取多种信息。总之，可以以较高精度确定属性。此外，例如，如图3B(c)所示，即使在由于人戴帽子而使头部被隐藏的情况下，也可以基于脸部区域和全身区域的两个图像来确定人的属性。根据第一示例性实施例的属性确定方法，如图3A(c)所示，例如，通过基于三个属性确定区域(即，头部区域、脸部区域和全身区域)确定属性，来以较高精度确定人的属性。

图3A(a)和图3B(a)中示出的待确定人的每个图像是具有一个图像(一个帧)的示例。然而，本发明不限于该示例。在帧的个数多于一个的情况下，例如，通过以下公式(9)执行头部区域和脸部区域两个图像的组合。通过增加帧个数，例如，可以更正确地确定人的属性。在公式(9)中，“n”表示帧的个数。关于头部区域、脸部区域和全身区域的其他组合，例如也可以通过具有类似于公式(9)的构思的公式来执行多于一个帧的情况下的组合。

在属性确定区域检测步骤(图1A中的S21)中，通过参考属性确定区域检测模型，从待确定人的图像中检测从头部区域、脸部区域和全身区域构成的组中选择的至少两个属性确定区域。然而，本发明不限于此，例如可以通过参考属性确定区域确定规则来检测属性确定区域。属性确定区域确定规则的示例包括头部区域确定规则、脸部区域确定规则和全身区域确定规则。头部区域确定规则的示例包括诸如“待确定人的图像中的圆形对象是头部区域”等规则。脸部区域确定规则的示例包括诸如“将待确定人的图像中比其周围暗的两个区视为眼睛的候选，并且如果连接这两个区的线的中心的垂直下方的区比其周围暗，则将该区确定为嘴，并且包围这些区的区域是脸部区域”等规则。全身区域确定规则的示例包括诸如“假定待确定人的图像中的圆形对象是头部区域，在观察到头部区域的下部并且动态部位的高度是头部区域的4倍到9倍的情况下，包围动态部位的区域是全身区域”等规则。例如，“动态部位”是指在不同帧之间发生变化的部位。具体地，例如，通过获得背景差异或帧之间差异而检测到的动态对象的区域是指“动态部位”。此外，例如，可以通过参考属性确定区域检测模型和属性确定区域确定规则二者来检测属性确定区域。在这种情况下，例如，如图1C所示，属性确定区域确定规则241可以存储在数据存储装置140中，并且头部区域检测装置121可以连接至属性确定区域确定规则241。属性确定区域确定规则241包括头部区域确定规则241a、脸部区域确定规则241b、以及全身区域确定规则241c。

在属性确定步骤(图1A中的S22)中，通过参考属性确定模型，基于头部区域、脸部区域和全身区域的至少两个图像来确定属性。然而，本发明不限于此。例如可以通过参考属性确定规则来确定属性。属性确定规则的示例包括头部区域属性确定规则、脸部区域属性确定规则和全身区域属性确定规则。头部区域属性确定规则的示例包括诸如“如果头发长则确定为女性而如果头发短则确定为男性”等规则。脸部区域属性确定规则的示例包括诸如“如果眼睛大并且眉毛细则确定为女性”、“如果从脸部区域图像提取出许多边缘分量(皱纹)则确定为老年人”以及“如果诸如眼睛、鼻子和嘴等脸部部位位于脸部区域的下部则确定为儿童”等规则。全身区域属性确定规则的示例包括诸如“如果在衣服区域的较大部分中看到如红和粉等颜色则确定为女性，而如果在衣服区域的较大部分中看到如蓝等颜色则确定为男性”以及“如果人穿裤子则确定为男性，而如果人穿裙子则确定为女性”等规则。此外，例如，通过参考属性确定模型和属性确定规则二者来确定属性。在这种情况下，例如，如图1C所示，属性确定规则242可以存储在数据存储装置140中，并且属性确定装置122可以连接至属性确定规则242。属性确定规则242包括头部区域属性确定规则242a、脸部区域属性确定规则242b、以及全身区域属性确定规则242c。

如上所述，在第一示例性实施例的属性确定方法中，检测人的全身作为其他区域。然而，本发明不限于此。其他区域可以是人的全身的一部分，其示例包括上身；下身；诸如头型等头发区域；诸如眼睛、鼻子和嘴等脸部部位；诸如书包等所有物；诸如帽子、鞋和袜子等衣服；以及诸如项链等附属品。在全身的一部分是上身的情况下，例如，上身可以是包括头部区域或脸部区域的上身。在使用全身的一部分的情况下，优选地，参考用于检测全身一部分的检测模型和用于确定全身一部分的属性的属性确定模型。

[示例性实施例2]

第二示例性实施例的程序是允许计算机执行属性确定方法的程序。第二示例性实施例的程序例如可以记录在记录介质中。不存在对记录介质的具体限制，并且记录介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘(HD)、光盘和软(注册商标)盘(FD)。

[示例性实施例3]

图4示出了使用本发明的属性确定装置的属性确定系统的示例的配置。如图4所示，属性确定系统具备：图像获取装置(单元)111a、111b和111c；输出装置(单元)131a、131b和131c；通信接口150a、150b和150c；以及服务器170。图像获取装置111a和输出装置131a连接至通信接口150a。图像获取装置111a、输出装置131a和通信接口150a布置在地点“X”处。图像获取装置111b和输出装置131b连接至通信接口150b。图像获取装置111b、输出装置131b和通信接口150b布置在地点“Y”处。图像获取装置111c和输出装置131c连接至通信接口150c。图像获取装置111c、输出装置131c和通信接口150c布置在地点“Z”处。通信接口150a、150b和150c经由网络160连接至服务器170。

该属性确定系统包括服务器170侧的属性确定区域检测装置和属性确定装置，并且属性确定区域检测模型和属性确定模型存储在服务器170中。例如，向服务器170发送使用图像获取装置111a在地点“X”处获取的待确定人的图像，在服务器170处检测从头部区域、脸部区域和全身区域构成的组中选择的至少两个属性确定区域，并且基于至少两个属性确定区域的图像来执行对属性的确定。然后，在检测到的属性确定区域和确定的属性之中，输出装置131a至少输出属性。例如，属性确定区域确定规则和属性确定规则也可以存储在服务器中。

根据第三示例性实施例的属性确定系统，通过就地布置图像获取装置和输出装置，并且在其他地点布置服务器等，属性确定区域检测和属性确定可以在线执行。因此，例如，该系统对用于布置设备的空间没有要求，并且维护不复杂。此外，例如，甚至在设置了设备的地点彼此远离的情况下，也可以集中或远程控制该系统。例如第三示例性实施例的属性确定系统可以是与云计算相对应的系统。

尽管参照本发明的示例性实施例具体示出和描述了本发明，但是本发明不限于这些实施例。本领域技术人员应当理解，可以在不背离权利要求所限定的本发明的精神和范围的前提下进行各种形式和细节的改变。

本申请基于并要求2010年10月22日递交的日本专利申请No.2010-237945的优先权权益，其全部公开内容通过引用合并于此。

工业实用性

本发明提供了一种针对人的高检测精度的属性确定方法、属性确定装置、程序、记录介质以及属性确定系统，利用这样的方法、装置和系统，甚至在脸部的特征部位被隐藏的情况下也能够确定人的属性。因此，例如可以使用现有的监视摄像机等来确定人的属性，并且本发明可以应用于广泛领域。

附图标记说明

10a、10b、10c和10d 用于学习的图像

11a、11b、11c和11d 标记

21、21e、31a、31b和31c 头部区域

21a 头部区域(B)(通过以预定比率使脸部区域22变形而获得的区域)

21b 头部区域(D)(通过以预定比率使全身区域23变形而获得的区域)

22、32a、32b和32d 脸部区域

23、33b、33c和33d 全身区域(其他区域)

24 区域(C)，其中头部区域(A)与头部区域(B)交叠

111、111a、111b和111c 图像获取装置

120 计算装置

121 属性确定区域检测装置

122 属性确定装置

131、131a、131b和131c 输出装置

140 数据存储装置

141 属性确定区域检测模型

141a 头部区域检测模型

141b 脸部区域检测模型

141c 全身区域检测模型

142 属性确定模型

142a 头部区域属性确定模型

142b 脸部区域属性确定模型

142c 脸部区域属性确定模型

142c 全身区域属性确定模型

150a、150b和150c 通信接口

160 网络

170 服务器

241 属性确定区域确定规则

241a 头部区域确定规则

241b 脸部区域确定规则

241c 全身区域确定规则

242 属性确定规则

242a 头部区域属性确定规则

242b 脸部区域属性确定规则

242c 全身区域属性确定规则