部位估计装置、部位估计方法以及部位估计程序

摘要

公开了能够高精度地估计多关节物体的部位的部位估计装置。该装置中，边缘对似然图生成单元(120)计算边缘对似然，生成对每个像素表示该边缘对似然的边缘对似然图，所述边缘对似然表示成对像素是估计对象部位的边缘的似真性。连续性似然图生成单元(130)对边缘对似然图，对设想了估计对象部位的区域内包含的像素的边缘对似然，评价连续性，生成表示具有连续性的边缘对似然作为估计对象部位候选区域的连续性似然图。综合似然图生成单元(140)生成基于预先确定的条件锁定而表示连续性似然图所示的候选区域的综合似然图。

说明书

技术领域

本发明涉及估计人、动物或机器人等多关节物体的部位的部位估计装置、 部位估计方法以及部位估计程序。

背景技术

近年来，基于拍摄到的运动图像进行人的姿势估计的相关研究积极开展 着。姿势估计装置能够利用计算机分析从运动图像中判定人的行动，不依赖 于人工就能够进行行动分析。作为行动分析，例如有街头异常行动检测、店 铺购买行动分析、工厂作业高效化辅助、以及运动姿势指导。

因此，例如专利文献1中记载了基于由单眼照相机拍摄人得到的图像来 估计此人的姿势的技术。

专利文献1记载的技术(以下称为“现有技术”)中，首先基于拍摄了人 的图像中包含的椭圆形或平行线，提取部位候选。接着，现有技术使用从多 个样本图像中统计求得的似然函数，计算部位似然和部位关系似然。接着， 现有技术基于计算出的似然，计算最佳部位候选的组合。由此，现有技术能 够确定哪个部位位于哪个区域，无论人的位置或朝向如何，都能够估计人的 姿势。

现有技术文献

专利文献

专利文献1：日本专利特开2005-165923号公报

发明内容

发明要解决的问题

但是，现有技术具有在某些拍摄条件下无法高精度地估计部位的问题。 这是因为，现有技术的前提是用平行线从拍摄图像中提取部位轮廓。但实际 上，由于部位衣服的褶皱或阴影、以及部位背景物体的形状或阴影，难以仅 将部位轮廓作为平行线提取出来。

本发明的目的是高精度地估计多关节物体的部位。

解决问题的方案

本发明的一方式的部件估计装置包括：边缘对似然图生成单元，对图像 中的每个像素计算边缘对似然，生成对每个所述像素表示该边缘对似然的边 缘对似然图，所述边缘对似然表示该像素附近存在的成对像素是估计对象部 位的边缘的似真性；连续性似然图生成单元，对于所述边缘对似然图，对设 想了所述估计对象部位的区域内包含的像素的边缘对似然，评价连续性，生 成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连 续性似然图；以及综合似然图生成单元，生成基于预先确定的条件锁定而表 示所述连续性似然图所示的所述候选区域的综合似然图。

本发明的一方式的部件估计方法具有如下步骤：对图像中的每个像素计 算边缘对似然，生成对每个所述像素表示该边缘对似然的边缘对似然图的步 骤，所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘 的似真性；对于所述边缘对似然图，对设想了所述估计对象部位的区域内包 含的像素的边缘对似然，评价连续性，生成表示具有连续性的边缘对似然作 为表示所述估计对象部位的候选区域的连续性似然图的步骤；以及生成基于 预先确定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似 然图的步骤。

本发明的一方式的部件估计程序使输入或生成图像的装置的计算机执行 如下处理：对所述图像中的每个像素计算边缘对似然，生成对每个所述像素 表示该边缘对似然的边缘对似然图的处理，所述边缘对似然表示该像素附近 存在的成对像素是估计对象部位的边缘的似真性；对于所述边缘对似然图， 对设想了所述估计对象部位的区域内包含的像素的边缘对似然，评价连续性， 生成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的 连续性似然图的处理；以及生成基于预先确定的条件锁定而表示所述连续性 似然图所示的所述候选区域的综合似然图的处理。

发明效果

根据本发明，能够高精度地估计多关节物体的部位。

附图说明

图1是表示本发明实施方式1的部位估计装置的一例结构的框图。

图2是表示本发明实施方式2的部位估计系统的一例结构的系统结构图。

图3是表示本发明实施方式2的一例身体模型的图。

图4是表示本发明实施方式2的部位估计装置的一例结构的框图。

图5是表示本发明实施方式2的部位估计装置的一例动作的流程图。

图6是表示本发明实施方式2的边缘对似然图生成处理的一例动作的流 程图。

图7是用于说明本发明实施方式2的边缘对似然图生成处理的图。

图8是表示本发明实施方式2的一例边缘对似然图的图。

图9是表示本发明实施方式2的一例连续性似然图的图。

图10是表示本发明实施方式2的综合似然图生成处理的一例动作的流程 图。

图11是表示本发明实施方式3的部位估计装置的一例结构的框图。

图12是表示本发明实施方式3的部位估计装置的一例动作的流程图。

图13是表示本发明实施方式3的一例连续性似然图的图。

图14是表示本发明实施方式4的部位估计装置的一例结构的框图。

图15是表示本发明实施方式4的部位估计装置的一例结构的框图。

标号说明

100、100b、100c 部位估计装置

110 图像输入单元

120 边缘对似然图生成单元

130 连续性似然图生成单元

140、140b、140c 综合似然图生成单元

150 结果输出单元

160 方差似然图生成单元

170 轮廓区域提取单元

200 部位估计系统

310 监视区

320 监视照相机

330 地面

340 人

具体实施方式

下面，参照附图对本发明的各实施方式进行详细说明。

(实施方式1)

本发明的实施方式1是本发明的基本方式的一例。

<部位估计装置的结构>

图1是表示本实施方式的部位估计装置的一例结构的框图。

在图1中，部位估计装置100具有边缘对似然图生成单元120、连续性 似然图生成单元130、以及综合似然图生成单元140。

边缘对似然图生成单元120对图像中的每个像素计算边缘对似然。每个 像素的边缘对似然是指，对该像素附近存在的像素是估计对象部位(以下称 为“对象部位”)边缘的似真性进行数值化表示而得到的值。边缘对似然图生 成单元120基于像素附近存在的、与规定的梯度方向平行的边缘对，计算边 缘对似然。并且，边缘对似然图生成单元120生成对每个像素表示计算出的 边缘对似然的边缘对似然图。

这里，上述“部位”指作为多关节物体的人的一部分。另外，假设这里的 “人”是包含人体、动物、或机器人等多关节物体的、包含所有多关节物体的 概念。

连续性似然图生成单元130对于边缘对似然图，对设想了对象部位的大 小或形状的区域内包含的像素的边缘对似然，评价连续性。并且，连续性似 然图生成单元130生成连续性似然图，该图将具有连续性的边缘对似然表示 为部位区域候选。这里的“部位区域”是指图像中“对象部位所占的区域”，换 言之是“表示对象部位的区域”。

综合似然图生成单元140基于预先确定的条件锁定连续性似然图所示的 部位区域候选，生成表示锁定的部位区域候选的综合似然图。

部位估计装置100例如具有CPU(Central Processing Unit，中央处理单元)、 存储控制程序的ROM(Read Only Memory，只读存储器)等存储介质、以及 RAM(Random Access Memory，随机存取存储器)等作业用存储器。此时，上 述各结构单元的功能通过CPU执行控制程序来实现。

这种部位估计装置100通过以下动作，在复杂的图像中也能够高精度地 估计部位。此外，“复杂的图像”例如是胳膊与躯干重叠的图像、存在多个由 衣服褶皱或人工物体形成的平行线边缘的图像等。

首先，边缘对似然图生成单元120对图像中的每个像素，基于该像素附 近存在的、与规定的梯度方向平行的边缘对，计算边缘对似然。并且，边缘 对似然图生成单元120生成对每个像素表示计算出的边缘对似然的边缘对似 然图。这里，平行线的宽度采用对象部位的粗细。由此，边缘对似然图生成 单元120能够生成与对象部位对应的边缘对似然图。

接着，连续性似然图生成单元130将边缘对似然图作为对象部位进行评 价。每个像素的边缘对似然是指，该像素附近存在的像素是对象部位边缘的 似真性(plausibility)。因此，在图像中存在对象部位的区域中，设想区域内 包含的像素的边缘对似然的总和较大。“设想区域”是预先设想了对象部位的 大小或形状的区域。

连续性似然图生成单元130对于边缘对似然图，若设想区域内的边缘对 似然的总和大于预先确定的阈值，则留下设想区域内的边缘对似然。如果设 想区域内的边缘对似然的总和小于预先确定的阈值，则连续性似然图生成单 元130可以在设想区域内设定表示无边缘对似然的值(例如零)。

这样，部位估计装置100并不是用阈值过滤每个像素的边缘对似然，而 是留下作为部位区域的可能性较高的区域中包含的像素的边缘对似然。据此， 部位估计装置100能够留下虽然边缘对似然较低，但作为部位区域的可能性 较高的区域中包含的像素。另外，部位估计装置100删除虽然边缘对似然较 高、但作为部位区域的可能性较低的区域中包含的像素的边缘对似然。由此， 部位估计装置100能够除去阴影或褶皱等并非部位区域的区域中包含的像 素。

因此，与现有技术相比，部位估计装置100也能够从难以仅将对象部位 轮廓作为平行线提取的图像中，高精度地估计对象部位。

(实施方式2)

本发明的实施方式2是将本发明适用于估计图像中包含的人的部位的装 置时的一例具体方式。

<部位估计系统的概要>

首先，说明包含本实施方式的部位估计装置的部位估计系统的概要。

图2是表示本实施方式的部位估计系统的一例结构的系统结构图。图2 中，部位估计系统200具有拍摄监视区310的监视照相机320、以及与监视 照相机320可通信连接的部位估计装置100。

监视照相机320例如是数字摄像机，从斜上方拍摄监视区310。也就是 说，监视照相机320拍摄的图像是拍摄包括人340和水平地面330的真实空 间得到的图像。并且，监视照相机320将拍摄到的图像发送到部位估计装置 100。这里，假设作为部位估计对象的人340正在监视区310的地面330上步 行。

部位估计装置100例如是个人计算机，基于从监视照相机320接收到的 图像，估计人340的部位。

以上是关于部位估计系统200的概要的说明。

<关于人的部位的说明>

接着，说明本实施方式中作为估计对象的人340的部位。

图3是表示人340的一例身体结构模型(以下称为“身体模型”)410的 图。身体模型410示意性地表示部位估计中使用的身体各部位的位置关系。 身体模型410例如包括躯干411、左大腿412、左小腿413、左脚414、右大 腿415、右小腿416、右脚417、头418、右上臂419、右前臂420、左上臂 422、以及左前臂423。

上述各部位通过关节连接。因此，各部位的可动区域受到其他部位的限 制。例如，左脚414只能在以与左小腿413的连接点为中心的规定的角度范 围内移动。本实施方式中，部位估计装置100使用各部位的连接关系，从图 像中估计身体模型410中各部位的区域(上述“部位区域”)。此外，部位估计 装置100使用的身体模型不限于图3所示的例子。

以上是关于作为估计对象的人340的部位的说明。

<部位估计装置的结构>

接着，对部位估计装置100的结构进行说明。

图4是表示部位估计装置100的一例结构的框图。图4中，部位估计装 置100具有图像输入部110、边缘对似然图生成单元120、连续性似然图生成 单元130、综合似然图生成单元140、以及结果输出单元150。

图像输入单元110输入图像。

具体而言，图像输入单元110接收由监视照相机320拍摄的图像。并且， 图像输入单元110将接收的图像依次输出到边缘对似然图生成单元120。

边缘对似然图生成单元120检测来自图像输入单元110的图像的边缘， 对该图像中包含的每个像素(以下称为“关注像素”)，检测以关注像素为基准 的两个像素(以下称为“边缘对”)。此时，作为边缘对，边缘对似然图生成单 元120检测垂直于梯度方向并且位于包含关注像素的直线上的、与关注像素 等距离的两个像素。并且，边缘对似然图生成单元120确定以检测出的两个 像素的各个像素为中心的规定范围的区域，基于确定的两个区域内的像素的 亮度总和，计算关注像素的边缘对似然。并且，边缘对似然图生成单元120 生成对每个像素表示计算出的边缘对似然的边缘对似然图。每个像素的边缘 对似然是指，对该像素附近存在的像素是对象部位边缘的似真性进行数值化 表示的值。边缘对似然图生成单元120对预先定义的多个梯度方向分别生成 边缘对似然图。

这里，说明边缘对。如上所述，构成边缘对的两个像素位于垂直于预先 定义的梯度方向并且位于包含关注像素的直线上，与关注像素距离相等。另 外，两个像素之间的距离是对象部位的粗细。这两个像素称为“梯度方向对像 素”。另外，将以梯度方向对像素的各个像素为中心的两个小区域称为“梯度 方向对附近区域”。

并且，在梯度方向对附近区域中的任一区域包含了作为边缘的像素(以 下简称为“边缘”)的情况下，对关注像素而言，称为“存在边缘对”。并且， 此时，由包含在梯度方向对附近区域中的边缘构成的像素集合称为“关注像素 的边缘对”。

另外，关注像素的边缘对似然基于关注像素的边缘对来计算。例如，在 一个梯度方向对附近区域较多地包含边缘，而另一个梯度方向对附近区域中 包含的边缘较少的情况下，边缘对似然较低。此外，关于边缘对似然的具体 计算方法，将在后阐述。

另外，将对于图像的所有像素，映射计算出的边缘对似然所得到的图称 为“边缘对似然图”。

另外，通过确定表示关注像素位置的x坐标x、y坐标y、梯度方向k， 来识别边缘对似然图中包含的所有边缘对似然。

此外，本实施方式中，相对关注像素，将包含预先定义的所有梯度方向 的梯度方向对区域的区域称为“局部区域”。

并且，边缘对似然图生成单元120对预先定义的多个梯度方向，分别生 成边缘对似然图。随后，边缘对似然图生成单元120将生成的边缘对似然图 输出到连续性似然图生成单元130。

此外，关于边缘对似然图的生成方法的详细情况，将在后阐述。

连续性似然图生成单元130对于生成的边缘对似然图的、同一梯度方向 的边缘对似然，评价设想区域内包含的像素的边缘对似然的连续性，生成连 续性似然图。

每个像素的边缘对似然是指，该像素附近存在的像素是对象部位边缘的 似真性。因此，在图像中存在对象部位的区域中，设想区域内包含的像素的 边缘对似然的总和较大。

连续性似然图生成单元130对于不同梯度方向的每个边缘对似然图，若 设想区域内的边缘对似然的总和较大，则留下设想区域内的边缘对似然。如 果设想区域内的边缘对似然的总和较小，则连续性似然图生成单元130可以 在设想区域内设定表示无边缘对似然的值(例如零)。

此外，关于连续性似然图的生成方法的细节，将在后阐述。

综合似然图生成单元140从连续性似然图中不同梯度方向上提取出的的 部位区域候选之中，提取与预先确定的对象部位条件相符合的区域，生成表 示所提取区域的综合似然图。

此外，与对象部位条件相符合的区域的提取方法的细节，将在后阐述。

结果输出单元150输出综合似然图生成单元140的部位估计结果。

具体而言，结果输出单元150例如包括液晶显示器等显示装置。结果输 出单元150在估计出部位的情况下将表示该部位的信息通知给用户，在未估 计出部位的情况下将表示该情况的信息通知给用户。作为该通知的方法可举 出使用了文字及图像中的至少一者的显示。

部位估计装置100例如具有CPU、存储控制程序的ROM等存储介质、 以及RAM等作业用存储器。此时，上述各结构单元的功能通过CPU执行控 制程序来实现。

以上是关于部位估计装置100的结构的说明。

<部位估计装置的动作说明>

接着，说明部位估计装置100的动作。

本实施方式中，图像输入单元110将图像输出到边缘对似然图生成单元 120，该图像是从监视照相机320等输入的图像中提取出估计为人340的区域 (以下称为“人候选区域”)所得到的图像。

上述“提取出人候选区域所得到的图像”是在人候选区域以外的像素中存 储表示背景的值，仅对人候选区域的像素存储像素值的图像。

就人候选区域的提取来说，可以使用从监视照相机320等输入的图像与 背景图像的背景差图像。这里，背景差图像例如是表示在人340不在的状态 下拍摄到的背景图像和输入图像之间的差的图像。由此，部位估计装置100 能够将从监视照相机等输入的图像中与背景不同的像素作为人候选区域进行 处理。

此外，部位估计装置100也可以例如预先保持背景图像，通过计算背景 图像和输入图像之间的差来生成背景差图像。或者，部位估计装置100还可 以通过从输入的图像中提取移动物体区域，生成背景差图像。例如，基于上 次输入的图像和本次输入的图像之间的差，进行静止物体与移动物体的识别。 由此，部位估计装置100能够将作为移动体的一部分识别出的像素作为人候 选区域。

此外，本实施方式中，图像输入单元110将灰度图像输出到边缘对似然 图生成单元120。

在从监视照相机320等输入的图像为RGB(Red Green Blue，红绿蓝) 值的情况下，图像输入单元110将图像变换为从各像素的RGB值中仅提取亮 度Y(像素的明亮程度)得到的灰度(黑白梯度)图像并输出。亮度Y例如 通过下式进行计算。

Y(R，G，B)＝R×0.29891+G×0.58661+B×0.11448

另外，本实施方式中，对象部位为胳膊(右上臂419、右前臂420、左上 臂422、左前臂423)。此外，部位估计装置100也可以区分前臂与上臂来估 计部位。

另外，本实施方式中，提取人候选区域中图像的上部区域作为胳膊候选 区域，将胳膊候选区域中包含的全部像素作为处理对象。上部区域例如预先 确定为包含人候选区域的规定的比例(例如从上方起10％至50％)的部分的 区域。

<部位估计装置的基于流程图的动作说明>

图5是表示部位估计装置100的一例动作的流程图。

在步骤S1000中，图像输入单元110输入1帧的图像数据。

在步骤S2000中，边缘对似然图生成单元120基于输入的图像，进行边 缘对似然图生成处理。边缘对似然图生成处理是生成上述边缘对似然图的处 理。其细节使用图6及图7在后面阐述。

在步骤S3000中，连续性似然图生成单元130基于边缘对似然图，进行 连续性似然图生成处理。连续性似然图生成处理是生成上述连续性似然图的 处理。其细节使用图8及图9在后面阐述。

在步骤S4000中，综合似然图生成单元140基于连续性似然图，进行综 合似然图生成处理。综合似然图生成处理是生成上述综合似然图的处理。其 细节使用图10在后面阐述。

在步骤S5000中，结果输出单元150基于综合似然图，进行结果输出处 理。结果输出处理是输出步骤S4000中估计的对象部位的信息的处理。

例如，结果输出单元150对每个像素重叠估计出的部位的候选区域，并 显示在液晶显示器上。此外，结果输出单元150可以在进行重叠时，显示为 能够通过颜色等区分表示部位候选区域的梯度方向的信息。

在步骤S6000中，结果输出单元150判断是否满足预先设定的规定的处 理结束条件。这里的“规定的处理结束条件”例如是通过用户操作而指示部位 估计处理的结束。

结果输出单元150在不满足规定的处理结束条件的情况下(S6000： “否”)，返回步骤S1000反复执行处理。另一方面，结果输出单元150在满 足规定的处理结束条件的情况下(S6000：“是”)，结束一系列处理。

通过这种动作，部位估计装置100能够生成从对象部位候选区域中提取 最适合的候选区域并进行表示的综合似然图，上述对象部位候选区域是基于 每个像素的边缘对似然和每个设想区域的连续性似然提取的。由此，即使是 难以用直线提取部位轮廓的图像，部位估计装置100也能够估计人340的对 象部位。

以上是对部位估计装置100的动作的说明。

<边缘对似然图生成处理的说明>

接着，使用图6及图7说明一例边缘对似然图生成处理(图5的步骤 S2000)。

图6是表示边缘对似然图生成处理(图5的步骤S2000)的一例动作的 流程图。图7是用于说明梯度方向为水平方向的边缘对似然图的生成处理的 图。这里，说明以水平方向为0度，生成水平方向的边缘对似然图的例子。

在步骤S2001中，边缘对似然图生成单元120选择要生成的边缘对似然 图的梯度方向的增量。这里，作为例子，假设将增量预先设定为30度。在以 此方式使梯度方向以30度为增量的情况下，生成0度、30度、60度、90度、 120度、150度的6个边缘对似然图。因此，在该情况下，边缘对似然图生成 单元120将步骤S2002至S2007的处理反复执行6次。

梯度方向的增量影响到对象部位的估计精度。在需要较高的估计精度的 情况下，用户可以将增量设定得较小。例如，对比将增量设定为45度时及设 定为30度时，在设定为30度时，对象部位的估计精度较高。

在步骤S2002中，边缘对似然图生成单元120从胳膊候选区域710中选 择关注像素。胳膊候选区域710是从图像输入单元110输入的图像的一例。 例如，图7中，边缘对似然图生成单元120以左上角的像素(由※所示的像 素)为起点，将X坐标和Y坐标分别逐一递增1，由此选择图7所示的全部 像素作为关注像素。不过，选择的方法不限于此。图7中，以从胳膊候选区 域710中选择了关注像素702的情况为例进行说明。

在步骤S2003中，边缘对似然图生成单元120选择梯度方向对像素。图 7中，选择704和705作为梯度方向对像素。

如上所述，这里，以生成水平方向的边缘对似然图为例。因此，边缘对 似然图生成单元120作为满足两个条件的像素，选择704和705这两个像素 作为梯度方向对像素。两个条件是：位于通过关注像素702且垂直于水平直 线的直线上，以及与关注像素702的距离是对象部位的粗细701的一半长度 703。也就是说，在生成角度为θ的边缘对似然图的情况下，边缘对似然图生 成单元120选择两个梯度方向对像素。梯度方向对像素是位于通过关注像素 且与角度θ垂直(θ+90度)的直线上、距离为对象部位的粗细701的一半长 度703的像素。此外，对象部位的粗细701是表示对象部位的平均粗细的预 先确定的值。

在步骤S2004中，边缘对似然图生成单元120分别选择与梯度方向对像 素分别相距预先设定的距离以内的像素组，作为梯度方向对附近区域。图7 中，作为梯度方向对附近区域706和707，分别选择与梯度方向对像素704 和705的距离分别在附近长度708以内的像素组。附近长度708是表示部位 的外观误差长度的预先确定的值。

这里，上述“部位的外观误差长度”是图像上对象部位的粗细的差。有时 对象部位的端部和中央的粗细不同。另外，在某些拍摄角度下，对象部位在 图像上的粗细不同，或者部位两端粗细不同。此外，有时由于衣服的褶皱等， 拍摄到的对象部位的粗细并不均匀。因此，本实施方式中，作为部位的外观 误差长度，预先设定相对于部位的平均粗细的、规定的图像上的部位的粗细 差，由此能够进行鲁棒性估计。

在步骤S2005中，边缘对似然图生成单元120计算关注像素702的边缘 对似然。具体而言，边缘对似然图生成单元120计算梯度方向对附近区域706 内的像素亮度总和与梯度方向对附近区域707内的像素亮度总和的积，作为 边缘对似然。

此外，边缘对似然图生成单元120也可以计算梯度方向对附近区域706 内具有规定值以上的亮度Y的像素数与梯度方向对附近区域707内具有规定 值以上的亮度Y的像素数的积，作为边缘对似然。由此，边缘对似然图生成 单元120能够用各梯度方向对附近区域706、707的大小对边缘对似然进行标 准化。

在步骤S2006中，边缘对似然图生成单元120判断关于胳膊候选区域710 的全部像素的边缘对似然计算是否已结束。若关于全部像素已结束计算 (S2006：“是”)，则边缘对似然图生成单元120判断为步骤S2001中选择的 增量的边缘对似然图的生成已结束，并进入步骤S2007。另一方面，若关于 全部像素未结束计算(S2006：“否”)，则边缘对似然图生成单元120判断为 步骤S2001中选择的增量的边缘对似然图的生成未结束，并进入步骤S2002。

在步骤S2007中，边缘对似然图生成单元120判断关于全部梯度方向的 边缘对似然计算是否已结束。若关于全部梯度方向已结束计算(S2007：“是”)， 则边缘对似然图生成单元120判断为预先确定的全部梯度方向的边缘对似然 图的生成已结束，并结束一系列处理。另一方面，若关于全部梯度方向未结 束计算(S2007：“否”)，则边缘对似然图生成单元120判断为预先确定的全 部梯度方向的边缘对似然图的生成未结束。因此，边缘对似然图生成单元120 为了生成尚未生成的梯度方向的边缘对似然图，进入步骤S2001。

此外，在上述图7的说明中，关于部位的粗细701和附近长度708，说 明了预先设定值的例子，但不限于此。也就是说，边缘对似然图生成单元120 也可以与人物候选区域或胳膊候选区域的大小成比例来动态地改变值，调节 为合适的值。由此，边缘对似然图生成单元120能够根据人340的图像上的 大小，将对象部位的粗细701和附近长度708改变为合适的值。其结果是， 边缘对似然图生成单元120能够对每个梯度方向生成精度更高的边缘对似然 图。

<连续性似然图生成处理的说明>

接着，使用图8及图9说明一例连续性似然图生成处理(图5的步骤 S3000)。

在边缘对似然图中，与不存在对象部位的区域内的像素相比，存在对象 部位的区域内的像素在各像素的各梯度方向对附近区域中存在边缘的几率较 高，因此边缘对似然较高。因此，连续性似然图生成单元130利用如下事实： 在对象部位候选区域内仅特定像素的边缘对似然较高，特定像素周围像素的 边缘对似然较低的情况下，能够判断为该候选区域并非部位区域。

图8是表示一例作为连续性似然图的基础的边缘对似然图的图。图8中， 在边缘对似然图的部分区域810中，表示各像素的水平方向的边缘对似然。

在生成连续性似然图时，连续性似然图生成单元130使用作为设想了对 象部位的大小或形状的区域的部位矩形801。部位矩形801是设想区域的一 例。图8中，部位矩形801例示设想为上臂或前臂的长方形。不过，连续性 似然图生成单元130能够设定与对象部位的大小或形状相应的部位矩形。另 外，虽然例示了长方形，但部位矩形801也可以使用与对象部位的大小或形 状相应的椭圆形。部位的连接根部及端部受连接部位的形状的影响，与部位 中央相比，边缘对似然倾向于较低，因此通过使部位矩形为椭圆形，能够减 少部位的连接根部及端部的影响程度，高精度地提取候选区域。

图8所示的部位矩形801，将短边设想为对象部位的平均粗细，将长边 设想为对象部位的平均长度。

连续性似然图生成单元130使部位矩形801的长边的方向与边缘对似然 图的梯度方向一致。并且，连续性似然图生成单元130评价部位矩形801中 包含的像素的边缘对似然的总和。

图8中示出梯度方向为水平方向的边缘对似然，因此连续性似然图生成 单元130将部位矩形801的长边的方向设定为水平方向。另外，连续性似然 图生成单元130例如将部位矩形801的初始位置设定为连续性似然图的左上 角。并且，连续性似然图生成单元130反复进行X轴方向上的每一个像素的 扫描和Y轴方向上的每一行的移动。由此，连续性似然图生成单元130在连 续性似然图的全部区域中评价部位矩形801中包含的像素的边缘对似然的总 和。

例如，在图8中，边缘对似然图的边缘对似然P使用表示关注像素的位 置的x坐标x、y坐标y、以及梯度方向k，设为P(x，y，k)。另外，设部位 矩形801的左上角像素的位置为(i，j)，部位矩形的长边长度为r，短边长度 为s，梯度方向为k。此时，连续性似然图生成单元130通过下式求由部位矩 形801包围的像素的边缘对似然的总和T。

$T=\underset{y=j}{\overset{j+s}{\Sigma }}\underset{x=i}{\overset{i+r}{\Sigma }}P(x,y,k)...\left(1\right)$

在图8的例子中，(i，j)＝(4，3)，r＝5，s＝2。因此，作为上式的计算结果， 部位矩形801内的像素的边缘对似然的总和T为41。

连续性似然图生成单元130在边缘对似然的总和为规定的阈值以上的情 况下，将部位矩形801中包含的像素在边缘对似然图上的坐标信息追加到总 和的评价结果列表信息中进行保持。连续性似然图生成单元130对于胳膊候 选区域710的全部区域，结束了部位矩形801中包含的像素的边缘对似然总 和的评价之后，进行以下动作。即，连续性似然图生成单元130仅保持在上 述列表信息中保持了坐标信息的像素的边缘对似然。或者，连续性似然图生 成单元130也可以将剩余像素的边缘对似然设定为表示无边缘对似然的值 (例如零)。这样一来，评价了边缘对似然之后的似然称为“连续性似然”。

图9是表示一例基于图8所示的边缘对似然图生成的连续性似然图的图。

图8中，假设在规定的阈值为40的情况下，对于胳膊候选区域的一部分 810的全部区域，结束了部位矩形801中包含的像素的边缘对似然总和的评 价。此时，边缘对似然总和的评价结果列表信息中保持的像素，仅为图8的 部位矩形801所包围的区域的像素。连续性似然图生成单元130将部位矩形 801所包围区域以外的像素的边缘对似然，设定为表示无边缘对似然的值(例 如零)，生成连续性似然图。其结果是，如图9所示那样，生成连续性似然图 820。

这里，规定的阈值可以根据对象部位的部位矩形801不同而不同。规定 的阈值例如可以与对象部位的部位矩形801的大小成比例地改变阈值。另外， 规定的阈值可以根据身体模型中对象部位的位置改变阈值。例如，在对象部 位位于身体模型的端部的情况下，对象部位与其他部位不重叠，被检测出的 可能性高，因此将阈值设定得较高。另外，在对象部位位于身体模型的中央 的情况下，与其他部位重叠的可能性高，被检测出的可能性低，因此将阈值 设定得较低。连续性似然图生成单元130可以通过这样设定阈值来生成鲁棒 性的连续性似然图。另外，连续性似然图生成单元130也可以使用事先准备 的图像的边缘对似然，学习对象部位的部位矩形801中包含的像素的边缘对 似然的总和。

连续性似然图生成单元130对于各梯度方向的全部边缘对似然图反复执 行上述处理。由此，连续性似然图生成单元130能够对每个梯度方向生成连 续性似然图。

这样，连续性似然图生成单元130并不是用阈值过滤各像素的边缘对似 然，而是以设想了对象部位的大小或形状的区域为单位设定阈值，过滤边缘 对似然。连续性似然图生成单元130例如对于设想了对象部位的大小或形状 的区域，以部位矩形801为单位设定阈值。由此，连续性似然图生成单元130 能够留下虽然作为单个像素是边缘对似然低的像素，但包含在部位区域中的 可能性较高的像素。另外，连续性似然图生成单元130能够将不满足对象部 位区域条件的像素的边缘对似然作为噪声除去。不满足对象部位区域条件的 情况例如是如下情况：虽然作为单个像素的边缘对似然较高，但设想了对象 部位的大小或形状的区域的边缘对似然总和小于阈值。

<综合似然图生成处理的说明>

接着，使用图10说明一例综合似然图生成处理(图5的步骤S4000)。

图10是表示一例综合似然图生成处理(图5的步骤S4000)的动作的流 程图。

综合似然图是使用对各梯度方向生成的所有连续性似然图生成的、表示 对象部位的可能性最大的区域的图。

在步骤S9001中，综合似然图生成单元140对连续性似然图的同一梯度 方向中的每个方向，将对象部位候选区域的数进行计数。也就是说，在有6 个梯度方向的情况下，综合似然图生成单元140对6个梯度方向中的每个方 向，将候选区域的数进行计数。这里的“对象部位候选区域”是指，在连续性 似然图中，对在同一梯度方向上连续的像素赋予了连续性似然的区域。例如， 在图9的例子中，对象部位候选区域的数量为1。本实施方式中，假设对6 个梯度方向中的每个方向，将候选区域的数进行计数后，提取了5个候选区 域。

在步骤S9002中，综合似然图生成单元140将对各梯度方向计数了的对 象部位候选区域的数量总和与对象部位的数量进行比较。这里的“对象部位的 数量”是预先确定的值。在比较结果是候选区域的数量总和为对象部位的数量 以下的情况下(S9002：“是”)，综合似然图生成单元140将连续性似然图作 为综合似然图，并结束一系列处理。另一方面，在候选区域的数量总和大于 对象部位数的情况下(S9002：“否”)，综合似然图生成单元140进入步骤 S9003。

本实施方式中，对象部位的数为4(右前臂420、右上臂419、左上臂422、 左前臂423)。因此，综合似然图生成单元140在候选区域的数量总和为4以 下时结束一系列处理，在候选区域的数量总和多于4时进入步骤S9003。

在步骤S9003中，综合似然图生成单元140对各梯度方向上进行了计数 的每个对象部位候选区域，计算候选区域中包含的像素的连续性似然的总和。 并且，综合似然图生成单元140从计算出的总和最大的区域起，依次提取数 量为对象部位数的候选区域。

本实施方式中，对象部位的数为4，因此综合似然图生成单元140对于 全部5个候选区域，计算候选区域中包含的像素的连续性似然的总和。并且， 综合似然图生成单元140从计算出的总和值最大的区域起，依次提取4个候 选区域。

在步骤S9004中，综合似然图生成单元140判定提取出的候选区域是否 满足对象部位的身体限制。

例如，本实施方式中，对象部位为上臂或前臂，使用上臂和前臂至少通 过关节连接这一身体限制。具体而言，使用的判定基准是：在各候选区域的 至少一个端部附近，存在其他候选区域的端部。

这里，说明一例确定表示候选区域端部位置的端部坐标的方法。

例如，在图9所示的梯度方向为水平方向的连续性似然图中，考虑通过 候选区域的水平方向(X轴方向)的直线群。在该直线群中，考虑直线与候 选区域重叠的长度最长的直线。将该直线和候选区域的边界像素作为候选区 域的端部像素。例如，图9中，候选区域的端部像素用X轴和Y轴的值(x， y)表示为(4，3)和(8，3)、或者(4，4)和(8，4)。这里，在候选区域的端部像素 有多个的情况下，将各坐标值的平均值作为端部坐标，所以为(4，3.5)和(8， 3.5)。

本实施方式中，综合似然图生成单元140用同样的方法求其他3个候选 区域的端部坐标。并且，综合似然图生成单元140对每个候选区域，判定从 部位区域的任一端部起的规定的距离内是否存在其他候选区域的端部。并且， 综合似然图生成单元140在对全部候选区域，从部位区域的任一端部起的规 定的距离内存在其他候选区域的端部的情况下，判断为满足身体限制。这里， 上述“规定的距离”依赖于部位区域的大小，长度短于部位区域的短边。

在满足身体限制时(S9004：“是”)，综合似然图生成单元140生成保持 提取出的候选区域的连续性似然，将其他值设定为表示无连续性似然的值(例 如零)的综合似然图，并结束一系列处理。另一方面，在不满足身体限制时 (S9004：“否”)，综合似然图生成单元140返回步骤S9003，继续进行候选 区域的提取。

此外，在所有候选区域组合均不满足身体限制时，综合似然图生成单元 140将最接近身体限制的候选区域组合视为候选区域进行提取。并且，综合 似然图生成单元140生成保持提取出的候选区域的连续性似然，将其他值设 定为表示无连续性似然的值(例如零)的综合似然图，并结束一系列处理。

说明综合似然图生成单元140判断规定的候选区域是否最接近身体限制 的方法的一例。首先，综合似然图生成单元140对从部位区域的任一端部起 的规定的距离内不存在其他候选区域的端部的部位候选，计算从部位区域的 任一端部起到其他候选区域的端部的最短距离。并且，综合似然图生成单元 140对每个候选区域组合，计算最短距离与规定的距离之差的和。综合似然 图生成单元140将该值小的候选区域组合判断为接近身体限制。

这样，部位估计装置100利用对各梯度方向生成的连续性似然图，并且 考虑身体限制，仅提取作为部位的可能性最高的区域。由此，部位估计装置 100能够高精度地估计部位。

此外，综合似然图生成单元140使用了“前臂和上臂通过关节连接”这一 身体限制，另外，也可以进行估计头或肩的位置的处理，使用“在肩附近存在 上臂的候选区域的端部”这一身体限制。由此，部位估计装置100能够高精度 地估计部位。

另外，本实施方式中，在图9所示的流程中，也可以省略是否满足身体 限制的判定(步骤S9004)本身。

如以上说明的，本实施方式能够得到以下作用和效果。也就是说，部位 估计装置100首先对输入图像的每个像素，对各梯度方向生成将局部区域中 的对象部位相似性数值化而得到的边缘对似然图。由此，部位估计装置100 能够无遗漏地提取局部区域中的对象部位相似性。另外，部位估计装置100 对各梯度方向生成连续性似然图，该图表示边缘对似然图上基于相当于对象 部位的区域判定的对象部位相似性。由此，部位估计装置100能够将虽然局 部区域满足部位相似性、但不满足作为区域的部位相似性的区域，判断为并 非部位区域。

此外，部位估计装置100生成综合似然图，该图是从连续性似然图中各 梯度方向上提取出的候选区域中，锁定了与对象部位最相似的满足身体限制 的区域并进行表示的图。由此，部位估计装置100能够估计人340的对象部 位。

通过上述一系列动作，如上所述，即使是难以用直线提取部位轮廓的图 像，部位估计装置100也能够高精度地估计人340的部位。

(实施方式3)

本发明的实施方式3是将本发明适用于估计拍摄图像中包含的人的部位 的装置时的具体方式的一例。

本实施方式是对实施方式2增加功能的方式，对与实施方式2相同的部 分附加相同的标号，并省略与其相关的说明。

本实施方式中，部位估计装置在图像中存在与对象部位形状类似的人工 物体的情况下，通过将对象部位和人工物体相区别，能够精度更高地估计部 位。

首先，包括本实施方式的部位估计装置的部位估计系统的概要，与实施 方式2是同样的。

<部位估计装置的结构>

首先说明部位估计装置100b的结构。

图11是表示部位估计装置100b的一例结构的框图。图11中，部位估计 装置100b具有图像输入单元110、边缘对似然图生成单元120、连续性似然 图生成单元130、方差似然图生成单元160、综合似然图生成单元140b、以 及结果输出单元150。

图11中，与图4不同之处有两个。一个是增加了方差似然图生成单元 160。另一个是综合似然图生成单元140b使用方差似然图生成单元160生成 的方差似然图，生成综合似然图。

方差似然图生成单元160在连续性似然图生成单元130对各梯度方向生 成的各个连续性似然图中，评价预先定义的设想区域(例如部位矩形)内包 含的连续性似然的方差。并且，方差似然图生成单元160反复进行连续性似 然的方差评价，直到包括全部连续性似然图为止，由此生成方差似然图。上 述“预先定义的设想区域”例如是对象部位候选区域。这里的“对象部位候选区 域”是指，在连续性似然图中，对在同一梯度方向上连续的像素赋予了连续性 似然的区域。

具体而言，方差似然图生成单元160删除判断为连续性似然图的连续性 似然的方差和对象部位的方差不同的连续性似然。或者，方差似然图生成单 元160也可以仅保持判断为与对象部位的方差类似的连续性似然。这样的话， 方差似然图生成单元160生成方差似然图。

该方差似然图生成处理利用了人工物体与人的部位中连续性似然的方差 不同的事实。工业产品等人工物体的边缘与人的部位的边缘的梯度相比，容 易用单一的梯度进行提取，方差的值倾向于较小。因此，本实施方式中，通 过评价方差能够判别人工物体和人的部位。

此外，关于方差似然图生成方法的细节，在后面阐述。

这种部位估计装置100b首先与上述实施方式1、2同样地进行边缘对似 然图生成处理和连续性似然图生成处理。随后，部位估计装置100进行方差 似然图生成处理，该处理评价连续性似然的方差，对各梯度方向生成满足对 象部位的方差的方差似然图。并且，部位估计装置100b基于各梯度方向的方 差似然图，生成满足对象部位的身体限制的综合似然图。这样，即使是难以 用直线提取部位轮廓的图像或者混合有人工物体的图像，部位估计装置100b 也能够高精度地估计人340的部位。

以上是对部位估计装置100b的结构的说明。

<部位估计装置的动作说明>

接着说明部位估计装置100b的动作。

图12是表示部位估计装置100b的一例动作的流程图。

图12与图5的不同之处在于，在连续性似然图生成处理(S3000)和综 合似然图生成处理(S4000)之间，增加了方差似然图生成处理(S7000)。

在步骤S7000中，方差似然图生成单元160进行方差似然图生成处理。 方差似然图生成处理是生成上述方差似然图的处理。

<方差似然图生成处理的说明>

这里，说明一例方差似然图生成处理(S7000)。

方差似然图生成单元160使用下式求方差的值。

${\sigma }^2=\frac{1}{n}\underset{i=1}{\overset{n}{\Sigma }}{(x_i-\bar{x})}^2...\left(2\right)$

方差σ²是从各数据x_i中减去平均值求出偏差，将这些值的平方和除以数据数n，

由此求得数据和平均值之间的距离所得到的值。

方差σ²越大，表示数据的标准离差越大。

在图像中，工业产品等人工物体的边缘往往由直线构成。因此，本实施 方式中，利用与人工物体与人340的部位相比连续性似然图的方差值更小这 一点，能够区分人工物体与人340的部位。具体而言，方差似然图生成单元 160对各个同一梯度方向求连续性似然图的部位候选区域的方差。若求得的 方差值小于规定的阈值，则方差似然图生成单元160将候选区域判断为人工 物体。并且，方差似然图生成单元160将方差值小于规定的阈值的像素的连 续性似然设定为表示无连续性似然的值(例如零)。另一方面，若求得的方差 值大于规定的阈值，则方差似然图生成单元160判断为候选区域是部位的可 能性大。并且，方差似然图生成单元160保持方差值大于规定的阈值的像素 的连续性似然。例如，方差似然图生成单元160在梯度方向k的候选区域的 方差小于规定的阈值时，将该候选区域中包含的像素的梯度方向k的连续性 似然设定为表示无似然的值(例如零)。

这里，方差似然图生成单元160作为上述“规定的阈值”，既可以使用预 先学习的值，也可以基于上次部位估计结果的部位区域的方差的平均值进行 计算。或者，方差似然图生成单元160还可以使用判别分析法，将本次提取 的候选区域的方差分类为人工物体与人340的部位。判别分析法是求分离度 最大的阈值，自动进行二值化的公知方法。在分类为人工物体与人340的部 位这两个类时，通过类间方差与类内方差之比来求分离度。

接着，说明一例方差似然图生成单元160计算连续性似然图的部位候选 区域的方差的方法。

首先，方差似然图生成单元160使用下式计算连续性似然图的部位候选 区域的重心C。

设部位候选区域中包含的第k像素G_k的x坐标和y坐标的位置为G_k＝(x_k， y_k)，在有m个像素的情况下，通过下式计算重心C。

$C=(\frac{\underset{k=1}{\overset{m}{\Sigma }}{x}_k}{m},\frac{\underset{k=1}{\overset{m}{\Sigma }}{y}_k}{m})...\left(3\right)$

这里，考虑穿过重心C，并且与包含部位候选区域的连续性似然图的梯 度方向垂直的直线。具体而言，例如，在包含部位候选区域的连续性似然图 的梯度方向为θ的情况下，考虑穿过重心C并且角度为θ+90度的直线。并且， 方差似然图生成单元160将位于部位候选区域中且位于该直线上的像素的 值，作为上述求方差σ2的式子的值xi来求方差。

方差似然图生成单元160将这样计算出的部位候选区域的方差与预先设 定的规定的阈值进行比较。作为比较结果，若方差的值小于规定的阈值，则 方差似然图生成单元160判断为该区域是部位的可能性较低，将该梯度方向 的连续性似然设定为表示无连续性似然的值(例如零)。如果作为比较结果， 方差的值在规定的阈值以上，则方差似然图生成单元160可以判断为该区域 是部位的可能性较高，仅保持该梯度方向的连续性似然。

此外，这里，方差似然图生成单元160仅评价了部位候选区域的重心C 这一个点的方差，但也可以计算多个方差，使用其平均值进行判断。由此可 提高鲁棒性。例如，方差似然图生成单元160对于穿过重心C并且方向是包 含部位候选区域的连续性似然图的梯度方向的直线上的、重心C以外的像素， 也可以进行与对上述重心C进行的处理相同的处理，来求多个方差。

此外，连续性似然图生成单元130在使用部位矩形801生成连续性似然 图时，也可以留下部位矩形801附近像素的边缘对似然。方差是表示数据的 标准离差的值，其大小因与期待值偏离的值的量而改变。因此，连续性似然 图生成单元130留下与期待值偏离的边缘对似然时，人工物体与人340的部 位的方差之差变大，判别变得更容易。对此，使用图13对此进行说明。

<连续性似然图的一例>

图13表示一例作为方差似然图的基础的连续性似然图。连续性似然图 820是连续性似然图生成单元130不仅保持部位矩形801中包含的像素的边 缘对似然，还保持部位矩形801的附近区域802中包含的像素的边缘对似然 而生成的。

在图13的连续性似然图820中，虽然未包含在部位矩形801中，但部位 矩形801的附近区域802中包含的像素也存在比较高的边缘对似然(连续性 似然)。因此，使用图13的连续性似然图820计算出的方差大于根据图9的 连续性似然图820计算出的方差。由此，方差似然图生成单元160能够高精 度地区分人工物体和人340的部位。这样，方差似然图生成单元160不仅包 含部位矩形，还包含附近区域802来求方差，从而能够提高判别人工物体和 人340的部位的精度。

此外，图13中，作为例子表示了将部位矩形的各边分别增大1像素得到 的附近区域802，但不限于此。附近区域802可以根据部位矩形801的大小 或对象部位的种类等进行变动。

此外，这里说明了方差似然图生成单元160评价候选区域内的方差的例 子，但也可以不使用方差，而使用连续性似然的平均值进行评价。这利用了 如下特性：人工物体的连续性似然的方差值较小，因此连续性似然的平均值 倾向于较高。在此情况下，方差似然图生成单元160求候选区域内具有连续 性似然的像素的平均值。

例如，在图9中，连续性似然图的连续性似然P使用表示像素位置的x 坐标x、y坐标y、以及梯度方向k，表示为P(x，y，k)。另外，设部位矩形 801的左上角像素的位置为(i，j)，部位矩形的长边长度为r，短边长度为s， 梯度方向为k，部位矩形内连续性似然为0的像素数为u。此时，部位矩形 801中包含的像素的连续性似然的平均值A通过下式来求。

$A=\frac{\underset{y=j}{\overset{j+s}{\Sigma }}\underset{x=i}{\overset{i+r}{\Sigma }}P(x,y,k)}{s\times r-u}...\left(4\right)$

方差似然图生成单元160将通过上式计算出的部位候选区域的连续性似 然平均值与预先设定的规定的阈值进行比较。作为比较结果，若平均值大于 规定的阈值，则方差似然图生成单元160判断为该区域是人340的部位的可 能性较低。并且，方差似然图生成单元160将该梯度方向的连续性似然设定 为表示无连续性似然值的值(例如零)。另一方面，如果比较结果是连续性似 然的平均值在规定的阈值以下，则方差似然图生成单元160判断为该区域是 人340的部位的可能性较高，保持该梯度方向的连续性似然。

此外，本实施方式中，方差似然图生成单元160使用连续性似然图生成 了方差似然图，但也可以使用边缘对似然图，同样地生成方差似然图。在此 情况下，边缘对似然图中不存在部位候选区域，因此方差似然图生成单元160 对全部像素，对该像素的规定的距离内的区域计算方差，从而进行判别人工 物体的处理。

通过这样做，本实施方式中，能够从边缘对似然图中排除人工物体可能 性较高的区域的边缘对似然，估计部位。

这种部位估计装置100b首先与上述实施方式1、2同样地进行边缘对似 然图生成处理和连续性似然图生成处理。随后，部位估计装置100b进行方差 似然图生成处理，该处理基于连续性似然图来评价连续性似然的方差，对各 梯度方向生成满足对象部位的方差条件的方差似然图。并且，部位估计装置 100b基于各梯度方向的方差似然图，生成满足对象部位的身体限制的综合似 然图。这样，无论是难以用直线提取部位轮廓的图像，还是混合有人工物体 的图像，部位估计装置100b都能够高精度地估计人340的部位。

(实施方式4)

本发明的实施方式4是在对象部位为胳膊(右上臂419、右前臂420、左 上臂422、左前臂423)时，使用躯干或头等对象部位以外(以下称为“非估 计对象部位”)的信息的情况的例子。

本实施方式的部位估计装置首先从图像中提取非估计对象部位的轮廓。 随后，部位估计装置在连续性似然图或方差似然图中，降低提取出的非估计 对象部位轮廓的附近区域的边缘对似然或连续性似然，并进行随后的对象部 位的估计处理。这是考虑到如下事实：由于对象部位和非估计对象部位在图 像上发生重叠，所以非估计对象部位存在的附近区域的像素的边缘对似然或 连续性似然有可能较高。通过这样做，部位估计装置能够消除非估计对象部 位的影响，高精度地估计部位。

图14是表示本实施方式的部位估计装置的一例结构的框图，对应于实施 方式2的图4。图14中，对与图4相同的部分附加相同的标号，并省略与其 相关的说明。

在图14中，部位估计装置100c除了具有图4的结构以外还具有轮廓区 域估计单元170。

本实施方式中，以对象部位为胳膊(右上臂419、右前臂420、左上臂 422、左前臂423)进行说明，以非估计对象部位为头418和躯干411进行说 明。

轮廓区域估计单元170从图像中提取人340的非估计对象部位的轮廓， 将其附近区域作为轮廓区域提取出来。

<轮廓区域估计的说明>

说明一例轮廓区域估计。

首先，轮廓区域估计单元170根据输入的图像生成背景差图像，提取人 340的人候选区域。这里，背景差图像例如是表示在人340不在的状态下拍 摄的背景图像和输入图像之间的差的图像。

由此，轮廓区域估计单元170能够将与背景不同的像素作为人候选区域 进行处理。

此外，轮廓区域估计单元170例如预先保持背景图像，通过计算背景图 像和输入图像之间的差来生成背景差图像。或者，轮廓区域估计单元170还 可以通过提取移动物体区域来生成背景差图像。另外，轮廓区域估计单元170 例如可以通过在上次输入的图像和本次输入的图像中提取亮度不同的像素， 由此提取移动物体区域，并将移动物体区域作为人候选区域。

本实施方式中，首先，轮廓区域估计单元170作为头候选区域提取人候 选区域中的上部区域。上部区域例如预先确定为包含人候选区域中上端起向 下方规定的比例(例如30％)的部分的区域。轮廓区域估计单元170提取该 头候选区域中作为轮廓的像素来作为头的轮廓像素。

此外，轮廓区域估计单元170也可以从所提取的头候选区域中使用霍夫 变换等提取头区域。霍夫变换是公知技术，能够从边缘信息中求表示圆心(X 坐标、Y坐标)和半径的三个参数。轮廓区域估计单元170可以提取该圆上 的像素作为头的轮廓像素。

轮廓区域估计单元170也可以在从头候选区域提取的头的轮廓像素上， 加上通过霍夫变换等求得的圆上的像素，作为头的轮廓。通过这样做，轮廓 区域估计单元170即使在人候选区域中存在缺损的情况下，也能够更鲁棒地 提取头的轮廓像素。

另外，轮廓区域估计单元170也可以提取从头候选区域提取的头的轮廓 像素和从头候选区域提取的圆形像素的共同像素作为头的轮廓。通过这样做， 轮廓区域估计单元170能够更可靠地提取头的轮廓像素。

接着，轮廓区域估计单元170提取人候选区域中的中部区域作为躯干候 选区域。中部区域例如预先确定为包含人候选区域中规定的比例(例如从上 方起20％至60％)的部分的区域。轮廓区域估计单元170提取该躯干候选区 域中作为轮廓的像素来作为躯干的轮廓。

此外，轮廓区域估计单元170也可以与头的轮廓像素的提取同样，从所 提取的躯干候选区域中使用霍夫变换等提取椭圆形的躯干候选区域。

轮廓区域估计单元170也可以在从躯干候选区域提取的躯干的轮廓像素 上，加上通过霍夫变换等求出的椭圆上的像素，作为躯干的轮廓像素。通过 这样做，轮廓区域估计单元170即使在躯干候选区域中存在缺损的情况下， 也能够更鲁棒地提取躯干的轮廓像素。

另外，轮廓区域估计单元170也可以提取从躯干候选区域提取的像素与 从躯干候选区域提取的椭圆形上的像素的共同像素作为躯干的轮廓像素。通 过这样做，轮廓区域估计单元170能够更可靠地提取躯干的轮廓像素。

轮廓区域估计单元170将以上述方式提取的、头418与躯干411的轮廓 像素及其附近区域作为轮廓区域。具体而言，轮廓区域估计单元170将位于 以头和躯干的轮廓为中心的规定的距离内的像素作为轮廓区域。这里，规定 的距离例如可以基于对象部位在图像上的外观误差的大小来确定。

轮廓区域估计单元170将所估计的轮廓区域输出到综合似然图生成单元 140c。

综合似然图生成单元140c使用轮廓区域估计单元170估计的轮廓区域和 连续性似然图生成单元生成的连续性似然图，生成综合似然图。

综合似然图生成单元140c，在图10的S9003中，在提取边缘对似然的 总和较大的区域时，降低坐标位置与轮廓区域估计单元170估计的轮廓区域 重叠的候选区域的优先级并进行提取。“优先级”换言之是进行提取(选择) 的优先级。具体而言，综合似然图生成单元140c例如对于坐标位置重叠的区 域，变更为从边缘对似然的总和中减去了规定的值所得到的值。通过这样做， 综合似然图生成单元140c优先选择坐标位置不重叠的区域作为候选区域。由 此，在非估计对象部位的轮廓满足连续性似然图生成时的条件即边缘对似然 的连续性的情况下，部位估计装置100c也能够高精度地估计对象部位。

这里，上述“规定的值”例如可以是：相应候选区域中候选区域与轮廓区 域重叠的像素的比例(将候选区域中与轮廓区域重叠的像素数除以候选区域 的像素数得到的值)、与相应候选区域总和的积。

另外，综合似然图生成单元140c可以使坐标位置与轮廓区域重叠的候选 区域的优先级在对象部位数之下。具体而言，例如考虑如下情况：对象部位 数为4，提取了6个候选区域，按照边缘对似然的总和从大到小的顺序排列 时，第3候选区域的坐标位置重叠。在此情况下，综合似然图生成单元140 可以降低该候选区域的优先级，使其总和的顺序从第3降至第5以后，使其 不纳入图10中第一次S9004的处理中使用的组合。

此外，部位估计装置100c可以不仅在坐标位置与轮廓区域估计单元170 估计的轮廓区域重叠的情况下，而且在轮廓区域的朝向与候选区域的方向一 致的情况下，降低优先级。所谓轮廓区域的朝向，例如在对象部位是身体模 型410的躯干411的情况下，是用直线近似躯干左右长边的轮廓的情况下的 角度。直线的近似可以使用利用最小二乘法求回归直线的方法，该方法是公 知技术。通过这样做，在由于轮廓和噪声使候选区域的边缘对似然较高的情 况下，部位估计装置100c也能够高精度地估计部位。

此外，综合似然图生成单元140c可以根据候选区域和部位矩形的类似度 来改变优先级。关于候选区域和部位矩形的类似度，例如，可以将候选区域 和部位矩形在重心处进行重叠，此时对候选区域与部位矩形不一致的像素数 进行计数，不一致的像素数越多，则判断为类似度越低，并降低优先级。通 过这样做，降低与部位矩形的类似度较低的候选区域的优先级，在由于衣服 花纹等噪声使边缘对似然较高的情况下，部位估计装置100c也能够高精度地 估计部位。

此外，如图15所示，综合似然图生成单元140c可以使用轮廓区域估计 单元170估计的轮廓区域和方差似然图生成单元160生成的方差似然图，生 成综合似然图。通过这样做，即使在图像中含有人工物体的情况下，部位估 计装置100c也能够高精度地进行部位估计。

由此，部位估计装置100c能够从部位区域候选中排除有可能由于非估计 对象部位的存在而使边缘对似然变大的区域，因此能够提高部位估计的精度。

此外，在以上说明的本发明的实施方式2、实施方式3、实施方式4中， 说明了从背景差图像中估计对象部位的处理，但不限于此。例如，部位估计 装置也可以使用如下图像：使用作为公知技术的中值滤波器，从背景差图像 中除去噪声后得到的图像。另外，部位估计装置100也可以使用重叠背景差 图像和边缘图像所得到的图像。

另外，上述实施方式1～4中，通过例子说明了由硬件来构成本发明的情 况，但是本发明还可以在与硬件的协作下通过软件来实现。

如上所述，本公开的部件估计装置包括：边缘对似然图生成单元，对图 像中的每个像素计算边缘对似然，生成对每个所述像素表示该边缘对似然的 边缘对似然图，所述边缘对似然表示该像素附近存在的成对像素是估计对象 部位的边缘的似真性；连续性似然图生成单元，对于所述边缘对似然图，对 设想了所述估计对象部位的区域内包含的像素的边缘对似然评价连续性，生 成表示具有连续性的边缘对似然表示作为所述估计对象部位的候选区域的连 续性似然图；以及综合似然图生成单元，生成基于预先确定的条件锁定而表 示所述连续性似然图所示的所述候选区域的综合似然图。

另外，本公开的部位估计装置还包括：方差似然图生成单元，评价所述 连续性似然图所示的具有所述连续性的边缘对似然的方差，生成满足所述估 计对象部位的方差的方差似然图，所述综合似然图生成单元基于所述方差似 然图，生成所述综合似然图。

另外，本公开的部位估计装置中，所述连续性似然图生成单元除了考虑 所述具有连续性的边缘对似然以外，还考虑设想了所述估计对象部位的区域 的附近区域中包含的像素的边缘对似然，以生成所述连续性似然图，所述方 差似然图生成单元基于所述连续性似然图，生成所述方差似然图。

另外，本公开的部位估计装置还包括：轮廓区域估计单元，估计作为所 述估计对象部位以外的部位即非估计对象部位的轮廓区域，所述综合似然图 生成单元在锁定所述候选区域时，优先选择坐标与由所述轮廓区域估计单元 估计的所述轮廓区域不重叠的候选区域。

另外，本公开的部位估计装置中，所述边缘对似然图生成单元根据所述 图像的大小，动态调节所述边缘对似然图生成中使用的值。

另外，本公开的部件估计方法具有如下步骤：对图像中的每个像素计算 边缘对似然，生成对每个所述像素表示该边缘对似然的边缘对似然图的步骤， 所述边缘对似然表示该像素附近存在的成对像素是估计对象部位的边缘的似 真性；对于所述边缘对似然图，对设想了所述估计对象部位的区域内包含的 像素的边缘对似然评价连续性，生成表示具有连续性的边缘对似然作为表示 所述估计对象部位的候选区域的连续性似然图的步骤；以及生成基于预先确 定的条件锁定而表示所述连续性似然图所示的所述候选区域的综合似然图的 步骤。

另外，本公开的部件估计程序使输入或生成图像的装置的计算机执行如 下处理：对所述图像中的每个像素计算边缘对似然，生成对每个所述像素表 示该边缘对似然的边缘对似然图的处理，所述边缘对似然表示该像素附近存 在的成对像素是估计对象部位的边缘的似真性；对于所述边缘对似然图，对 设想了所述估计对象部位的区域内包含的像素的边缘对似然评价连续性，生 成表示具有连续性的边缘对似然作为表示所述估计对象部位的候选区域的连 续性似然图的处理；以及生成基于预先确定的条件锁定而表示所述连续性似 然图所示的所述候选区域的综合似然图的处理。

2012年3月29日提交的日本特愿2012-076072号所包含的说明书、说 明书附图和说明书摘要的公开内容被全部引用于本申请中。

工业实用性

本发明作为对人、动物或机器人等多关节物体的部位进行估计的部位估 计装置、部位估计方法、以及部位估计程序是极其有用的。