关节位置推断装置、关节位置推断方法及计算机可读取的记录介质

摘要

关节位置判定装置(1)具备：图像数据获取部(2)，获取图像数据；推断部(3)，由获取到的图像数据来推断人体部位；标记部(4)，分别对于推断部(3)推断出的人体部位的区域及人体部位的区域以外的区域，在一个或者多个像素进行标记；分割部(5)，对于标记部(4)进行标记之后的图像数据，应用分水岭算法而将图像数据内的区域分割为多个；及计算部(6)，由分割部(5)分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

说明书

技术领域

本发明涉及由图像数据推断关节位置的关节位置推断装置及关节位置推断方法，进一步涉及存储有用于实现这些的程序的计算机可读取的记录介质。

背景技术

以往，提出有利用拍摄装置拍摄人物，并推断该人物的姿势、人物所进行的动作(手势等)的各种技术。例如，非专利文献1公开有推断人物的关节位置并推断人物的姿势的技术。在非专利文献1中，由深度图像推断人物的人体部位，使用该推断结果并通过关节位置推断器来推断关节位置。

现有技术文献

非专利文献

非专利文献1：高桥龙平，“特别研究报告书使用了基于CNN的深度图像的视点不变的人物姿势推断”，平成30年2月8日，因特网＜URL:http://www.mm.media.kyoto-u.ac.jp/wp-content/uploads/2018/02/2017-b-takahashi.pdf>

发明内容

发明所要解决的课题

然而，在非专利文献1中，若没有高精度地进行人体部位的推断，则存在关节位置的推断精度降低这样的问题点。

本发明的目的的一个例子在于提供能够高精度地推断关节位置的关节位置推断装置、关节位置推断方法及计算机可读取的记录介质。

用于解决课题的技术方案

为了实现上述目的，本发明的一个方面的关节位置推断装置具备：图像数据获取部，获取图像数据；推断部，由所述图像数据获取部获取到的图像数据来推断人体部位；标记部，在所述推断部推断出多个人体部位的情况下，分别对于所述推断部推断出的人体部位的区域及所述人体部位的区域以外的区域，在一个或者多个像素进行标记；分割部，对于所述标记部进行标记之后的图像数据，应用分水岭算法而将所述图像数据内的区域分割为多个；及计算部，由所述分割部分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

另外，为了实现上述目的，本发明的一个方面的关节位置推断方法包括以下步骤：获取图像数据；对于所述图像数据，推断人体部位；在对于所述图像数据推断出多个人体部位的情况下，分别对于推断出的人体部位的区域及所述人体部位的区域以外的区域，在一个或者多个像素进行标记；对于标记后的图像数据，应用分水岭算法而将所述图像数据内的区域分割为多个；及由分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

而且，为了实现上述目的，本发明的一个方面的计算机可读取的记录介质记录有包括使获取图像数据的计算机执行以下步骤的命令的程序：对于所述图像数据，推断人体部位；在推断出多个人体部位的情况下，分别对于推断出的人体部位的区域及所述人体部位的区域以外的区域，在一个或者多个像素进行标记；对于标记后的图像数据，应用分水岭算法而将所述图像数据内的区域分割为多个；及由分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

发明效果

如以上那样，根据本发明，能够高精度地推断关节位置。

附图说明

图1是表示实施方式1的关节位置推断装置的概略结构的框图。

图2是具体地表示关节位置推断装置的结构的框图。

图3是表示图像数据一个例子的图。

图4是表示特征向量计算部求出的特征量的图。

图5是表示对于基于图4所示的推断部的推断结果而设定的区域的图。

图6是表示基于标记部的标记结果的图。

图7是表示基于分割部的区域分割结果的图。

图8是用于对基于计算部的计算方法进行说明的图。

图9是表示基于关节位置推断装置的动作的流程图。

图10是表示实现实施方式的关节位置推断装置的计算机的一个例子的框图。

具体实施方式

以下，参照图1～图10对本发明的一个实施方式的关节位置推断装置及关节位置推断方法进行说明。

[装置结构]

图1是表示实施方式1的关节位置推断装置1的概略结构的框图。

关节位置推断装置1是由图像数据推断人体的部位(例如手的手掌和前臂等)，并由推断出的人体部位来计算关节的位置的装置。该关节位置推断装置1具备图像数据获取部2、推断部3、标记部4、分割部5及计算部6。

图像数据获取部2获取图像数据。

推断部3由图像数据获取部2获取到的图像数据来推断人体部位。

标记部4在推断部3推断出多个人体部位的情况下，分别对于推断部3推断出的人体部位的区域及该人体部位的区域以外的区域，在一个或者多个像素进行标记。

分割部5对于标记部4进行标记后的图像数据，应用分水岭算法而将图像数据内的区域分割为多个。

计算部6由分割部5分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

这样，在本实施方式中，对于人体部位的推断出的结果进行标记，应用分水岭算法。因此，能够高精度地进行标记，并将其结果作为输入，应用分水岭算法，从而高精度地进行图像数据的区域分割。作为其结果，还能够高精度地推断与关节相邻的人体部位的区域，因此，得到信赖度高的关节(手腕)的位置的计算结果。

接着，参照图2，对本实施方式的关节位置推断装置1的结构更具体地进行说明。图2是具体地表示关节位置推断装置1的结构的框图。

关节位置推断装置1除了上述的图像数据获取部2、推断部3、标记部4、分割部5及计算部6之外，还具备区域设定部7。

图像数据获取部2获取图像数据50。图像数据获取部2也可以经由有线或者无线LAN(Local Area Network：局域网)等网络而获取图像数据50，也可以通过近距离无线通信等而获取图像数据50。另外，也可以是，在关节位置推断装置1直接连接有拍摄装置，或者关节位置推断装置1具备拍摄装置，图像数据获取部2从该拍摄装置获取图像数据50。

图3是表示图像数据50的一个例子的图。图像数据50是拍摄从人体的前臂至手指而得到的图像。本实施方式的图像数据50是附加有每个像素的深度的图像数据(以下，称为TOF图像)。TOF图像是表示从拍摄装置至拍摄对象为止的距离的信息(深度信息)与各像素相对应的图像。此外，图像数据50不限定于TOF图像，也可以为二维图像。

另外，图像数据50也可以是拍摄人物的整体像而得到的图像。也可以是，在这种情况下，例如图像数据获取部2由拍摄人物的整体像而得到的图像而推断包括关节的部位(例如手整体)，并提取该部位的图像数据。而且，也可以对于提取出的图像数据进行以下的处理。

推断部3对映现于图像数据50的人体部位的种类(前臂、手指等)进行推断。推断部3具有特征向量计算部31和推断执行部32。

特征向量计算部31按图像数据50的每个像素求出特征量(特征向量)。图4是表示特征向量计算部31求出的特征量的图。如图4所示，特征向量计算部31求出各特征量51、52、53、54。推断执行部32进行基于神经网络等的机器学习，并使用其学习模型60，由特征向量计算部31求出的特征量，对映现于图像数据50的物体的种类进行推断。在图4的情况下，推断执行部32推断为，特征量51为前臂的特征量，特征量52为手的手掌的特征量，特征量53为手指的特征量。另外，推断执行部32推断为，特征量54是人体部位以外且映现于背景的物体的特征量。此外，图4中，为了理解特征向量计算部31所求出的特征量，由虚线示出图3所示的人体部位。

此外，由于图像数据50为TOF图像，所以由推断部3进行的人体部位的推断精度变高。例如，在图像数据50为包含关节的图像的情况下，即便为关节弯曲的姿势，特征向量计算部31也能够通过利用每个像素的深度信息而高精度地求出特征量。作为其结果，基于推断执行部32的人体部位的推断精度变高。

区域设定部7对包含推断部3推断出的人体部位中的与关节相邻的人体部位亦即前臂及手的手掌在内的区域进行设定。图5是表示对于基于图4所示的推断部3的推断结果而设定的区域55的图。图5中，区域55包含手指的特征量53，但至少包含与关节(手腕)相邻的前臂的特征量51及手的手掌的特征量52即可。通过设定区域55，能够防止在以下的处理中对于不需要的区域进行处理。

标记部4对区域设定部7设定的区域55内的一个或者多个像素进行标记。图6是表示基于标记部4的标记结果的图。标记部4在区域55内对于与关节(手腕)相邻的人体部位(前臂、手的手掌)和人体部位以外的区域(背景)进行初始标记。图6所示的标记56是对于前臂的特征量51设定的初始标记。标记57是对于手的手掌的特征量52设定的初始标记。标记58表示对于背景的区域设定的初始标记。

标记部4在对于前臂的特征量51及手的手掌的特征量52进行初始标记的情况下，若接近与其他区域之间的边界则噪声产生影响，因此，为了防止噪声的影响，对各特征量的区域的中心部进行标记。另外，标记部4在对于背景的区域进行初始标记的情况下，标记于距标记56、57恒定距离范围外的位置。此外，标记部4也可以仅标记一个像素，但在后述的分水岭算法中，TOF图像的深度值的变化不平滑的情况下，有时所标记的区域没有扩大。因此，优选标记部4标记多个像素。

分割部5应用以标记部4设定的标记56、57、58作为输入的分水岭算法而将区域设定部7设定的区域55分割为多个区域。在分水岭算法中，将标记56、57、58作为像素值(深度值)的极小值(或者极大值)，扩大区域并且求出成为像素值的极大值(或者极小值)的点。以成为该极大值的点作为边界，将像素值(深度值)相近的区域作为一个区域。图7是表示基于分割部5的区域分割结果的图。图7中，区域55被分割为前臂区域59A、手的手掌区域59B及背景区域59C。

此外，在分水岭算法中，不一定只是分割为与标记数相同数量的区域，图7中，也有时被分割为四个以上区域。另外，分割部5扩大使用深度值而标记的区域，但只要是图像数据50的各像素的信息，则也可以使用亮度值等。

计算部6由分割部5分割出的区域中的与人体部位对应的两个区域59A、59B，来计算关节位置。图8是用于对基于计算部6的计算方法进行说明的图。计算部6分别对于区域59A、59B进行标签处理，获取各区域的轮廓。图8中，概略地示出轮廓。如图8所示，在区域59A与区域59B分离的情况下，计算部6求出两个区域59A、59B中相互最接近的坐标位置59A1、59B1。计算部6对包含连接坐标位置59A1、59B1的最短直线L在内的区域59D进行计算，并将其作为关节位置。此外，也可以是，在两个区域59A、59B的轮廓重叠的情况下，计算部6将重叠部分作为关节位置。

[动作说明]

接下来，使用图9对本实施方式的关节位置判定装置的动作进行说明。图9是表示基于关节位置推断装置1的动作的流程图。在以下的说明中，适当地参照图1～图8。另外，在本实施方式中，通过使关节位置推断装置动作，来实施关节位置推断法。因此，本实施方式的关节位置推断方法的说明替换为以下的关节位置推断装置的动作说明。

首先，作为前提，由拍摄装置拍摄包含关节的人体部位，并将其图像数据输入关节位置推断装置1。

在上述的前提中，图像数据获取部2获取所输入的图像数据(S1)。接下来，推断部3的特征向量计算部31按图像数据50的每个像素求出特征量51～54(参照图4)(S2)。而且，推断部3的推断执行部32由特征向量计算部31求出的特征量，识别具有该特征量的物体的种类，来推断图像数据50内的人体部位(S3)。

接着，区域设定部7对包含推断部3推断出的与位置推断对象的关节相邻的人体部位在内的区域55(参照图5)进行设定(S4)。标记部4在区域设定部7设定的区域55内进行初始标记(S5)。S5中，标记部4设定与位置推断对象的关节(手腕)相邻的前臂的标记56(参照图6)及手的手掌的标记57、人体部位以外的区域(背景)的标记58。

分割部5应用以标记56、57、58作为输入的分水岭算法而将S4中设定的区域55分割为多个区域59A、59B、59C(参照图7)(S6)。而且，计算部6由分割部5分割出的区域中的与人体部位对应的两个区域59A、59B，来计算关节位置(S7)。

[本实施方式的效果]

如以上那样根据本实施方式，由图像数据50来推断人体部位，对于推断结果进行初始标记。因此，在图像数据50中，即便标记的对象区域例如前臂或者手的手掌的形状为复杂的形状，也可高精度地进行初始标记。通过以该初始标记作为输入，利用分水岭算法，从而与关节相邻的部位亦即前臂及手的手掌的两个区域的推断精度变高。若无法明确判断前臂或者手的手掌的一方的区域，则无法高精度地计算处于两个区域之间的关节(手腕)的位置，但通过高精度地推断两个区域，能够得到信赖度高的关节(手腕)的位置的计算结果。

另外，若决定关节例如手腕的位置，则容易推断处于手腕的末端的手指的位置，另外，也容易推断手的动作、手的姿势。作为其结果，能够用于识别使手动作的手势的装置等。

[程序]

本发明的实施方式的程序为使计算机执行图9所示的步骤S1～S7的程序即可。通过将该程序安装于计算机并执行，由此能够实现本实施方式的关节位置推断装置和关节位置推断方法。在这种情况下，计算机的处理器作为图像数据获取部2、推断部3、标记部4、分割部5及计算部6发挥功能，进行处理。

另外，在本实施方式中，对于图像数据获取部2、推断部3、标记部4、分割部5及计算部6而言，通过在计算机所具备的硬盘等存储装置储存构成这些的数据文件来实现，或者通过将储存有该数据文件的记录介质搭载于与计算机连接的读取装置来实现。

另外，本实施方式的程序也可以通过由多个计算机构建的计算机系统来执行。也可以是，在这种情况下，例如，各计算机分别作为图像数据获取部2、推断部3、标记部4、分割部5及计算部6的任一个来发挥功能。

[物理结构]

此处，使用图10对通过执行本实施方式的程序来实现关节位置推断装置1的计算机进行说明。图10是表示实现本实施方式的关节位置推断装置1的计算机的一个例子的框图。

如图10所示，计算机110具备CPU111、主存储器112、存储装置113、输入接口114、显示控制器115、数据读取器/写入器116、通信接口117。所述各部经由总线121以彼此能够进行数据通信的方式连接。此外，也可以是，计算机110除了CPU111之外，还具备GPU(GraphicsProcessing Unit：图形处理单元)或者FPGA(Field-Programmable Gate Array：现场可编程门阵列)，或者取代CPU111，而具备GPU(Graphics Processing Unit：图形处理单元)或者FPGA(Field-Programmable Gate Array：现场可编程门阵列)。

CPU111通过将储存于存储装置113的本实施方式的程序(代码)在主存储器112展开，并以规定顺序执行它们，由此实施各种运算。主存储器112典型而言是DRAM(DynamicRandom Access Memory：动态随机存取存储器)等易失性的存储装置。另外，本实施方式的程序以储存于计算机可读取的记录介质120的状态提供。此外，本实施方式的程序可以是在经由通信接口117而连接的因特网上流通的程序。

另外，作为存储装置113的具体例，除了硬盘驱动器之外，还可举出闪存等半导体存储装置。输入接口114对CPU111与键盘及鼠标之类的输入设备118之间的数据传输进行中介。显示控制器115与显示器装置119连接，控制显示器装置119的显示。

数据读取器/写入器116对CPU111与记录介质120之间的数据传输进行中介，从记录介质120读出程序及向记录介质120写入计算机110的处理结果。通信接口117对CPU111与其他计算机之间的数据传输进行中介。

另外，作为记录介质120的具体例，可举出CF(Compact Flash(注册商标))及SD(Secure Digital)等通用的半导体存储设备、软盘(Flexible Disk)等磁记录介质、或者CD-ROM(Compact Disk Read Only Memory：光盘只读存储器)等光学记录介质。

此外，本实施方式的关节位置推断装置1也能够不是通过安装有程序的计算机，而是通过使用与各部对应的硬件来实现。而且，也可以是，关节位置推断装置1一部分由程序实现，剩余的部分由硬件实现。

上述的实施方式的一部分或者全部能够通过以下记载的(附记1)～(附记15)来表现，但不限定于以下的记载。

(附记1)

一种关节位置推断装置，其中，具备：图像数据获取部，获取图像数据；推断部，由所述图像数据获取部获取到的图像数据来推断人体部位；标记部，在所述推断部推断出多个人体部位的情况下，分别对于所述推断部推断出的人体部位的区域及所述人体部位的区域以外的区域，在一个或者多个像素进行标记；分割部，对于所述标记部进行标记之后的图像数据，应用分水岭算法而将所述图像数据内的区域分割为多个；及计算部，由所述分割部分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

(附记2)

根据附记1所述的关节位置推断装置，其中，所述关节位置推断装置还具备区域设定部，所述区域设定部对包含与关节相邻的、所述推断部推断出的人体部位在内的区域进行设定，所述标记部在所述区域设定部设定的区域内进行标记，所述分割部将所述区域设定部设定的区域分割为多个。

(附记3)

根据附记1或附记2所述的关节位置推断装置，其中，所述图像数据为附加有每个像素的深度的图像数据。

(附记4)

根据附记1～附记3中任一项所述的关节位置推断装置，其中，所述分割部将所述标记部标记的像素与像素值处在所述像素的规定范围内的像素作为相同的区域，而将区域分割为多个。

(附记5)

根据附记1～附记4中任一项所述的关节位置推断装置，其中，所述计算部将所述两个区域之间成为最小距离的、所述两个区域各自的位置作为基准，来计算关节位置。

(附记6)

一种关节位置推断方法，其中，包括以下步骤：获取图像数据；对于获取到的图像数据，推断人体部位；在推断出多个人体部位的情况下，分别对于推断出的人体部位的区域及所述人体部位的区域以外的区域，在一个或者多个像素进行标记；对于标记后的图像数据，应用分水岭算法而将所述图像数据内的区域分割为多个；及由分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

(附记7)

根据附记6所述的关节位置推断方法，其中，所述关节位置推断方法还包括对包含与关节相邻的、推断出的人体部位在内的区域进行设定的步骤，在所述一个或者多个像素进行标记的步骤中，在设定的区域内进行标记，在将所述图像数据内的区域分割为多个的步骤中，将设定的区域分割为多个。

(附记8)

根据附记6或者附记7所述的关节位置推断方法，其中，所述图像数据是附加有每个像素的深度的图像数据。

(附记9)

根据附记6～附记8中任一项所述的关节位置推断方法，其中，在将所述图像数据内的区域分割为多个的步骤中，将标记的像素与像素值处在所述像素的规定范围内的像素作为相同的区域，而将区域分割为多个。

(附记10)

根据附记6～附记9中任一项记载的关节位置推断方法，其中，在计算所述关节位置的步骤中，将所述两个区域之间成为最小距离的、所述两个区域各自的位置作为基准，来计算关节位置。

(附记11)

一种计算机可读取的记录介质，记录有包括使获取图像数据的计算机执行以下步骤的命令的程序：对于所述图像数据，推断人体部位；在推断出多个人体部位的情况下，分别对于推断出的人体部位的区域及所述人体部位的区域以外的区域，在一个或者多个像素进行标记；对于标记后的图像数据，应用分水岭算法而将所述图像数据内的区域分割为多个；及由分割出的区域中的对应于与关节相邻的人体部位的两个区域，来计算关节位置。

(附记12)

根据附记11所述的计算机可读取的记录介质，其中，所述程序还包括使所述计算机执行对包含与关节相邻的、推断出的人体部位在内的区域进行设定的步骤的命令，在所述一个或者多个像素进行标记的步骤中，在设定的区域内进行标记，在将所述图像数据内的区域分割为多个的步骤中，将设定的区域分割为多个。

(附记13)

根据附记11或者附记12所述的计算机可读取的记录介质，其中，所述图像数据是附加有每个像素的深度的图像数据。

(附记14)

根据附记11～附记13中任一项所述的计算机可读取的记录介质，其中，在将所述图像数据内的区域分割为多个的步骤中，将标记的像素与像素值处在所述像素的规定范围内的像素作为相同的区域，而将区域分割为多个。

(附记15)

根据附记11～附记14中任一项所述的计算机可读取的记录介质，其中，在计算所述关节位置的步骤中，将所述两个区域之间成为最小距离的、所述两个区域各自的位置作为基准，来计算关节位置。

以上，参照实施方式对本申请发明进行了说明，但本申请发明不限定于上述实施方式。本申请发明的结构、详情能够在本申请发明的范围内进行本领域技术人员可理解的各种变更。

本申请主张以2019年3月13日申请的日本申请特愿2019-46390为基础的优先权，并在此引用其公开的全部。

工业实用性

本发明能够高精度地推断关节位置。

标号说明

1：关节位置推断装置

2：图像数据获取部

3：推断部

4：标记部

5：分割部

6：计算部

7：区域设定部

31：特征向量计算部

32：推断执行部

50：图像数据

60：学习模型

51、52、53、54：特征量

55：区域

56、57、58：标记