基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体

摘要

一种基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体。获取包括活体的视频图帧。分析视频图帧中的活体而产生原子姿势特征值。依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。通过比对原子姿势杂凑键值，识别人体执行特定动作。

说明书

技术领域

本发明涉及一种人体动作识别，且特别涉及一种基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体。

背景技术

人体动作识别于学术与产业界一直是很热门的研究与应用目标，其可应用至虚拟现实、游戏、运动训练、健康照护、居家安全、人性化人机界面与教育等等不同的领域。目前人体动作识别技术可分为两类，其分别为基于电脑视觉的人体动作识别系统以及基于穿戴式感测器的人体动作识别系统。基于穿戴式感测器的人体动作识别系统必须于人体身上设置感测器才有办法进行动作识别，对于没有穿戴感测器的人体无法进行动作识别。

基于电脑视觉的人体动作识别系统可通过分析影像来进行动作识别，无须于人体上设置任何感测器。目前来说，基于电脑视觉的人体动作识别系统可使用基于模版比对的方法或基于机器学习的方法来进行动作识别。基于机器学习的方法需耗费庞大的运算资源，且机器学习模型的建立相当耗时。此外，基于模版比对的方法一般使用动态时间扭曲(dynamic time warping，DTW)处理来进行动作识别。然而，动态时间扭曲处理的时间复杂度(Time Complexity)与空间复杂度(Space Complexity)相当高，因而难以适用于运算资源受限的嵌入式平台。

发明内容

有鉴于此，本发明提出一种基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体，其可有效降低运算复杂度。

本发明实施例提供一种基于原子姿势的动作识别方法，所述方法包括下列步骤。获取包括活体的视频图帧。分析视频图帧中的活体而产生原子姿势特征值。依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。通过比对原子姿势杂凑键值，以识别人体执行特定动作。

本发明实施例提供一种动作识别系统，其包括存储装置与处理器，处理器耦接存储装置。处理器经配置以执行下列步骤。获取包括活体的视频图帧。分析视频图帧中的活体而产生原子姿势特征值。依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。通过比对原子姿势杂凑键值，以识别人体执行特定动作。

本发明实施例提供一种电脑可读取记录媒体，上述电脑可读取记录媒体记录电脑程序，其经由上述动作识别系统的处理器载入以执行上述动作识别方法的步骤。

基于上述，于本发明的实施例中，动作识别系统可获取视频图帧中人体所呈现的原子姿势特征值，并依据原子姿势特征值与杂凑函数产生各张视频图帧中原子姿势杂凑键值。于是，通过比对各张视频图帧中原子姿势杂凑键值与关联于特定动作的杂凑表，可判断人体是否执行动态的特定姿势。借此，可大幅降低运算复杂度而使人体动作识别的应用范围更广泛。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例的动作识别系统的示意图。

图2是依照本发明一实施例的动作识别方法的流程图。

图3是依照本发明一实施例的动作识别方法的示意图。

图4是依照本发明一实施例的建立杂凑表的流程图。

图5是依照本发明一实施例的动作识别方法的流程图。

图6是依照本发明一实施例的计算关节夹角的示意图。

图7是依照本发明一实施例的调整关节夹角的流程图。

图8是依照本发明一实施例的动作识别方法的示意图。

附图标记说明：

10：动作识别系统

110：存储装置

120：处理器

130：摄像装置

obj1：人物

VS1：视频串流

F1、F81～F84：视频图帧

SAP_1～SAP_8：标准原子动作

AP_1～AP_6：原子动作

J1～J19：关节点

V1～V11：肢体向量

θ1～θ6：关节夹角

T1：杂凑表

S201～S204、S401～S403、S501～S512、S701～S703：步骤

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未公开所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法、系统与电脑可读取记录媒体的范例。

图1是依照本发明一实施例的动作识别系统的示意图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍动作识别系统中的所有构件以及配置关系，详细功能与操作将配合图2与图3一并公开。

请参照图1，动作识别系统10包括存储装置110、处理器120，以及摄像装置130，其中处理器120耦接至摄像装置130以及存储装置110。在一实施例中，动作识别系统10可包括具有存储装置110与处理器120的电脑系统，以及外接于上述电脑系统的影像获取装置130。例如，动作识别系统10可以是由笔记本电脑或台式电脑与外接摄影机而构成，本发明不在此设限。在另一实施例中，动作识别系统10可以是将摄像装置130、存储装置110，以及处理器120整合为单一电子装置。例如，动作识别系统10可以是智能手机、平板电脑等具有影像获取功能的电子装置，本发明不在此设限。

摄像装置130用以朝一空间获取影像而产生包括连续视频图帧的视频串流，并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)元件或其他元件，本发明不在此设限。具体而言，摄像装置120可以是深度摄影机(depth camera)、立体摄影机或红绿蓝(RGB)摄影机，本发明对此不限制。

存储装置110用以存储影像、程序码、软件元件等等数据，其可以例如是任意形式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。

处理器120用以控制动作识别系统10的构件之间的作动，其例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)、图形处理器(Graphics Processing Unit，GPU或其他类似装置或这些装置的组合。处理器120可执行记录于存储装置110中的程序码、软件模块、指令等等，以实现本发明实施例的动作识别方法。

图2是依照本发明一实施例的动作识别方法的流程图。请参照图2，本实施例的方法适用于图1中的动作识别系统10，以下即搭配动作识别系统10中的各项元件说明本实施例方法的详细流程。动作识别系统10可用以识别一活体所执行的动态特定动作，上述活体可以人体或其他动物，本发明对此不限制。然而，为了方便说明，以下将以活体是一人体为例进行说明。

首先，于步骤S201，处理器120获取包括活体的视频图帧。具体而言，摄像装置130朝一空间持续进行拍摄而产生视频串流，而至少一人物Obj1位于此空间内。视频串流包括分别对应至不同拍摄时间点的多张视频图框，因而这些视频图框分别包括有对应于人物Obj1的人体。摄像装置130将视频串流提供给由处理器120与存储装置110组成的电脑系统。通过由处理器120分析视频串流里的视频图帧，空间里的人物Obj1的动态动作可以被识别的。

于步骤S202，处理器120分析视频图帧中的活体而产生原子姿势特征值。于此，用语“原子姿势”代表单一视频图帧中人体所呈现的姿势。详细而言，处理器120可执行姿势检测软件套件而获取视频图帧中人体所呈现的原子姿势的原子姿势特征值。原子姿势特征值可包括肢体角度信息，而肢体角度信息例如是人体的骨架信息或基于骨架信息而产生的延伸信息。姿势检测软件套件例如是Nuitra SDK、MS Kinect、Orbbec Astra SDK、OpenPose或PoseNet等等，本发明对此不限制。

于步骤S203，处理器120依据原子姿势特征值执行杂凑函数而产生原子姿势杂凑键值。杂凑函数是可将原子姿势特征值转换为由字母和数字组成的字串(即杂凑键值)的一种数据单向转换操作，杂凑函数可以是MD5、RIPEMD-160、SHA1、SHA386、SHA512或其他适合的函数，本发明对此不限制。换言之，在处理器120分析出视频图帧中原子姿势的原子姿势特征值之后，处理器120可依据杂凑函数获取对应的原子姿势杂凑键值。此外，于一实施例中，处理器120还可将视频图帧的时间标签与原子姿势的肢体角度信息一并输入至杂凑函数获来产生对应的原子姿势杂凑键值。

于步骤S204，处理器120通过比对原子姿势杂凑键值，识别人体执行特定动作。于一实施例中，处理器120可基于依据原子姿势杂凑键值判定视频图帧中的原子姿势符合特定动作的多个标准原子姿势其中之一，而识别人体执行特定动作。具体而言，处理器120可依据当前检测到的原子姿势杂凑键值搜索一杂凑表，依据此杂凑表是否记录有相同的杂凑键值而判断此原子姿势是否符合特定动作的多个标准原子姿势其中之一。更详细而言，图3是依照本发明一实施例的动作识别方法的示意图。请参照图3，动态的特定动作(例如挥手)可基于这些标准原子姿势SAP_1、SAP_2、SAP_3、SAP_4而定义，存储于存储装置110中的杂凑表记录有这些标准原子姿势SAP_1、SAP_2、SAP_3、SAP_4各自对应的杂凑键值Hash2、Hash4、Hash1、Hash3。当处理器120分析视频图帧F1时，处理器120可获取原子姿势AP_1的原子姿势杂凑键值Hash1。处理器120可依据原子姿势AP_1的原子姿势杂凑键值Hash1搜索杂凑表，并判定原子姿势AP_1的原子姿势杂凑键值Hash1相同于标准原子姿势SAP_3的杂凑键值Hash1。因此，通过持续判断视频串流VS1中连续视频图帧内的多个原子姿势是否符合特定动作的多个标准原子姿势SAP_1、SAP_2、SAP_3、SAP_4，处理器120可识别人体是否执行特定动作而达到动作识别的目的。此外，处理器120是通过比对原子姿势的原子姿势杂凑键值与事前建立的杂凑表来判断原子姿势是否符合特定动作的标准原子姿势，因而相较于DTW处理可有效降低运算复杂度。

由此可知，于一实施例中，于实际进行动作识别之前，处理器120需建立特定动作的杂凑表。图4是依照本发明一实施例的建立杂凑表的流程图。请参照图4，本实施例的方法适用于图1中的动作识别系统10，以下即搭配动作识别系统10中的各项元件说明本实施例方法的详细流程。

于步骤S401，处理器120依据特定动作定义特定动作的多个标准原子姿势的标准肢体角度信息。详细而言，依据特定动作的种类与动作特征，处理器120可定义多个标准原子姿势的标准肢体角度信息。举例而言，假设特定动作为行走则双脚将轮流抬起且双手自然摆动，因此这些标准原子姿势可分别定义为“右脚微抬”、“右脚上抬”、“左脚微抬”与“左脚上抬”。对应的，处理器120可针对这些标准原子姿势分别产生标准肢体角度信息，例如双脚的膝关节角度与双手的轴关节角度等等。然而，标准原子姿势与其标准肢体角度信息的定义可视实际应用而设计之，本发明对此并不限制。此外，对应至同一特定动作的标准原子姿势的数量同样可视实际应用而设计之，本发明对此并不限制。说明的是，步骤S401中产生标准肢体角度信息的方式相同于步骤S202中产生肢体角度信息的方式。

接着，于步骤S402，处理器120依据标准原子姿势的标准肢体角度信息执行杂凑函数而产生标准原子姿势的杂凑键值。于步骤S403，处理器120依据标准原子姿势的杂凑键值建立特定动作的杂凑表。也就是说，不同的特定动作各自具有对应的杂凑表，而这些杂凑表可记录于存储装置110中。之后，处理器120可依据这些杂凑表来判断视频串流中的人体所执行的特定动作。

然而，本发明的实现方式不限于上述说明，可以对于实际的需求而酌予变更或延伸上述实施例的内容。为了更清楚说明，以下即搭配图1的动作识别系统10的各元件列举实施例，以说明动作识别系统10执行其动作识别方法的详细步骤。图5是依照本发明一实施例的动作识别方法的流程图。请同时参照图1与图5。

于步骤S501，处理器120设置取样计时器。于一实施例中，处理器120是依据视频取样时段内的多张视频图帧判断活体是否执行特定动作。换言之，处理器120每隔一视频取样时段重新识别活体动作。此视频取样时段的长度可以是预设，例如2秒，本发明对此不限制。处理器220通过取样计时器测量此视频取样时段。所述计时器可以是软件计数器。举例而言，以摄像装置130每秒可获取60帧视频图帧为例，若视频取样时段为2秒，处理器120可通过计数视频图帧的帧数来判断取样计时器是否期满。当计时器计数到120帧时，代表取样计时器期满。或者，处理器120可依据各张视频图帧所对应的时间戳记判断取样计时器是否期满。

于步骤S502，处理器120获取视频串流中包括活体的视频图帧。于本实施例中，活体的肢体角度信息可包多个关节夹角。于是，于步骤S503，处理器120分析活体而获取包括多个关节点的骨架信息。本发明对于关节点的数目并不限制，可视实际应用而设置。具体而言，活体的骨架信息是由多个关节点(或称关键点)组成，这些关节点分别具有对应的坐标位置，此坐标位置可以是二维坐标或三维坐标。于一实施例中，当摄像装置130为深度摄影机(depth camera)或立体摄影机，处理器120可依据深度摄影机(depth camera)或立体摄影机所获取影像与姿势检测软件套件Nuitra SDK、MS Kinect或Orbbec Astra SDK来获取这些关节点的三维坐标。

于步骤S504，处理器120依据特定动作与关节点的坐标位置取得多个肢体向量。具体而言，处理器120可依据两个关节点的坐标位置计算出一肢体向量。举例而言，当活体为一人体，处理器120可计算肩膀关节点至手轴关节点的一肢体向量。于步骤S505，处理器120依据特定动作与肢体向量计算关节夹角。处理器120可计算两肢体向量之间的夹角。详细而言，处理器120可计算第一肢体向量与第二肢体向量之间的关节夹角，其中第一肢体向量的终点为第二肢体向量的起点。需说明的是，处理器120可依据特定动作的种类来计算相对应的肢体向量与相对应的关节夹角。亦即，处理器120应该取哪些肢体向量与哪些关节夹角需是特定动作的种类而定。举例而言，假设活体为一人体且特定动作为走路，处理器120需取双脚的膝关节夹角与双手的手轴关节夹角，因此处理器120需要取用以计算膝关节夹角与手轴关节夹角的肢体向量。

图6是依照本发明一实施例的计算关节夹角的示意图。请参照图6，以活体为人体为例，对于一视频图帧内的原子姿势AP_6，处理器120可取得包括关节点J1～J16的骨架信息。假设处理器120欲判断原子姿势AP_6是否双手向两侧平举的T姿势，则处理器120将计算手轴关节夹角θ1、手轴关节夹角θ4、肩关节夹角θ2、肩关节夹角θ3、膝关节夹角θ5、膝关节夹角θ6。

详细而言，处理器120将依据关节点J8、J9计算肢体向量V7，以及依据关节点J9、J10计算肢体向量V8。接着，处理器120可计算肢体向量V7与肢体向量V8之间的夹角而获取左脚的膝关节夹角θ5。更具体而言，假设关节点J8、J9、J10分别为(x

此外，处理器120将依据关节点J1、J2计算肢体向量V1，以及依据关节点J3、J2计算肢体向量V2。接着，处理器120可计算肢体向量V1与肢体向量V2之间的夹角而获取右手的手轴关节夹角θ1。处理器120可依据关节点J3、J4计算肢体向量V3，以及依据关节点J4、J15计算肢体向量V11。接着，处理器120可计算肢体向量V3与肢体向量V11之间的夹角而获取右边的肩轴关节夹角θ2。同理，处理器120将依据关节点J6、J7计算肢体向量V6，以及依据关节点J5、J6计算肢体向量V5。接着，处理器120可计算肢体向量V5与肢体向量V6之间的夹角而获取左手的手轴关节夹角θ4。处理器120可依据关节点J5、J4计算肢体向量V4，以及依据关节点J4、J15计算肢体向量V11。接着，处理器120可计算肢体向量V4与肢体向量V11之间的夹角而获取左边的肩轴关节夹角θ3。因此，于一实施例中，手轴关节夹角θ1、手轴关节夹角θ4、肩关节夹角θ2、肩关节夹角θ3、膝关节夹角θ5、膝关节夹角θ6后续可用以产生原子姿势AP_6的原子姿势杂凑键值。

回到图5的流程，于步骤S506，处理器120将依据容忍值调整关节夹角。上述容忍值例如是5度或10度，本发明对此不限制。具体而言，若当下检测到的关节夹角与标准原子姿势的标准关节夹角之间差距小于容忍值，则可直接将当下检测到的关节夹角调整至相同于标准关节夹角，亦即将当下检测到的关节夹角直接视为标准关节夹角而进行后续流程。

图7是依照本发明一实施例的调整关节夹角的流程图。请参照图，于步骤S701，处理器120判断关节夹角中的第一关节夹角与多个标准关节夹角中的第一标准关节夹角之间的差距是否小于容忍值。若步骤S701判断为是，于步骤S702，反应于关节夹角中的第一关节夹角与标准关节夹角中的第一标准关节夹角之间的差距小于容忍值，处理器120将第一关节夹角修改为相同于第一标准关节夹角。相反地，若步骤S701判断为否，于步骤S703，处理器120不修改第一关节夹角。举例而言，以活体为人体为例，假设容忍值是5度且处理器120依据骨架信息取得膝关节夹角为178度，则处理器120可将此膝关节夹角调整为标准关节角度180度。相反之，假设容忍值是5度且处理器120依据骨架信息取得膝关节夹角为170度，则处理器120可不调整膝关节夹角使其维持为170度。

回到图5的流程，于步骤S507，处理器120将原子姿势的关节夹角输入至杂凑函数而产生原子姿势杂凑键值。具体而言，处理器120可串接这些关节夹角而产生一数字串列，并将此数字串列输入至杂凑函数而产生原子姿势杂凑键值。然而，本发明并不限制于此，处理器120亦可对这些关节夹角执行其他预处理而产生一输入数据，并将此输入数据输入至杂凑函数而产生原子姿势杂凑键值。

于步骤S508，处理器120依据原子姿势杂凑键值搜索一杂凑表以判定原子姿势是否符合特定动作的标准原子姿势其中之一。详细而言，处理器120依据原子姿势杂凑键值搜索杂凑表，而判断原子姿势杂凑键值是否相同于杂凑表中分别对应至多个标准原子姿势的杂凑键值其中之一。反应于原子姿势杂凑键值相同于杂凑表中分别对应至标准原子姿势的杂凑键值其中之一，处理器120可判定原子姿势符合特定动作的这些标准原子姿势其中之一。

于步骤S509，处理器120判断所有的标准原子姿势是否分别相符于视频图帧的原子姿势与其他视频图帧内的其他原子姿势。具体而言，特定动作是依据多个标准原子姿势来定义，因此，于一实施例中，处理器120于一视频取样时段内判断是否检测到与所有标准原子姿势相符的原子姿势，从而判断活体是否执行特定动作。

于是，若步骤S509判断为是，于步骤S510，反应于所有的标准原子姿势分别相符于视频图帧的原子姿势与其他视频图帧内的其他原子姿势，处理器120可判定活体执行特定动作。若步骤S509判断为否，于步骤S511，处理器120判断取样计时器的视频取样时段是否期满。若步骤S511判断为否，回到步骤S502，处理器120将继续判断下一张视频图帧的原子姿势是否相符于特定动作的标准原子姿势。若步骤S511判断为是，于步骤S512，反应于取样计时器的视频取样时段期满，处理器120判定活体未执行特定动作。

举例而言，图8是依照本发明一实施例的动作识别方法的示意图。请参照图8，以活体为人体为例，图8是以特定动作为行走且特定动作由4个标准原子动作定义为例进行说明，但本发明并不限制于此。于此范例中，处理器120先建立特定动作“行走”的杂凑表T1。处理器120可先定义各标准原子姿势SAP_5～SAP_8的标准肢体角度信息，于此范例中标准肢体角度信息为标准关节夹角。处理器120可定义标准原子姿势SAP_5～SAP_8(分别为“右脚微抬”、“右脚上抬”、“左脚微抬”与“左脚上抬”)各自的标准关节夹角。像是，标准原子姿势SAP_5“右脚微抬”的标准关节夹角包括：左边的膝关节夹角180度；右边的膝关节夹角120度；右边的肩关节夹角10度；左边的肩关节夹角10度；以及右边的髋关节120度。

之后，处理器120可依据各标准原子姿势SAP_5～SAP_8的标准关节夹角产生对应的杂凑键值，并将其记录为杂凑表T1。如图8所示，杂凑表T1记录有对应至标准原子姿势SAP_5的杂凑键值“ASED1234”；对应至标准原子姿势SAP_6的杂凑键值“21A58DFA”；对应至标准原子姿势SAP_7的杂凑键值“5A58D0DD”；以及对应至标准原子姿势SAP_8的杂凑键值“TTYL2A1B”。

于实际进行动作识别时，处理器120可产生对应至第一时间的视频图帧F81上的原子姿势AP_2的原子姿势杂凑键值。反应于原子姿势AP_2的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“ASED1234”，处理器120可判定原子姿势AP_2与标准原子姿势SAP_5相符合。接着，处理器120可产生对应至第二时间的视频图帧F82上的原子姿势AP_3的原子姿势杂凑键值。反应于原子姿势AP_3的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“21A58DFA”，处理器120可判定原子姿势AP_3与标准原子姿势SAP_6相符合。

接着，处理器120可产生对应至第三时间的视频图帧F83上的原子姿势AP_4的原子姿势杂凑键值。反应于原子姿势AP_4的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“5A58D0DD”，处理器120可判定原子姿势AP_4与标准原子姿势SAP_7相符合。处理器120可产生对应至第四时间的视频图帧F84上的原子姿势AP_5的原子姿势杂凑键值。反应于原子姿势AP_5的原子姿势杂凑键值相同于杂凑表T1中的杂凑键值“TTYL2A1B”，处理器120可判定原子姿势AP_5与标准原子姿势SAP_8相符合。于是，反应于特定动作所有的标准原子姿势SAP_5～SAP_8分别相符于原子姿势AP_2～AP_5，处理器120可判定人体执行特定动作“行走”，从而达到人体动作识别的目的。

本发明实施例另提供一种非暂态的电脑可读取媒体，此电脑可读取媒体可存储多数个程序码片段，并且这些程序码片段在载入动作识别系统10的处理器120中并执行之后，即可完成上述动作识别方法的各步骤。

综上所述，于本发明实施例中，通过比对各张视频图帧中原子姿势杂凑键值与关联于特定动作的杂凑表，可判断活体是否执行动态的特定姿势。借此，可大幅降低运算复杂度而使活体动作识别的应用范围更广泛。此外，相比存储大量的影像模板信息进行姿势模板比对而完成动作识别，本发明实施例仅需要存储杂凑表而可有效地节省存储空间。亦即，本发明实施例可提供一种运算复杂度低且节省存储空间的动作识别方案，因而可适用于计算与硬件资源受限的嵌入式平台上。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。