基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法

摘要

本发明公开了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，通过摄像头拍摄操作人员，识别摄像头视场中操作人员的人体关节点，并识别摄像头视场中操作人员的人体姿态和手势姿态，计算出操作人员眼睛距离地面的高度、身高、上臂臂长、手部距离地面的高度等数据，并根据该数据确定操作人员的眼睛通过手部观看到大屏幕上的坐标位置，大屏幕控制器根据大屏幕上的坐标位置和大屏幕的布局信息，依据操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息。使用该方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。

说明书

技术领域

本发明涉及电子信息技术领域，具体而言，涉及一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法。

背景技术

随着全领域智能化建设步伐的加快，由多个显示屏幕拼接而成的大屏幕坐席系统已广泛应用于军队、公安、武警、司法、海关、电力、灾防等诸多领域，坐席系统为各领域的指挥、控制、调度中心以及政府、企事业单位、酒店的会议室集群，为智慧安防、智慧城市、智慧交通、智慧检务、智慧教育、智慧医疗等提供可视化的综合解决方案。

现有的坐席系统，在大屏幕前面都设有固定的操作平台，用于操作人员向受众展示各种信息，如触摸操作台，键盘鼠标操作台等。

现有的坐席系统，操作人员在固定的操作平台前不能随意走动，与受众互动交流效果差，且触摸、鼠标键盘等长时间操作容易疲劳，这对操作人员来说，带来诸多等不便。

本发明的目的在于提供一种操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，该方法操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。

发明内容

本发明提出了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，以解决以上问题。

本发明实施例通过以下技术方案来实现上述目的。

本发明实施例提供了一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，该方法包括以下步骤。

S1、将摄像头以俯视角度的方式固定安装在大屏幕中心上方，然后对所述摄像头进行图像校正，以达到所述摄像头垂直拍摄摄像头视场，并向大屏幕存储器输入所述摄像头视场第一行信号距离所述大屏幕底端的距离X1、摄像头视场最后一行信号距离所述大屏幕底端的距离X2及所述摄像头距离地面的高度H1。

S2、所述摄像头拍摄操作人员，识别所述摄像头视场中所述操作人员的人体关节点，并识别所述摄像头视场中所述操作人员的人体姿态和手势姿态。

S3、计算出所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4。

S4、根据所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4的数据，确定所述操作人员的眼睛通过所述手部观看到所述大屏幕上的坐标位置Kx、Ky。

S5、将所述大屏幕上的坐标位置Kx、Ky发送给大屏幕控制器，所述大屏幕控制器根据所述大屏幕上的坐标位置Kx、Ky和大屏幕的布局信息，依据所述操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息，实现所述操作人员与所述大屏幕直接进行交互。

在一些实施例中，所述S2的具体步骤为。

S21、当有操作人员进入所述摄像头视场时，所述摄像头拍摄所述操作人员，并识别所述摄像头视场中的所述操作人员的人体关节点，并判断所述大屏幕存储器中是否存在预先存储的启动所述大屏幕操作的人体姿态。

S22、识别出启动所述大屏幕操作的所述人体姿态后，根据所述人体关节点推算出所述操作人员的身体及手部在所述摄像头视场中的区域，并将手部在所述摄像头视场中的区域截图进行人手目标检测判断所述手部在所述摄像头视场中的准确位置，且进一步识别手势姿态。

S23、如所述人体姿态和所述手势姿态的组合为所述大屏幕启动操作信号，则截取所述操作人员人脸在所述摄像头视场位置的截图，进行人脸识别，记录为第一人脸特征值。

S24、所述摄像头向大屏幕控制器发送所述大屏幕启动操作信号，且所述大屏幕控制器记录接收到所述大屏幕启动操作信号时，依据所述身体姿态确定的所述操作人员的上臂长度与身高的比例值P。

在一些实施例中，所述摄像头持续进行人脸识别，记录为第二人脸特征值，如所述第一人脸特征值与所述第二人脸特征值相同，则后续只检测所述第一人脸特征值对应的所述操作人员的所述身体关节点上的所述人体姿态和所述手势姿态；如所述第一人脸特征值与所述第二人脸特征值不同，且超过5秒，则重新进入S22步骤。

在一些实施例中，持续识别所述操作人员人体姿态和手势姿态，并判断所述大屏幕存储器中是否存在预先存储的启动大屏幕操作的人体姿态，如有，则发送控制信号给所述大屏幕控制器，向所述大屏幕发出信号交换指令。

在一些实施例中，当有其他操作人员执行S2步骤时，则切换操作人员；如所述大屏幕长时间无控制动作，则退出。

其中，操作人员身高H3=(（X1+(X2-X1)/hy*Nh）-（X1+(X2-X1)/hy*Nf）)/（X1+(X2-X1)/hy*Nh）*H1，其中hx为摄像头输出图像的横向分辨率、hy为摄像头输出图像的纵向分辨率、Nf为操作人员的脚在所述摄像头视场中的行数、Nh为操作人员的头顶在所述摄像头视场中的行数。

其中，操作人员上臂臂长L=P*H3。

其中，Kx的坐标值为：Kx =(Q1*Q3/Q2)*（L/（X1+(X2-X1)/hy*Nf）），其中，Q1为从操作人员两眼中点到手或者手指尖的像素数、Q2为摄像头总像素数、Q3为摄像头视场的长度。

其中，所述Ky的坐标值为：

相较于现有技术，本发明提供的一种基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，该方法操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法流程图。

图2是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法中大屏幕交互控制示意图。

图3是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法中操作人员身高（H3）算法示意图。

图4是本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法中坐标位置Kx、Ky算法示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法流程图，该包括以下步骤。

S1、将摄像头以俯视角度的方式固定安装在大屏幕中心上方，然后对所述摄像头进行图像校正，以达到所述摄像头垂直拍摄摄像头视场，并向大屏幕存储器输入所述摄像头视场第一行信号距离所述大屏幕底端的距离X1、摄像头视场最后一行信号距离所述大屏幕底端的距离X2及所述摄像头距离地面的高度H1。

因摄像头处于俯视角度状态，存在所述摄像头视场内的梯形变形，因此需要先将摄像头图像进行校正（具体为在安装时根据地面的方框进行调整），以达到所述摄像头垂直拍摄摄像头视场，不存在画面失真时的画面比例。此时可认为，所述摄像头视场内的物体（操作人员）长度和所述摄像头输出视频的图像像素数存在线性关系。

S2、所述摄像头拍摄操作人员，识别所述摄像头视场中所述操作人员的人体关节点，并识别所述摄像头视场中所述操作人员的人体姿态和手势姿态。

在本实施例中，所述人体姿态有举起左手、举起右手等。

在本实施例中，所述手势姿态有五指张开、握拳、握拳伸出食指、手指V字形等。

S3、计算出所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4。

S4、根据所述操作人员眼睛距离地面的高度H2、身高H3、上臂臂长L、手部距离地面的高度H4的数据，确定所述操作人员的眼睛通过所述手部观看到所述大屏幕上的坐标位置Kx、Ky。

S5、将所述大屏幕上的坐标位置Kx、Ky发送给大屏幕控制器，所述大屏幕控制器根据所述大屏幕上的坐标位置Kx、Ky和大屏幕的布局信息，依据所述操作人员的人体姿态和手势姿态对相应的大屏幕画块给出反馈信息，实现所述操作人员与所述大屏幕直接进行交互。

本实施例中，如指向的大屏幕画块存在微小的距离差异，操作者可微调手部的位置达到指向准确。指向精确的大屏幕画块后，根据手移动，实现所述操作人员与所述大屏幕直接进行交互。

如图2所示，由于大屏幕是由多个小屏幕拼接而成，在本实施例中，所述大屏幕的布局信息可理解为大屏幕的布局形式，如大屏幕由6块小屏幕拼接而成，其布局为2行，每行3块（可称为2*3布局）；又如大屏幕由9块小屏幕拼接而成，其布局为3行，每行3块（可称为3*3布局）等。大屏幕画块是指其中一个或者多个小屏幕。

在本实施例中，所述反馈信息有加有色框、加闪烁点等。例如根据大屏幕上的坐标位置，依据人体姿态和手势姿态对大屏幕中第一行第一列的小屏幕进行加有色框。

此外，对所述画块还可进行移动、放大缩小、或者画块清除等操作。

本实施例中，所述S2的具体步骤为。

S21、当有操作人员进入所述摄像头视场时，所述摄像头拍摄所述操作人员，并识别所述摄像头视场中的所述操作人员的人体关节点，并判断所述大屏幕存储器中是否存在预先存储的启动所述大屏幕操作的人体姿态。

S22、识别出启动所述大屏幕操作的所述人体姿态后，根据所述人体关节点推算出所述操作人员的身体及手部在所述摄像头视场中的区域，并将手部在所述摄像头视场中的区域截图进行人手目标检测判断所述手部在所述摄像头视场中的准确位置，且进一步识别手势姿态。

S23、如所述人体姿态和所述手势姿态的组合为所述大屏幕启动操作信号，则截取所述操作人员人脸在所述摄像头视场位置的截图，进行人脸识别，记录为第一人脸特征值。

S24、所述摄像头向大屏幕控制器发送所述大屏幕启动操作信号，且所述大屏幕控制器记录接收到所述大屏幕启动操作信号时，依据所述身体姿态确定的所述操作人员的上臂长度与身高的比例值P。

本实施例中，当所述操作人员举手时，手臂和身高在一条直线上，其与摄像头视场的像素数成线性比例关系，由此可以确定的所述操作人员的上臂长度与身高的比例值P。

所述摄像头持续进行人脸识别，记录为第二人脸特征值，如所述第一人脸特征值与所述第二人脸特征值相同，则后续只检测所述第一人脸特征值对应的所述操作人员的所述身体关节点上的所述人体姿态和所述手势姿态；如所述第一人脸特征值与所述第二人脸特征值不同，且超过5秒，则重新进入S22步骤。

本实施例中，持续进行人脸识别的目的是为了防止摄像头视场中出现多个人员的干扰。当识别到摄像头视场中有多个人时，找出发出启动操作信号的操作人员的人脸，依据该操作人员人脸所在的身体关节点推算出手的位置，并判断其手的手势姿态，从而防止多个人干扰操作。

本实施中，所述人脸特征值是人脸特征点的结果，如68点，186点或者更多点的集合。不同的两张操作人员人脸通过这个集合判断脸的距离，以确定是否同一个人。

本实施例中，操作人员身高H3的计算入下所述。

如图3所示，X1为所述摄像头视场第一行信号距离所述大屏幕底端的距离；X2为所述摄像头视场最后一行信号距离所述大屏幕底端的距离（本实施例中以480线摄像机为例）；H1为所述摄像头距离地面的高度（即线段DE）；X3为所述操作人员距离所述大屏幕底端的距离（即线段BD）；所述摄像头拍摄经所述操作人员头顶F点至所述摄像头视场A点，A点距离所述大屏幕底端的距离为X4（即线段AD）。

由此，X2-X1为所述摄像头视场的实际长度，假定hx为摄像头输出图像的横向分辨率、hy为摄像头输出图像的纵向分辨率、Nf为操作人员的脚在所述摄像头视场中的行数、Nh为操作人员的头顶在所述摄像头视场中的行数，则图像每行对应的长度为（X2-X1）/hy，从而X3 = X1+(X2-X1)/hy*Nf，X4=X1+(X2-X1)/hy*Nh。

因为ΔABF和ΔADE相似，所以AB/AD=H3/H1，即：（X4-X3）/X4=H3/H1，故，H3 = (X4-X3)/X4*H1，将X3、X4代入前述公式，得出H3=(（X1+(X2-X1)/hy*Nh）-（X1+(X2-X1)/hy*Nf）)/（X1+(X2-X1)/hy*Nh）*H1。

同理可求出操作人员眼睛距离站立面的高度H2，操作者手或者手指尖距离站立面的高度H4，在此不再赘述。

本实施例中，操作人员上臂臂长L=P*H3。

本实施例中，大屏幕上的坐标位置Kx、Ky的计算入下所述。

如图4所示，G为操作人员两眼的中点、K2为操作人员手部左侧点、M为操作人员手部中点、K1为操作人员手部右侧点、K为操作人员的眼睛通过所述手部观看到所述大屏幕上的点（坐标位置为Kx、Ky）、N为操作人员的眼睛通过所述手部左侧K2点观看到所述大屏幕上的点、N1为操作人员的眼睛通过所述手部右侧K1点观看到所述大屏幕上的点。

首先计算Kx的坐标值，Kx的值为LX的长度值（即线段NN1的长度），线段NN1垂直于线段GN1，线段K2K1垂直于线段GN1，因此GK1/GN1=K2K1/NN1。

其中GK1=L；GN1=X3；K2K1为所述操作人员两眼中点到手一边像素数，K2K1 =(Q1*Q3/Q2)，Q1为从操作人员两眼中点到手或者手指尖的像素数、Q2为摄像头总像素数、Q3为摄像头视场的长度。

因此，Kx =(Q1*Q3/Q2)*（L/（X1+(X2-X1)/hy*Nf））。

再计算Ky的坐标值，Ky的值为H5的长度值（即线段KN的长度值），因为三角形GNN1 为直角三角形，NN1垂直于GN1, GN1=X3，因此线段

因为三角形GMK2与三角形GKN相似，因此GK2/GN=MK2/KN。其中，MK2为操作人员手部距离地面的高度减去操作人员眼睛距离地面的高度，即H4-H2。

故，Ky=KN，

随后，持续识别所述操作人员人体姿态和手势姿态，并判断所述大屏幕存储器中是否存在预先存储的启动大屏幕操作的人体姿态（如手为握拳伸出食指为指向某个区域，指向情况下滑动为不同画块信号进行切换，则需要判断手在指向目标画块后，是否有快速移动的动作），如有，则发送控制信号给所述大屏幕控制器，向所述大屏幕发出信号交换指令（如识别为手掌并指向某个画块，手掌移动为画面平移，则发送信号给大屏幕布局指令计算机，将画块进行平移；如识别到两只手握拳伸出食指，并且往外伸张或者往内搜索，则为画面缩放指令，发送信号给大屏布局指令计算机，对目标画面进行缩放等）。

当有其他操作人员执行S2步骤时，则切换操作人员；如所述大屏幕长时间无控制动作，则退出。

本发明提供的基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法，操作人员不需要借助任何工具即可实现直接与大屏幕进行交互的控制方法，该方法操作灵活方便、互动性强、操作人员不受固定位置或者线缆的束缚，且操作疲劳度低。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。