一种基于Kinect的多屏互动民族舞娱乐系统

摘要

一种基于Kinect的多屏互动民族舞娱乐系统，本发明为基于Kinect设备的体感民族舞舞蹈游戏系统的技术领域。它是为了解决现有舞蹈游戏缺乏沉浸性与缺少关于民族舞游戏的问题。它的第一投影仪、第二投影仪、第三投影仪和第四投影仪都设置在由第一幕布、第二幕布、第三幕布和第四幕布按顺序围成的一个方型内的中心处，Kinect设备设置在第一幕布前面的下方，第一音箱和第二音箱分别设置在第三幕布两端处，Kinect设备的数据输出端与主机的数据输入端连接。本发明的体感Kinect设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。

说明书

技术领域

本发明为基于Kinect设备的体感民族舞舞蹈游戏系统的技术领域。

背景技术

近年来人们的精神娱乐生活不断丰富，舞蹈活动得到迅猛发展。不论是电脑舞蹈游戏还是跳舞毯游戏，这些舞蹈游戏都能够丰富人们的精神生活，为人们带来节奏感、韵律感与美感的锻炼与陶冶。现有的各个平台关于舞蹈的游戏包括跳舞毯、电脑游戏、手机游戏等。这些设备只能够接受手部动作或者脚步动作，与舞蹈的自然形态差距较大，在进行游戏时无法实现全身心地参与。同时，这些游戏中所含内容以现代西方的舞蹈为主，我国文化底蕴深厚的民族舞极少出现。一方面是由于其利益追求，另一方面也是由于我国的民族舞需要相应的服装与氛围，手机、平板、跳舞毯游戏难于做到民族舞氛围的沉浸。本系统在体感设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。

发明内容

本发明的目的是提供一种基于Kinect的多屏互动民族舞娱乐系统，是为了解决现有舞蹈游戏缺乏沉浸性与缺少关于民族舞游戏的问题。

所述的目的是通过以下方案实现的：所述的一种基于Kinect的多屏互动民族舞娱乐系统，它包括主机1、Kinect设备2、第一幕布3、第二幕布4、第三幕布5、第四幕布6、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10、音响设备11、第一音箱12、第二音箱13；

所述第一投影仪7、第二投影仪8、第三投影仪9和第四投影仪10都设置在由第一幕布3、第二幕布4、第三幕布5和第四幕布6按顺序围成的一个方型内的中心处，并使第一投影仪7的投射影象投射在第一幕布3上，第二投影仪8的投射影象投射在第二幕布4上，第三投影仪9的投射影象投射在第三幕布5上，第四投影仪10的投射影象投射在第四幕布6上，Kinect设备2设置在第一幕布3前面的下方，第一音箱12和第二音箱13分别设置在第三幕布5的两侧端处，第一音箱12的驱动输入端和第二音箱13的驱动输入端都与音响设备11的驱动输出端连接，Kinect设备2的数据输出端与主机1的数据输入端连接，第一投影仪7的数字视频信号输入端、第二投影仪8的数字视频信号输入端、第三投影仪9的数字视频信号输入端和第四投影仪10的数字视频信号输入端都分别与主机1的多路数字视频输出端连接，音响设备11的多路数字音频输入端都分别与主机1的多路数字音品输出端连接；启动主机1、Kinect设备2、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10和音响设备11，初始化Kinect设备2，Kinect设备2获取图像数据，包括颜色流ColorImageSteam、深度流DepthImageSteam、骨架流SkeletonStream，生成OpenCV中的Iplmage图像；主机1通过Kinect设备2判断参与游戏者数目，选择深度值最小即距离设备可见视野最近的玩家进行骨骼跟踪；将玩家骨骼节点与模型骨骼节点进行绑定并将坐标映射到OpenCV绘图坐标系统；获取玩家面部关键点121个，分离出玩家面部图像，并通过关键点的匹配将玩家面部图像赋予模型；主机1通过Kinect设备2进行玩家动作判定，动作匹配后可进行下一关游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点之间的相对位置来表示；玩家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对位置进行匹配，判断是否满足特定时间内动作在空间位置上的一定阈值内的匹配。

本发明的体感Kinect设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。

附图说明

图1是本发明的整体结构示意图。

具体实施方式

具体实施方式一：结合图1所示，它包括主机1、Kinect设备2、第一幕布3、第二幕布4、第三幕布5、第四幕布6、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10、音响设备11、第一音箱12、第二音箱13；

所述第一投影仪7、第二投影仪8、第三投影仪9和第四投影仪10都设置在由第一幕布3、第二幕布4、第三幕布5和第四幕布6按顺序围成的一个方型内的中心处，并使第一投影仪7的投射影象投射在第一幕布3上，第二投影仪8的投射影象投射在第二幕布4上，第三投影仪9的投射影象投射在第三幕布5上，第四投影仪10的投射影象投射在第四幕布6上，Kinect设备2设置在第一幕布3前面的下方，第一音箱12和第二音箱13分别设置在第三幕布5的两侧端处，第一音箱12的驱动输入端和第二音箱13的驱动输入端都与音响设备11的驱动输出端连接，Kinect设备2的数据输出端与主机1的数据输入端连接，第一投影仪7的数字视频信号输入端、第二投影仪8的数字视频信号输入端、第三投影仪9的数字视频信号输入端和第四投影仪10的数字视频信号输入端都分别与主机1的多路数字视频输出端连接，音响设备11的多路数字音频输入端都分别与主机1的多路数字音品输出端连接；启动主机1、Kinect设备2、第一投影仪7、第二投影仪8、第三投影仪9、第四投影仪10和音响设备11，初始化Kinect设备2，Kinect设备2获取图像数据，包括颜色流ColorImageSteam、深度流DepthImageSteam、骨架流SkeletonStream，生成OpenCV中的Iplmage图像；主机1通过Kinect设备2判断参与游戏者数目，选择深度值最小即距离设备可见视野最近的玩家进行骨骼跟踪；将玩家骨骼节点与模型骨骼节点进行绑定并将坐标映射到OpenCV绘图坐标系统；获取玩家面部关键点121个，分离出玩家面部图像，并通过关键点的匹配将玩家面部图像赋予模型；主机1通过Kinect设备2进行玩家动作判定，动作匹配后可进行下一关游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点之间的相对位置来表示；玩家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对位置进行匹配，判断是否满足特定时间内动作在空间位置上的一定阈值内的匹配。

工作原理：自由舞原理即获取用户骨骼点信息并赋予模型。教学舞工作原理包括两部分，一部分是进行标准舞蹈动作的数据量化存储，一部分是对于用户动作数据与标准动作数据的比较。通过调研发现民族舞动作多利用肘关节、膝关节与腕关节的变化做出各种形态的舞姿。因此，首先对标准舞蹈动作中的肘关节、膝关节与腕关节的动作数据量化存储。在动作判定中首先针对肘关节膝关节与腕关节的动作进行判定，而后进行其他部位的动作判定。判定方法如下：首先建立空间三维坐标系xyz坐标系，游戏者骨骼节点的空间位置由空间三维坐标系中的点（x，y，z）表示，通过实验测量出动作角度误差范围为值α时最合理，α为π/36。以肘关节形态的判断为例，利用手腕节点、肘节点与肩节点三点的位置可在空间中构建出三条直线。以右手臂为例，肩中央位置为（x0,y0,z0）右肩位置为（x1,y1,z1）, 右肘位置为（x2,y2,z2）, 右腕位置为（x3,y3,z3）。右肩与右手腕两点构成的直线为L13，右肩与右肘构成的直线为L12，右肘与右手腕构成的直线为L23，肩中央与右肩构成的直线为L01.胳膊舞蹈动作的形态与肩部及肘部的转动情况相关,因此将肩部、肘部、手腕处关节之间的相对位置作为判断标准，及不考虑用户的胳膊长度而是以其关节旋转角度作为判定标准。首先，判断L13与L01间的夹角是否满足在区间[K013-α，K013+α]，K013为动作库中储存的标准舞蹈动作中右手腕相对于右肩的角度。L13与L01间的夹角可利用空间向量夹角公式得出，角度计算公式为：

Arccos                                               ；

同理，直线L12与直线L23之间的夹角计算公式为：

Arccos；

判断该角度是否满足动作库中存贮的标准角度范围[K123-α，K123+α] 。

当所有关节点的角度均与动作库中的角度匹配上时，则该动作匹配成功。可进行下一个舞蹈动作的学习。