一种观众参与的提线木偶表演的人偶交互方法

摘要

本发明提供一种观众参与的提线木偶表演的人偶交互方法，包括：1、初始化；2、预设主线控制指令；3、执行主线控制指令；4、判断主线控制指令是否执行完毕；5、判断Kinect识别范围是否有人；6、进入互动模式，识别用户的手势和声音，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令；7、执行辅线控制指令；8、判断辅线控制指令是否执行完毕。本发明当观众进入交互设备Kinect的识别范围，系统将由预设的主线剧情表演进入互动模式，舞美、声音、提线木偶都受观众控制，达到观众参与表演的效果。

说明书

技术领域

本发明涉及信息技术领域，尤其涉及一种观众参与的提线木偶表演的人偶交互方法。

背景技术

木偶戏古称“傀儡戏”，是中国极富民间传统特色的古老戏种，蕴藏着各地各族人民的思想道德、民俗风情和审美意识。中国的木偶戏兴起于汉代，盛于明清。发展到今天，曾经辉煌灿烂的木偶戏面临很多令人堪忧的现状：表演木偶戏的老艺人多因年迈而不能演出，许多年轻艺人亦迫于生活压力无奈专业；大多学徒并不是出于对木偶戏的喜爱，仅仅是把它当作一条谋生的途径；演出大多在县以下地区进行，演出范围受限；观众多为老年人，年轻人无暇欣赏。总的来说，中国木偶艺术已经濒危。虽然木偶戏已于2006年被列入第一批国家级非物质文化遗产名录。由于受到经济的挑战、外来文化的冲击、青年人娱乐取向转变等影响，木偶艺术仍处于后继乏人的尴尬局面，使得全国各地的木偶戏正在面临空前的生存危机和失传危险。

提线木偶古称“悬丝傀儡”或“线戏”，由偶头、笼腹、四肢、悬线和勾牌组成。作为中国木偶戏不可替代的一大分支，提线木偶制作精美、结构完整、独具匠心，具有极强的代表性。它侧重于夸张与变形，尤为强调人物的性格化和表现力。加之其线条繁多，操弄复杂，需要通过艺人巧妙地运用提、拨、勾、挑、扭、抡、闪、摇等极强的技巧，与我国其他传统木偶戏相比，提线木偶的表演难度最大，因而面临的生存危机与失传危险也最为严重。

传统提线木偶表演对于观众来说是被动观看，观众无法参与到提线木偶表演中，演出缺乏互动性，观众体验差，大大降低了传统提线木偶戏的表现力和观赏性。

发明内容

本发明要解决的技术问题，在于提供一种观众参与的提线木偶表演的人偶交互方法，通过交互设备Kinect实时检测观众的手势、声音，利用Unity3D虚拟引擎管理整个人偶交互系统，使用C#语言完成整体的开发工作，实现交互控制功能；利用人机交互技术和数字化技术等，实现传统提线木偶与现代科学技术深度融合，给观众提供更好的欣赏体验，探索开创非物质文化遗产的数字化保护传播新模式。

本发明的问题是这样实现的：

一种观众参与的提线木偶表演的人偶交互方法，需提供一种人偶交互系统，所述人偶交互系统包括交互设备Kinect、计算机、显示屏、音箱、机械臂和提线木偶，所述人偶交互方法包括如下步骤：

步骤1、将人偶交互系统进行初始化；

步骤2、预设用于表演主线剧情的主线控制指令，并传输给显示屏、音箱和机械臂的微控制器；

步骤3、根据传输的主线剧情对应的主线控制指令，所述显示屏显示主线剧情设定的虚拟场景和提示字幕，所述音箱播放主线剧情设定的提线木偶台词和背景音乐，所述机械臂的微控制器控制机械臂执行主线剧情设定的动作，从而带动所述提线木偶的线使得提线木偶运动；

步骤4、所述计算机判断主线控制指令是否执行完毕，若是，则将所述人偶交互系统复位；若否，则进入步骤5；

步骤5、判断所述交互设备Kinect的识别范围内是否有用户，若是，则获取用户的三维人体骨骼数据和音频数据，进入步骤6；否则进入步骤3；

步骤6、所述人偶交互系统进入互动模式，根据所述三维人体骨骼数据和音频数据识别用户的手势和声音；将识别得到的用户的手势和声音与规范化的手势和声音进行比较，规范化的手势和声音存储在预先设定好的动作库和语音库中，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则不改变预设的主线剧情，进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令；

步骤7、将辅线控制指令传输给显示屏、音箱和机械臂的微控制器，根据辅线控制指令，所述显示屏显示辅线剧情设定的虚拟场景和提示字幕，音箱播放辅线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器控制机械臂执行辅线剧情设定的动作，带动提线木偶的线使得提线木偶运动；

步骤8、计算机判断辅线控制指令是否执行完毕，若是，则将人偶交互系统复位；若否，则进入步骤5。

进一步地，所述步骤2和步骤3具体为：

所述主线控制指令包括主线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述主线控制指令在Unity 3D虚拟引擎上执行，并将执行的主线剧情对应的图像显示信息、音频播放信息和机械控制信息分别传输给显示屏、音箱和机械臂的微控制器；所述显示屏根据传输的主线剧情对应的图像显示信息显示主线剧情设定的虚拟场景和提示字幕，音箱根据主线剧情对应的音频播放信号播放主线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器根据主线剧情对应的机械控制信息使得机械臂执行主线剧情设定的动作，从而带动提线木偶的线使得提线木偶运动；

所述步骤7具体为：

所述辅线控制指令包括辅线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述辅线控制指令在Unity 3D虚拟引擎上执行，并将执行的辅线剧情对应的图像显示信息、音频播放信息和机械控制信息分别传输给显示屏、音箱和机械臂的微控制器；所述显示屏根据传输的辅线剧情对应的图像显示信号显示辅线剧情设定的虚拟场景和提示字幕，音箱根据辅线剧情对应的音频播放信号播放辅线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器根据辅线剧情对应的机械控制信息使得机械臂执行辅线剧情设定的动作，从而带动提线木偶的线使得提线木偶运动，将无人交互的主线剧情转换成有人交互的辅线剧情，从而完成了提线木偶与观众的互动。

进一步地，所述步骤5具体为：

利用交互设备Kinect的摄像头捕捉彩色帧和深度帧，获取用户所在场景的颜色深度数据，利用交互设备Kinect的软件开发工具包分析场景的颜色深度数据，若检测到颜色深度数据中存在有三维人体骨骼数据，则判断出交互设备Kinect的识别范围内有用户，则交互设备Kinect从颜色深度数据中读取用户的三维人体骨骼数据，同时利用交互设备Kinect的内置麦克风阵列捕捉声音，获取用户的音频数据，进入步骤6；若未检测到颜色深度数据中存在有三维人体骨骼数据，则判断出交互设备Kinect的识别范围内没有用户，则进入步骤3。

进一步地，所述步骤6中根据三维人体骨骼数据和音频数据识别用户的手势和声音具体为：

根据连续图像帧的三维人体骨骼数据，并通过人体的空间位置、形态和运动信息的变化识别用户的手势；根据连续图像帧对应的音频数据，并利用Microsoft Speech的语音识别API识别用户的声音。

进一步地，所述步骤7中机械控制信息传输给机械臂的微控制器具体为：

根据数据处理结果激活的Socket通信协议将所述机械控制信息通过Wi-Fi方式传输给机械臂的微控制器。

本发明的优点在于：

1、功能上：具有实时互动表演的功能，可突破人力限制，完成危险、枯燥动作的助演，亦可搭建动态展览区；

2、结构上：对提线木偶的操作对象由木偶表演技师到可控的机械臂，对观众的识别由人眼到交互设备Kinect，向观众的展示由固定的剧情节目到灵活的实时互动表演。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种观众参与的提线木偶表演的人偶交互方法的执行流程图。

图2为本发明一种观众参与的提线木偶表演的人偶交互系统的结构示意图。

具体实施方式

为使得本发明更明显易懂，现以一优选实施例，并配合附图作详细说明如下。

本发明的硬件装置包括交互设备Kinect、计算机、显示屏、音箱、机械臂。当观众进入交互设备Kinect的识别范围，系统将由预设的主线剧情表演进入互动模式，舞美、声音、提线木偶都受观众控制，达到观众参与表演的效果。

如图1和图2所示，本发明的一种观众参与的提线木偶表演的人偶交互方法，需提供一种人偶交互系统，所述人偶交互系统包括交互设备Kinect、计算机、显示屏、音箱、机械臂和提线木偶，所述显示屏、音箱和机械臂(具有微控制器MCU)为输出模块，显示屏为L型显示屏，由垂直放置的曲面屏和水平放置的地屏构成，相当于提线木偶表演的舞台，所述人偶交互方法包括如下步骤：

步骤1、将人偶交互系统进行初始化；

步骤2、预设用于表演主线剧情的主线控制指令，该主线控制指令包括主线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述主线控制指令在Unity 3D虚拟引擎上执行，在该Unity 3D虚拟引擎上添加API，并将执行的主线剧情对应的图像显示信息、音频播放信息和机械控制信息分别传输给显示屏、音箱和机械臂的微控制器；

步骤3、所述显示屏根据传输的主线剧情对应的图像显示信息显示主线剧情设定的虚拟场景和提示字幕，音箱根据主线剧情对应的音频播放信号播放主线剧情设定的提线木偶台词和背景音乐，机械臂的微控制器根据主线剧情对应的机械控制信息使得机械臂执行主线剧情设定的动作，从而带动提线木偶的线使得提线木偶运动；

步骤4、计算机判断主线控制指令是否执行完毕，若是，则将人偶交互系统复位；若否，则进入步骤5；

步骤5、判断交互设备Kinect的识别范围(识别范围是指交互设备Kinect可扫描到的区域)内是否有用户，若是，则获取用户的三维人体骨骼数据和音频数据，进入步骤6；若否，则进入步骤3；具体为：

利用交互设备Kinect的摄像头捕捉彩色帧和深度帧，获取用户所在场景的颜色深度数据，利用交互设备Kinect的软件开发工具包(Kinect SDK)分析场景的颜色深度数据，若检测到颜色深度数据中存在有三维人体骨骼数据，则判断出交互设备Kinect的识别范围内有用户，则交互设备Kinect从颜色深度数据中读取用户的三维人体骨骼数据，同时利用交互设备Kinect的内置麦克风阵列捕捉声音，获取用户的音频数据，进入步骤6；若未检测到颜色深度数据中存在有三维人体骨骼数据，则判断出交互设备Kinect的识别范围内没有用户，则进入步骤3；

步骤6、所述人偶交互系统进入互动模式，利用Unity 3D虚拟引擎管理整个人偶交互系统，包括交互识别模块、逻辑判定模块、事件处理模块。交互识别模块：根据连续图像帧的三维人体骨骼数据，并通过人体的空间位置、形态和运动信息的变化识别用户的手势；同时，根据连续图像帧对应的音频数据，并利用Microsoft Speech的语音识别API识别用户的声音；逻辑判定模块：将识别得到的用户的手势和声音与规范化的手势和声音进行比较，规范化的手势和声音存储在预先设定好的动作库和语音库中，判断用户的手势和声音与规范化的手势和声音是否匹配，若完全不匹配，则不改变预设的主线剧情，进入步骤3；若匹配，则识别其匹配程度，根据不同的匹配程度激活不同的辅线控制指令，即事件处理模块：将执行输出对应的图像显示信号、音频播放信号、机械控制信号；

步骤7、所述辅线控制指令包括辅线剧情对应的图像显示信息、音频播放信息和机械控制信息，所述辅线控制指令在Unity 3D虚拟引擎上执行，在该Unity 3D虚拟引擎上添加API，并将执行的辅线剧情对应的图像显示信息、音频播放信息和机械控制信息传输给显示屏、音箱和机械臂的微控制器，其中，机械控制信息传输给机械臂的微控制器的传输方式具体为：根据数据处理结果激活的Socket通信协议将所述机械控制信息通过Wi-Fi方式传输给机械臂的微控制器；

所述显示屏根据辅线控制指令中辅线剧情对应的图像显示信号显示辅线剧情设定的虚拟场景和提示字幕等舞美效果，音箱根据辅线控制指令中辅线剧情对应的音频播放信号播放辅线剧情设定的提线木偶台词和背景音乐等声音效果，机械臂的微控制器根据辅线控制指令中辅线剧情对应的机械控制信息使得机械臂执行辅线剧情设定的动作，从而带动提线木偶的线使得提线木偶运动，将无人交互的主线剧情转换成有人交互的辅线剧情，从而完成了提线木偶与观众的互动；

步骤8、计算机判断辅线控制指令是否执行完毕，若是，则将人偶交互系统复位；若否，则进入步骤5。

实施例一：

当观众站在交互设备Kinect的识别范围内，并做出“招手”动作、发出“Hello”声音；进入互动模式，根据交互设备Kinect获取观众的连续图像帧的三维人体骨骼数据和音频数据，根据连续图像帧的三维人体骨骼数据和音频数据分别识别出观众的手势为“招手”、声音为“Hello”，将识别得到的用户的“招手”手势和“Hello”声音与动作库中规范化的手势和语音库中规范化的声音进行比较，判断出用户的手势与规范化的手势匹配度达到50％，而用户的声音和规范化的声音完全不匹配，则按照主线剧情进行表演。

实施例二：

当观众站在交互设备Kinect的识别范围内，并做出“蹲下”动作、发出“蹲下”声音；进入互动模式，根据交互设备Kinect获取观众的连续图像帧的三维人体骨骼数据和音频数据，根据连续图像帧的三维人体骨骼数据和音频数据分别识别出观众的手势为“蹲下”、声音为“蹲下”，将识别得到的用户的“蹲下”手势和“蹲下”声音与动作库规范化的手势和语音库中规范化的声音进行比较，判断出用户的手势与规范化的手势匹配度达到80％，用户的声音和规范化的声音匹配度也达到80％，则激活不同的辅线控制指令，执行输出对应的图像显示信号、音频播放信号、机械控制信号，所述显示屏根据对应的图像显示信号显示辅线剧情设定的虚拟场景和提示字幕“蹲下”等舞美效果，音箱根据对应的音频播放信号播放辅线剧情设定的提线木偶台词“蹲下”和背景音乐等声音效果，机械臂的微控制器根据对应的机械控制信息使得机械臂执行辅线剧情设定的动作，从而带动提线木偶的线使得提线木偶也作出“蹲下”动作，从而完成了提线木偶与观众的互动。

实施例三：

当观众站在交互设备Kinect的识别范围内，并做出“转圈”动作、发出“顺时针”声音；进入互动模式，根据交互设备Kinect获取观众的连续图像帧的三维人体骨骼数据和音频数据，根据连续图像帧的三维人体骨骼数据和音频数据分别识别出观众的手势为“转圈”、声音为“顺时针”，将识别得到的用户的“转圈”手势和“顺时针”声音与动作库规范化的手势和语音库中规范化的声音进行比较，判断出用户的手势与规范化的手势匹配度达到100％，用户的声音和规范化的声音匹配度也达到100％，则激活不同的辅线控制指令，执行输出对应的图像显示信号、音频播放信号、机械控制信号，所述显示屏根据对应的图像显示信号显示辅线剧情设定的虚拟场景和提示字幕“顺时针转圈”等舞美效果，音箱根据对应的音频播放信号播放辅线剧情设定的提线木偶台词“顺时针”和背景音乐等声音效果，机械臂的微控制器根据对应的机械控制信息使得机械臂执行辅线剧情设定的动作，从而带动提线木偶的线使得提线木偶也作出“顺时针转圈”动作，从而完成了提线木偶与观众的互动。

本发明的优点如下：

通过交互设备Kinect实时检测观众的手势、声音，利用Unity 3D虚拟引擎管理整个人偶交互系统，使用C#语言完成整体的开发工作，实现交互控制功能；利用人机交互技术和数字化技术等，实现传统提线木偶与现代科学技术深度融合，给观众提供更好的欣赏体验，探索开创非物质文化遗产的数字化保护传播新模式。另外，在功能上：具有实时互动表演的功能，可突破人力限制，完成危险、枯燥动作的助演，亦可搭建动态展览区；在结构上：对提线木偶的操作对象由木偶表演技师到可控的机械臂，对观众的识别由人眼到交互设备Kinect，向观众的展示由固定的剧情节目到灵活的实时互动表演。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。