一种与观众实时交互的实现方法及其系统

摘要

本发明公开了一种与观众实时交互的实现方法及其系统，其系统包括一用于显示影像的显示装置，该显示装置设置在舞台上；以及一与该显示装置相连接的处理系统；所述处理系统还通讯连接一摄像头，以及与该摄像头对应设置的照明装置，所述摄像头用于捕捉所述照明装置所照明的观众图像，并由所述处理系统合并处理成为在所述显示装置上显示的复合影像。本发明与观众实时交互的实现方法及其系统通过设置用于捕捉观众影像的摄像头及灯光，以及对应的控制程序，实现了对观众坐席矩阵内的观众进行捕捉的过程，并通过处理系统的处理，形成与主持人的三维虚拟角色进行交互的图像，并在舞台上进行播放，实现了观众的图像参与过程。

说明书

技术领域

本发明涉及一种图像处理软件和系统，尤其涉及的是一种用于与舞台虚拟图像互动的软件实现方法及系统。

背景技术

现有技术中，常见的舞台图像显示是将图片或视频在舞台上进行投影和显示，与观众的之间的交互通常是将观众本人请到舞台上进行，这样容易让观众紧张，除非事先做排演和安排，观众参与交互的过程往往不容易顺利进行，很难完成交互的过程。

在现有技术的迪士尼游乐园中，以及国内其他游乐园中，也有将观众影像捕抓后，放到荧幕上的技术，但是，他们只能捕获观众的一帧静帧，放到荧幕上去。观众无法和虚拟角色进行实时互动。

目前，很多类似的项目在实施时，设计者都认为，捕抓动态视频是有困难的，比如观众坐的位置不确定，观众的高矮胖瘦不同，摄像头如何定位是一个很大的问题。另外，一般剧场的光线较暗，使得捕抓的视频质量很差，无法满足现场表演的需求。

因此，现有技术还有待于进一步改进和发展。

发明内容

本发明的目的在于提供一种与观众实时交互的实现方法及其系统，可以将观众的图像进行捕捉，并合成到与虚拟角色进行互动的图像中，并予以显示，从而可以不用改变观众的位置实现与主持人图像之间的沟通过程。

本发明的技术方案包括：

一种与观众实时交互的实现系统，其包括一用于显示影像的显示装置，该显示装置设置在舞台上；以及一与该显示装置相连接的处理系统；其中，所述处理系统还通讯连接一摄像头，以及与该摄像头对应设置的照明装置，所述摄像头用于捕捉所述照明装置所照明的观众图像，并由所述处理系统合并处理成为在所述显示装置上显示的复合影像。

所述的实现系统，其中，所述摄像头和所述照明装置设置在观众席上方的支架上，并在该支架上设置有导轨，由一受控的驱动电机控制所述摄像头及对应照明装置移动到可捕捉对应观众席位置上。

所述的实现系统，其中，所述导轨设置为对应照射各个观众席的矩阵结构。

所述的实现系统，其中，所述处理系统为图形工作站。

所述的实现系统，其中，所述显示装置设置为投影机以及与该投影机对应的屏幕。

一种所述实现系统的实现方法，其包括以下步骤：

A、通过软件控制照明装置照亮对应的观众位置，并通过摄像头获取该观众的影像，实时发送给处理系统；

B、所述处理系统对观众的实时影像与主持人的虚拟角色影像进行合成，并发送给显示装置进行显示。

所述的实现方法，其中，所述步骤A中，设置照明装置和摄像头在导轨上，并由处理系统控制照明装置和摄像头移动到对应观众的位置上。

所述的实现方法，其中，所述导轨设置为对应观众席各观众位置的矩阵，并由所述处理系统向所述照明装置及摄像头的驱动电机发送位置指令。

所述的实现方法，其中，所述处理系统为图形工作站。

所述的实现方法，其中，所述显示装置设置为投影机以及与该投影机对应的屏幕。

本发明所提供的一种与观众实时交互的实现方法及其系统，通过设置用于捕捉观众影像的摄像头及灯光，以及对应的控制程序，实现了对观众坐席矩阵内的观众进行捕捉的过程，并通过处理系统的处理，形成与主持人的三维虚拟角色进行交互的图像，并在舞台上进行播放，实现了观众的图像参与过程。

附图说明

图1为本发明与观众实时交互的实现方法及其系统中实现过程的示意图。

图2为本发明与观众实时交互的实现系统的导轨示意图。

图3为本发明与观众实时交互的实现方法流程示意图。

具体实施方式

以下结合附图，将对本发明的各较佳实施例进行更为详细的说明。

本发明所提供的与观众实时交互的实现方法及其系统，如图1所示，其核心的设置是一处理系统，该处理系统可以通过与该处理系统通讯连接的摄像头110和照明装置获取对观众席上选中的某观众图像，并进行图像合并处理，与主持人的虚拟角色图像进行合并，并通过一显示装置进行显示。该处理系统较好的是采用一图形工作站120。所述显示装置设置在舞台上，可以采用大屏幕，例如液晶或等离子，更好的是可以采用投影机131和对应的屏幕132，所述投影机131由所述处理系统即本实施例中的图形工作站120进行待播放图像的通讯控制。

在本发明所述实现系统中，还可以设置一监视器140，如图1所示，将摄像头捕捉的图像进行监控，从而方便主持人与观众的互动。

本发明所述实现系统中，所述摄像头110和对应的照明装置可设置在两个或同一个受控滑块上，通过驱动电机的驱动在观众席220上方的导轨210上滑动（观众席采用了省略画法），如图2所示，该导轨210设置在一支架上，通过该支架可以将导轨210设置在天花板上或悬吊在观众席上方。该导轨210可以设置成矩阵，每一节点对应某一观众的照射位置，从而可以通过所述处理系统实现对照明装置及摄像头的控制，只需将位置指令发送给驱动电机的控制单元，摄像头及照明装置就可以迅速移动到对应的位置，从而照亮对应的观众，并由该摄像头获取其实时的影像。所述处理系统可以通过无线控制实现向驱动电机控制单元的指令控制。

以下就一具体实施例说明本发明与观众实时交互的实现方法及其系统，说明如何通过实时视频将图像捕抓到舞台上的显示屏中，并与主持人的虚拟角色进行实时互动。

例如，一群观众坐在一个具有本发明与观众实时交互的实现方法及其系统的剧场中，舞台上设置有显示屏，并在显示屏上设置有虚拟角色的显示和表演；在表演进行过程中，为实现与观众的交互，虚拟角色的动作配合主持人的语音可以表述，“我用魔法，请一位观众上来和我聊聊天吧。”

然后，在显示屏中，虚拟角色具有其他的动作，例如手一挥，就在他旁边出现一张魔镜。然后由操作者或主持人选定一个观众，通过指令，摄像头和对应的照明装置就会迅速移动到对应观众的照射角度上，通过照明装置的照亮，并通过摄像头，将对应观众的实时影像进行捕捉，然后通过所述处理系统的图像处理，将主持人的虚拟角色图像和观众的实时图像进行合并，并在显示屏上进行显示。

此时，在显示屏的魔镜里面就出现了观众的实时影像，可以通过指向性很强的麦克风同时捕捉观众的语音，并同步播放，也可以在观众席的座位前方设置隐藏的麦克风，从而可以将观众的语音与其影像同步。

当该观众看到自己出现在显示屏上时，会非常惊奇。这时，虚拟角色会受操作者或主持人的控制做出相应动作，例如转头，并对着魔镜里面的观众提出问题：“你叫什么名字，从什么地方来啊？”等等。这样虚拟角色和观众的交互过程就可以很容易的进行下去了。

本发明所述处理系统，还可以采用处理能力较强的计算机；所有摄像头设备及图像的生产及渲染合并等处理，都由一台中控计算机（图形工作站）负责。该处理系统既负责使虚拟角色运动——可通过躲在后台的主持人通过控制器、触摸屏等输入装置控制角色的动作，也负责对角色、灯光、场景等环境或背景的三维实时渲染。当主持人按动触摸屏上的“抓取观众”按钮时，该图形工作站的视频捕抓卡开始工作，将高分辨摄像头捕抓回来的画面送到实时渲染的画面上去，并有预先写好的程序。本发明在虚拟的三维场景中，在虚拟主持人的身边，设置一个物体，通常为一个多边形的平面。在为这个平面创建三维材质时，本发明进行特殊的处理，这个材质的贴图并不是通常的图片（如Jpeg图片、BMP图片、Tif图片等等），而是调用系统中图形捕抓设备（如摄像头，图形采集卡等等）所捕捉到的图像，将系统图形捕抓设备的视频影像，当作为一张贴图，贴在这个物体上，使得观众看到被捕抓到的观众出现在这个物体上，并合成到与主持人的虚拟角色形象对应的同一场景中，例如上述具体实施例中的“魔镜”里面中去。

同时，为了能够看清观众的影像，需要对应设置照明装置进行补光。此时，所述处理系统即图形工作站通过其一串口送出一个特定的信号给一个PLC（可编程逻辑控制器），由该PLC控制一个继电器，对应剧场中预先安装好的一个Par灯（舞台柔光灯），该Par灯被点亮，从而可以照亮对应的观众，由此进行补光，以实现摄像头所获取图像的清晰度和亮度。

当然，为减少所述照明装置的设置成本，可以将照明装置与摄像头设置在同一模块上，该模块通过受控的一驱动电机驱动在导轨上可移动，通过对导轨上的矩阵节点定位，可以循序移动该摄像头和照明装置照亮对应的观众，此种控制和实现是在现有技术中常见的矩阵控制原理，因此其通过软件的实现过程不再赘述。

当上述“魔镜”的桥段结束时，可以通过主持人按动“捕抓结束”的按钮，实现同样的流程：将对应的照明装置即Par灯关闭，图形工作站的程序处理使画面中的魔镜及对应观众的实时画面消失。

本发明与观众实时交互的实现方法及其系统在虚拟角色互动节目中，通过本发明技术可以将观众的实时影像放到设置在舞台的显示屏上，和虚拟角色站在一起进行对话和互动等，从而使观众在节目中具有很高的参与感。

本发明所述与观众实时交互的实现方法及其系统中，在具体实施的剧场内，使用的不是固定位置的摄像头（机），而是采用可以被精确遥控位置的摄像头，本发明所述摄像头的推拉摇移都可以被精确遥控。之所以可以被精确控制，其原因是本发明所述摄像头和对应的照明装置设置在具有矩阵的导轨上，并对在该导轨上的各点位置通过软件实现了精确的坐标定位，当操作者设置要捕获的观众影像时，只需点击对应的观众位置，所述处理系统即将该观众所对应的摄像头和照明装置在导轨上的位置进行指令发送，发送给驱动电机的控制器，从而可以迅速将摄像头和照明装置移动到对应的位置，并开始工作。

本发明与观众实时交互的实现方法及其系统中，在观众入场就坐后，操作者或主持人就可以遥控摄像头，对准候选的观众。当遇到需要和多个观众进行互动时，还可以将摄像头的视角位置一一储存下来，由操作者点击所需要的观众实时影像，方便摄像头和照明装置在表演现场迅速移动到位并及时捕获相应的实时影像。本发明方法和系统中，将摄像头安装在了较高的位置，例如从天花板悬垂的支架上，避免了前后观众间的遮挡。

同时，本发明实现方法和系统中还使用了高亮度的投影机及高增益屏幕，使得投影到屏幕的画面受剧场环境灯光影响减至最小。同时，还通过处理系统实现了使用中控设备对整个舞台灯光的控制，使得仅在捕抓观众实时影像时，才增加环境灯光亮度，甚至针对某个观众位置的亮度。因此，本发明实现方法和系统可以保留环境的亮度，使得捕抓到的观众影像能够维持一个较高的质量。

本发明所述与观众实时交互的实现方法中，如图3所示，其包括以下步骤：

A、通过处理系统的软件控制照明装置照亮对应的观众，并通过摄像头获取该观众的实时影像，并发送给处理系统进行处理；该处理系统可以但不限于采用图形工作站的方式，可以对主持人的虚拟角色进行实时渲染处理，并进行显示，形成具备各种动作的虚拟角色； 

B、所述处理系统对观众实时影像与主持人的虚拟角色影像进行合成，并发送给显示装置进行显示。

由于本发明软件处理技术使得观众可以实时和虚拟角色进行聊天，实时进行互动，因此本发明技术比现有技术中使用的捕抓单帧照片的技术要好得多，并通过可受控在矩阵导轨上移动的摄像头及受中控设备控制的灯光系统和照明装置，本发明实现方法和系统解决了摄像头对观众的对位以及照明问题，实现了全新的娱乐系统，方便了观众与主持人的实时互动过程和参与。

应当理解的是，上述针对本发明各较佳实施例的描述较为具体，并不能因此而理解为对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。