一种基于目标追踪的数字化展厅手势识别系统

摘要

本发明涉及数字化展览技术领域，尤其为一种基于目标追踪的数字化展厅手势识别系统，包括处理器、主服务器和检测单元，所述处理器的输出端与主服务器的输入端双向电连接，所述检测单元包括测距传感器、红外传感器和摄像头，所述测距传感器和红外传感器的输出端单向电连接有信息处理模块；本发明能够检测出参观者是否靠近和远离，并能够控制互动设备开启和关闭，节约了电力，同时该系统基于目标追踪技术，识别效果更好，解决了现有的一些手势识别系统无法检测出参观者是否靠近和远离，当参观者远离设备后，系统无法控制设备关闭，互动设备仍在运行，浪费了大量的电力，同时有些识别系统的识别度较低，识别效果欠佳的问题。

说明书

技术领域

本发明涉及数字化展览技术领域，具体为一种基于目标追踪的数字化展厅手势识别系统。

背景技术

数字展厅又叫作数字化展厅、多媒体数字化展厅等，是指以多媒体和数字化技术作为展示技术，使用最新的影视动画技术，结合独到的图形数字和多媒体技术，以各类新颖的技术吸引参观者，实现人机交互方式的展厅形式。数字展厅集各种多媒体展览展示系统为一体的综合展示平台，包括数字沙盘、环幕/弧幕/球幕影厅、迎宾地幕系统、互动吧台、互动镜面及触摸屏等等。同时，由于融入了各种高新科技技术，让展厅极具内涵和吸引力，通过对视频、声音、动画等媒体加以组合应用，深度挖掘展览陈列对象所蕴含的背景、意义，带给观众高科技的视觉震撼感，大大提升了品牌的价值。

数字化展厅在互动过程中需要用到手势识别系统，通过手势识别系统识别出参观者的手势，并驱动相关设备进行互动，然而现有的一些手势识别系统无法检测出参观者是否靠近和远离，当参观者远离设备后，系统无法控制设备关闭，互动设备仍在运行，浪费了大量的电力，同时有些识别系统的识别度较低，不易识别出一些手势，识别效果欠佳，为此我们提出一种能够检测出参观者是否靠近和远离，并能够控制互动设备开启和关闭，识别效果更好的数字化展厅手势识别系统来解决此问题。

发明内容

本发明的目的在于提供一种基于目标追踪的数字化展厅手势识别系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于目标追踪的数字化展厅手势识别系统，包括处理器、主服务器和检测单元，所述处理器的输出端与主服务器的输入端双向电连接，所述检测单元包括测距传感器、红外传感器和摄像头，所述测距传感器和红外传感器的输出端单向电连接有信息处理模块，所述摄像头的输出端单向电连接有图像处理模块，所述信息处理模块的输出端与主服务器的输入端单向电连接，所述图像处理模块的输出端单向电连接有图像传输模块，所述图像传输模块的输出端与主服务器的输入端单向电连接，所述主服务器的输出端双向电连接有驱动模块，所述驱动模块的输出端双向电连接有数字化互动单元，所述处理器的输出端分别双向电连接有目标跟踪系统和识别处理系统，所述识别处理系统包括手势存储模块、信息提取模块和图像特征匹配模块，所述处理器的输出端与图像特征匹配模块的输入端双向电连接，且手势存储模块、信息提取模块和图像特征匹配模块彼此之间的电性连接关系为双向电连接。

优选的，所述目标跟踪系统包括图像检测模块、图像识别模块、图像跟踪模块和动作提取模块，所述图像检测模块的输出端与图像识别模块的输入端双向电连接，所述图像识别模块的输出端与图像跟踪模块的输入端双向电连接，且图像跟踪模块与动作提取模块之间的电连接关系为双向电连接。

优选的，所述数字化互动单元包括视觉展示设备、听觉展示设备和物理展示设备，所述驱动模块的输出端分别与视觉展示设备、听觉展示设备和物理展示设备的输入端双向电连接。

优选的，所述视觉展示设备包括有大型显示屏、投影仪和烟雾发生器，所述物理展示设备包括有互动机器人、移动沙盘和机械臂。

优选的，所述处理器的输入端电连接设置有设置模块，所述设置模块的输出端与处理器的输入端单向电连接。

优选的，所述手势存储模块的输入端电连接设置有输入模块，所述输入模块的输出端与手势存储模块的输入端双向电连接。

优选的，所述手势存储模块储存的数据包括有手势的图像、轨迹和相对应的含义。

优选的，所述测距传感器的型号为KLH-01T-20hz，所述红外传感器的型号为P228。

与现有技术相比，本发明的有益效果如下：

1、本发明能够检测出参观者是否靠近和远离，并能够控制互动设备开启和关闭，节约了电力，同时该系统基于目标追踪技术，识别效果更好，解决了现有的一些手势识别系统无法检测出参观者是否靠近和远离，当参观者远离设备后，系统无法控制设备关闭，互动设备仍在运行，浪费了大量的电力，同时有些识别系统的识别度较低，识别效果欠佳的问题；

2、通过图像检测模块、图像识别模块、图像跟踪模块和动作提取模块的设置，它们的配合使用对摄像头反馈给处理器的图像进行检测、识别和跟踪，并识别出图像中参观者的手势动作，通过视觉展示设备、听觉展示设备和物理展示设备的设置，驱动设备能够控制视觉展示设备、听觉展示设备和物理展示设备为参观者带来视觉和听觉上的互动展示，提高了参观者在参观过程中的趣味性；

3、通过设置模块的设置，其便于工人对处理器中的各个参数进行更改和设定，通过输入模块的设置，以便工人向手势存储模块的内部输入不同的手势动作以及相关含义。

附图说明

图1为本发明的系统原理图；

图2为本发明识别处理系统的原理框图；

图3为本发明目标跟踪系统的原理框图；

图4为本发明数字化互动单元的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，一种基于目标追踪的数字化展厅手势识别系统，包括处理器、主服务器和检测单元，处理器的输出端与主服务器的输入端双向电连接，检测单元包括测距传感器、红外传感器和摄像头，测距传感器和红外传感器的输出端单向电连接有信息处理模块，摄像头的输出端单向电连接有图像处理模块，信息处理模块的输出端与主服务器的输入端单向电连接，图像处理模块的输出端单向电连接有图像传输模块，图像传输模块的输出端与主服务器的输入端单向电连接，主服务器的输出端双向电连接有驱动模块，驱动模块的输出端双向电连接有数字化互动单元，处理器的输出端分别双向电连接有目标跟踪系统和识别处理系统，识别处理系统包括手势存储模块、信息提取模块和图像特征匹配模块，处理器的输出端与图像特征匹配模块的输入端双向电连接，且手势存储模块、信息提取模块和图像特征匹配模块彼此之间的电性连接关系为双向电连接，该系统能够检测出参观者是否靠近和远离，并能够控制互动设备开启和关闭，节约了电力，同时该系统基于目标追踪技术，识别效果更好，解决了现有的一些手势识别系统无法检测出参观者是否靠近和远离，当参观者远离设备后，系统无法控制设备关闭，互动设备仍在运行，浪费了大量的电力，同时有些识别系统的识别度较低，识别效果欠佳的问题。

本实施例中，目标跟踪系统包括图像检测模块、图像识别模块、图像跟踪模块和动作提取模块，图像检测模块的输出端与图像识别模块的输入端双向电连接，图像识别模块的输出端与图像跟踪模块的输入端双向电连接，且图像跟踪模块与动作提取模块之间的电连接关系为双向电连接，通过图像检测模块、图像识别模块、图像跟踪模块和动作提取模块的设置，它们的配合使用对摄像头反馈给处理器的图像进行检测、识别和跟踪，并识别出图像中参观者的手势动作。

本实施例中，数字化互动单元包括视觉展示设备、听觉展示设备和物理展示设备，驱动模块的输出端分别与视觉展示设备、听觉展示设备和物理展示设备的输入端双向电连接，通过视觉展示设备、听觉展示设备和物理展示设备的设置，驱动设备能够控制视觉展示设备、听觉展示设备和物理展示设备为参观者带来视觉和听觉上的互动展示，提高了参观者在参观过程中的趣味性。

本实施例中，视觉展示设备包括有大型显示屏、投影仪和烟雾发生器，物理展示设备包括有互动机器人、移动沙盘和机械臂。

本实施例中，处理器的输入端电连接设置有设置模块，设置模块的输出端与处理器的输入端单向电连接，通过设置模块的设置，其便于工人对处理器中的各个参数进行更改和设定。

本实施例中，手势存储模块的输入端电连接设置有输入模块，输入模块的输出端与手势存储模块的输入端双向电连接，通过输入模块的设置，以便工人向手势存储模块的内部输入不同的手势动作以及相关含义。

本实施例中，手势存储模块储存的数据包括有手势的图像、轨迹和相对应的含义。

本实施例中，测距传感器的型号为KLH-01T-20hz，红外传感器的型号为P228。

工作原理：在工作时，红外传感器能检测到是否有参观者接近，而测距传感器能够检测参观者所在的位置，当参观者接近展示设备时，红外传感器和测距传感器将电信号传输给信息处理模块，信息处理模块随后将信号传输给主服务器，此时主服务器将信号给处理器，处理器在将信息处理完毕后，传回给主服务器，随后主服务器将启动信号传输给驱动模块，此时驱动模块便可驱动数字化互动设备运行，并与参观者进行互动，在互动过程中，摄像头录入参观者的动作并传输给图像处理模块，随后图像处理模块将录入的图像转化为数据，并由图像传输模块传输给主服务器，随后主服务器传输给处理器，此时处理器将图像数据传输给目标跟踪系统，由目标跟踪系统跟踪、捕捉和识别出图像数据中的手势动作，并将手势动作的信息回传给处理器，此时参观者的手势动作能够轻易识别，随后处理器将手势动作的信息上传给识别处理系统，此时手势动作的信息进入图像特征匹配模块进行匹配，同时信息提取模块能够将手势存储模块中的手势信息提取并传输给图像特征匹配模块，当图像特征匹配模块匹配出相应的手势信息后，并将相关手势的含义提取并上传处理器，随后处理器将控制指令经由主服务器传输给驱动模块，此时驱动模块便根据相关手势的含义驱动设备进行互动，增加互动性和趣味性；活动结束后，参观者远离设备，此时测距传感器和红外传感器将信号经由信息处理模块和主服务器传输给处理器，随后处理器将关闭指令通过主服务器传输给驱动模块，然后驱动模块控制相关设备关闭，达到节约电力的目的。

目标跟踪技术一直是计算机视觉研究领域中的热点之一，其在军事侦察、精确制导、火力打击、战场评估以及安防监控等诸多方面均有广泛的应用前景。目标的不定向运动改变了目标和场景的外观模式、非刚性目标结构、目标间及目标与场景间的遮挡、摄像机的运动等情况使目标跟踪任务变得更加困难。跟踪常应用于那些需要了解目标每帧的位置及形状的应用环境中，并常用假设来约束特定应用环境中的跟踪问题。跟踪可简单地定义为估计物体围绕一个场景运动时在图像平面中轨迹，即一个跟踪系统给同一个视频中不同帧的跟踪目标分配相一致的标签。目标跟踪系统采用先进的图像检测、识别和跟踪技术，配合精密运动控制系统，实现对场景中多个目标的动作进行连续快速跟踪捕捉，它将大场景内多目标的跟踪检测和视频分析功能集成在一个独立的系统中，通过对前端摄像头采集的视频信息进行智能化分析，自动对目标的行为和事件进行数据采集分类并联动。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。