基于自然人机交互技术的全角度人跟踪系统及控制方法

摘要

一种基于自然人机交互技术的全角度人跟踪系统及控制方法，包括：自然人机交互数据处理单元，用于解析所述采集的自然人机交互数据，并将其处理成控制指令包输出；本发明还提供一种基于自然人机交互技术的全角度人跟踪控制方法，包括：采集自然人机交互数据；解析所述自然人机交互数据，确定主跟踪人，输出控制指令包；将所述控制指令包转换成符合全角度人跟踪系统的控制信号。控制指令包转换单元，用于将所述控制指令包转换成符合全角度人跟踪系统的控制信号，以完成对监控设备的控制。本发明不仅使得监控设备可以无死角的追踪被跟踪人，还可以智能的排除其他外界因素，锁定被跟踪人。

说明书

技术领域

本发明涉及人机交互控制系统领域，特别是一种基于自然人机交互技术的全角度人跟踪系统及控制方法。

背景技术

视频跟踪现阶段广泛应用于视频直播、视频会议、远程教学等领域中，能够拉近两地之间的距离，实现互动的功能。

现有技术中，公开号CN101290681B的专利文献公开了一种视频目标跟踪方法、装置及自动视频跟踪系统，包括对当前帧中各候选位置进行梯度向量流GVF变形，得到各变形曲线；计算所述变形曲线的视频特征；根据计算得到的视频特征确定一个候选位置为目标位置。该专利还公开了一种视频目标追踪装置及自动视频跟踪系统，能够提高目标跟踪准确率。该发明的缺陷是不能够360度的对跟踪人实施监控，当有多人的时候，不能够准确的监控被跟踪人。

发明内容

本发明采用自然人机交互技术，确定第一个进入监控画面的人为被跟踪人，让跟踪设备始终跟随被跟踪人，即使有其他人进入监控画面也可以准确锁定被跟踪人。当被跟踪人脱离跟踪设备的监控时，跟踪设备可调整到初始位置，等待被跟踪人重新进入监控画面。能够360度的对跟踪人实施监控，解决了现有技术中存在盲区的问题，能够锁定第一个进入监控画面的人为被跟踪人，解决了现有技术中当有多人进入画面，容易混淆被跟踪人的问题。

本发明的具体技术方案如下：

本发明的第一方面提出了一种基于自然人机交互技术的全角度人跟踪系统，包括用于采集操作者的自然人机交互数据的自然人机交互数据采集，优选的是，包括以下模块：

追踪识别模块，识别并锁定被追踪人；

控制中心模块，解析所述采集的自然人机交互数据，并将其处理成控制指令包输出；

指令转换模块，将所述控制指令包转换成符合全角度人跟踪系统的控制信号；

智能追踪模块：接收控制信号并根据人体的移动进行自动追踪。

在上述方案中优选的是，所述追踪识别模块具有根据识别原则锁定被追踪人的功能。

在上述方案中优选的是，所述识别原则包括位置识别原则、姿势识别原则、动作识别原则、人脸识别原则、声音识别原则、先入锁定原则、智能忽略原则中至少一种。

在上述方案中优选的是，所述位置识别原则是指根据识别区域中的人物与传感器的相对位置确定被追踪人。

在上述方案中优选的是，所述姿势识别原则是指当识别区域中的人物摆出与系统预设相同的静态肢体姿势，则确定该人物为被追踪人。

在上述方案中优选的是，所述动作识别原则是指当识别区域中的人物做出与系统预设相同的动作，则确定该人物为被追踪人，所述动作识别包括识别动作轨迹和动作时间限定中至少一种。

在上述方案中优选的是，所述人脸识别原则是根据系统预存的人脸数据判定是否为被追踪人。

在上述方案中优选的是，所述声音识别原则是根据系统预存的音频数据判定是否为被追踪人。

在上述方案中优选的是，所述先入锁定原则是指确定第一个进入识别区域的人物为被追踪人。

在上述方案中优选的是，所述智能忽略原则是指锁定被追踪人后其他进入识别区域的人被智能忽略。

在上述方案中优选的是，所述追踪识别模块还具有根据追踪原则追踪被追踪人的功能。

在上述方案中优选的是，所述追踪原则包括骨骼数据追踪原则、深度数据辅助追踪原则、声音追踪原则、自动返回原则中至少一种。

在上述方案中优选的是，所述骨骼数据追踪原则是指提取被追踪人的骨骼数据，对其进行追踪。

在上述方案中优选的是，所述深度数据辅助追踪原则是指当骨骼数据出现紊乱时，从采集到的数据中调取深度数据进行辅助，继续被追踪人进行追踪。

在上述方案中优选的是，所述声音追踪原则是指当被追踪人走出识别范围，可自动追踪被追踪人的声音，然后重新进行人物识别。

在上述方案中优选的是，所述自动返回原则是指在设定的时间间隔后，未采集到被追踪人的任何数据，则自动调整到预设位置重新进行人物识别。

在上述方案中优选的是，所述控制中心模块具有接收追踪识别系统发送的被追踪人信息的功能。

在上述方案中优选的是，所述控制中心模块还具有记录被追踪人信息的功能。

在上述方案中优选的是，所述被追踪人信息是指骨骼数据、位置数据、姿势数据、动作数据、人脸数据、音频数据中至少一种。

在上述方案中优选的是，所述控制中心模块还具有解析被追踪人语音指令、动作指令、肢体指令的功能。

在上述方案中优选的是，所述控制中心模块还具有预判被追踪人实时动作的功能。

在上述方案中优选的是，所述控制中心模块还具有输出矫正云台自动实时动作指令的功能。

在上述方案中优选的是，所述控制中心模块具有把解析后的指令处理成控制指令并输出的功能。

在上述方案中优选的是，所述指令转换模块具有接收控制中心的控制指令的功能。

在上述方案中优选的是，所述指令转换模块具有把控制中心的控制指令转化成控制智能追踪模块的动作指令的功能。

在上述方案中优选的是，所述智能追踪模块具有根据动作指令追踪被追踪人的功能。

在上述方案中优选的是，所述智能追踪模块具有控制云台动作的功能。

在上述方案中优选的是，所述云台动作包括基础动作、切换动作和高级动作中至少一种。

在上述方案中优选的是，所述基本动作包括开启模块、关闭模块和暂停模块中至少一种。

在上述方案中优选的是，所述切换动作包括模式切换和多摄像头切换中至少一种。

在上述方案中优选的是，所述高级动作包括旋转到指定角度、摄像头焦距调整、速度调整、向前后移动、向左右移动和升降移动中至少一种。

在上述方案中优选的是，所述旋转到指定角度为0-360度。

本发明的第二方面还提出了一种基于自然人机交互技术的全角度人跟踪控制方法，包括用于采集操作者的自然人机交互数据的自然人机交互数据采集，优选的是：包含以下步骤：

步骤1：识别并锁定被追踪人；

步骤2: 解析所述采集的自然人机交互数据，并将其处理成控制指令包输出；

步骤3：将所述控制指令包转换成符合全角度人跟踪系统的控制信号；

步骤4：接收控制信号并根据人体的移动进行自动追踪。

在上述方案中优选的是，所述步骤1为根据识别原则锁定被追踪人。

在上述方案中优选的是，所述识别原则包括位置识别原则、姿势识别原则、动作识别原则、人脸识别原则、声音识别原则、先入锁定原则、智能忽略原则中至少一种。

在上述方案中优选的是，所述位置识别原则是指根据识别区域中的人物与传感器的相对位置确定被追踪人。

在上述方案中优选的是，所述姿势识别原则是指当识别区域中的人物摆出与系统预设相同的静态肢体姿势，则确定该人物为被追踪人。

在上述方案中优选的是，所述动作识别原则是指当识别区域中的人物做出与系统预设相同的动作，则确定该人物为被追踪人，所述动作识别包括识别动作轨迹和动作时间限定中至少一种。

在上述方案中优选的是，所述人脸识别原则是根据系统预存的人脸数据判定是否为被追踪人。

在上述方案中优选的是，所述声音识别原则是根据系统预存的音频数据判定是否为被追踪人。

在上述方案中优选的是，所述先入锁定原则是指确定第一个进入识别区域的人物为被追踪人。

在上述方案中优选的是，所述智能忽略原则是指锁定被追踪人后其他进入识别区域的人被智能忽略。

在上述方案中优选的是，所述步骤1为根据追踪原则追踪被追踪人。

在上述方案中优选的是，所述追踪原则包括骨骼数据追踪原则、深度数据辅助追踪原则、语音追踪原则、自动返回原则中至少一种。

在上述方案中优选的是，所述骨骼数据追踪原则是指提取被追踪人的骨骼数据，对其进行追踪。

在上述方案中优选的是，所述深度数据辅助追踪原则是指当骨骼数据出现紊乱时，从采集到的数据中调取深度数据进行辅助，继续被追踪人进行追踪。

在上述方案中优选的是，所述语音追踪原则是指当被追踪人走出识别范围，可自动追踪被追踪人的声音，然后重新进行人物识别。

在上述方案中优选的是，所述自动返回原则是指在设定的时间间隔后，未采集到被追踪人的任何数据，则自动调整到预设位置重新进行人物识别。

在上述方案中优选的是，所述步骤2为接收追踪识别系统发送的被追踪人信息。

在上述方案中优选的是，所述步骤2为记录被追踪人信息。

在上述方案中优选的是，所述被追踪人信息是指骨骼数据、位置数据、姿势数据、动作数据、人脸数据、音频数据中至少一种。

在上述方案中优选的是，所述步骤2为解析被追踪人语音指令、动作指令、肢体指令。

在上述方案中优选的是，所述控制中心模块还具有预判被追踪人实时动作的功能。

在上述方案中优选的是，所述控制中心模块还具有输出矫正云台自动实时动作指令的功能。

在上述方案中优选的是，所述步骤2为把解析后的指令处理成控制指令并输出。

在上述方案中优选的是，所述步骤3为接收控制中心的控制指令。

在上述方案中优选的是，所述步骤3为把控制中心的控制指令转化成控制智能追踪模块的动作指令。

在上述方案中优选的是，所述步骤4为根据动作指令追踪被追踪人。

在上述方案中优选的是，所述步骤4为控制云台动作。

在上述方案中优选的是，所述云台动作包括基础动作、切换动作和高级动作中至少一种。

在上述方案中优选的是，所述基本动作包括开启模块、关闭模块和暂停模块中至少一种。

在上述方案中优选的是，所述切换动作包括模式切换和多摄像头切换中至少一种。

在上述方案中优选的是，所述高级动作包括旋转到指定角度、摄像头焦距调整、速度调整、向前后移动、向左右移动和升降移动中至少一种。

在上述方案中优选的是，所述旋转到指定角度为0-360度。

本发明可应用的领域十分广泛，有效的解决了360度全角度地对跟踪人实施监控的问题，当有多人的时候，能够准确地监控被跟踪人，有很广阔的市场前景。

附图说明

图1A为本发明的基于自然人机交互技术的全角度人跟踪控制方法的流程示意图。

图1B为本发明的基于自然人机交互技术的全角度人跟踪控制方法的模块工作原理图。

图2为本发明的基于自然人机交互技术的全角度人跟踪控制方法中录制教学示范课示意图。

图3为本发明的基于自然人机交互技术的全角度人跟踪控制方法中远程视频会议示意图。

图4为本发明的基于自然人机交互技术的全角度人跟踪控制方法中远程视频互动教学示意图。

图5为本发明的基于自然人机交互技术的全角度人跟踪控制方法中课程录播示意图。

具体实施方式

图1A为本发明的基于自然人机交互技术的全角度人跟踪控制方法的流程示意图。图1B为本发明的基于自然人机交互技术的全角度人跟踪控制方法的模块工作原理图。如图1A-1B所示，步骤110为跟踪系统开启，追踪识别模块191开始工作。顺序执行步骤120连接并打开跟踪设备，步骤130跟踪系统进行初始化设定，初始化设定包括：设定初始监控区域、识别原则、追踪原则，识别原则包括：位置识别原则、姿势识别原则、动作识别原则、人脸识别原则、声音识别原则、先入锁定原则中的一种或几种，追踪原则包括骨骼数据追踪原则、深度数据辅助追踪原则，语音追踪原则、自动返回原则中的一种或几种。

步骤140跟踪系统等待被跟踪人进入初始监控区域，执行步骤150当被跟踪人进入初始监控区域并触发跟踪条件，追踪识别模块191发送被跟踪人信息给控制中心模块192，控制中心模块192解析并记录被跟踪人信息，同时发送控制指令给指令转换模块193。指令转换模块193把控制中心模块192发送过来的控制指令转换成锁定目标指令并发送该指令给智能追踪模块194，智能追踪模块194根据锁定目标指令控制跟踪设备锁定被跟踪人。

执行步骤160控制中心模块192发送控制指令给指令转换模块193，指令转换模块193把控制中心模块192发送过来的控制指令转换成跟踪移动指令并发送该指令给智能追踪模块194，智能追踪模块194根据跟踪移动指令控制跟踪设备根据被跟踪人的移动而转动。

执行步骤165为当被跟踪人离开监控区域，追踪识别模块191发送信息给控制中心模块192，控制中心模块192解析并处理信息，同时发送控制指令给指令转换模块193，指令转换模块193把控制中心模块192发送过来的控制指令转换成等待判断指令并发送指令给智能追踪模块194，智能追踪模块194根据等待判断指令控制跟踪设备处于等待状态。

步骤170为判断是否有人进入监控区域。如果超过等待时间无人进入监控区域或者没有接到被追踪人的语音指令，控制中心模块192发送控制指令给指令转换模块193，指令转换模块193把控制中心模块192发送过来的控制指令转换成返回初始状态指令并发送指令给智能追踪模块194，智能追踪模块194根据返回初始状态指令控制跟踪设备返回初始位置，继续执行步骤130。

如果有人进入监控区域，则执行步骤180，跟踪设备根据最终原则自动判断是否为被跟踪人，追踪识别模块191送信息给控制中心模块192，控制中心模块192解析并处理信息，同时发送控制指令给指令转换模块193，指令转换模块193把控制中心模块192发送过来的控制指令转换成等待判断指令并发送指令给智能追踪模块194，智能追踪模块194根据等待判断指令控制跟踪设备处于等待状态。。

如果不是被跟踪人，控制中心模块192发送控制指令给指令转换模块193，指令转换模块193把控制中心模块192发送过来的控制指令转换成继续等待指令并发送指令给智能追踪模块194，智能追踪模块194根据继续等待指令控制跟踪设备处于等待状态，继续执行步骤165。

如果是被跟踪人，控制中心模块192发送控制指令给指令转换模块193，指令转换模块193把控制中心模块192发送过来的控制指令转换成继续跟踪指令并发送指令给智能追踪模块194，智能追踪模块194根据继续跟踪指令控制跟踪设备跟踪被跟踪人，继续执行步骤160。

图2为本发明的基于自然人机交互技术的全角度人跟踪控制方法中录制教学示范课示意图。参照图2把录像设备201吊装在教室的中心顶部，在电脑202中安装跟踪系统，设定识别原则为姿势识别原则、人脸识别原则和先入锁定原则，设定追踪原则为骨骼数据追踪原则、深度数据辅助追踪原则、语音追踪原则、自动返回原则，初始监控区域为讲台附近区域。当讲课老师203进入到镜头捕捉区域时，自动锁定讲课老师为被跟踪人。当出现任何对控制权的不确定性因素时，镜头自动回到黑板位置等候教师重新取得控制权，可自动根据讲课老师的位置调整焦距，可根据讲课老师的语音指令调整跟踪动作。不受环境光明暗的影响，即使只有微弱的光线，仍可以精准追踪。

图3为本发明的基于自然人机交互技术的全角度人跟踪控制方法中远程视频会议示意图。参照图3把录像设备301平放在会议室的桌子上，在电脑302中安装跟踪系统，设定识别原则为姿势识别原则、动作识别原则和人脸识别原则，设定追踪原则为骨骼数据追踪原则、语音追踪原则，初始监控区域为主座位周边区域。当公司领导303进入到镜头捕捉区域时，自动锁定领导为被跟踪人。可实时跟踪公司领导的步伐，使领导始终处于镜头的中心，可自动根据公司领导的位置调整焦距，使画面始终保持清晰。

图4为本发明的基于自然人机交互技术的全角度人跟踪控制方法中远程视频互动教学示意图。参照图4把录像设备401平放在会议室的桌子上，在电脑402中安装跟踪系统，设定识别原则为姿势识别原则、人脸识别原则和声音识别原则，设定追踪原则为骨骼数据追踪原则、语音追踪原则，初始监控区域为讲台周边区域。当讲课老师403进入到镜头捕捉区域时，自动锁定讲课老师为被跟踪人。当远程教学开始后，视频信号通过网络404传输到听课学生405听课场所的电脑上408，并通过投影仪407投影到大屏幕上409。可根据网络贷款自动调整传输视频的分辨率。在网速较低时，自动降低视频的分辨率，牺牲画质，以减少画面丢帧，保证画面的流畅。

图5为本发明的基于自然人机交互技术的全角度人跟踪控制方法中课程录播示意图。参照图5把录像设备501平放在会议室的桌子上，在电脑502中安装跟踪系统，设定识别原则为姿势识别原则、人脸识别原则和声音识别原则，设定追踪原则为骨骼数据追踪原则、语音追踪原则，初始监控区域为讲台周边区域。。当讲课老师503进入到镜头捕捉区域时，自动锁定讲课老师为被跟踪人。课程录制结束后，通过网络504上传到云服务器505。听课学生506通过网络在线或者下载云服务器上的课程视频，在个人电脑507上观看。