首页> 中国专利> 基于室内人员定位和行为感知的非入侵安防方法及系统

基于室内人员定位和行为感知的非入侵安防方法及系统

摘要

本发明公开了一种基于室内人员定位和行为感知的非入侵安防方法及系统,包括数据采集模块、身份识别与标定模块、人员定位与追踪模块、人员行为感知模块、危险预警与可视化展示模块以及人员身份、位置状态和行为状态数据库更新模块;能够实时对智能楼宇进行安防监控、处理、更新和反馈,实现对楼内人员的身份识别与标定、定位与追踪以及行为感知,在此基础上实现非入侵安防系统的预警功能,即对人员高密度聚集预警和危险动作预警,和可视化展示功能,即对智能楼宇内人员轨迹在可视化平台进行展示。

著录项

  • 公开/公告号CN112866919A

    专利类型发明专利

  • 公开/公告日2021-05-28

    原文格式PDF

  • 申请/专利权人 西安交通大学;

    申请/专利号CN202110010087.0

  • 申请日2021-01-05

  • 分类号H04W4/029(20180101);H04W4/33(20180101);H04W8/18(20090101);G08B13/196(20060101);G06K9/00(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构61200 西安通大专利代理有限责任公司;

  • 代理人王艾华

  • 地址 710049 陕西省西安市咸宁西路28号

  • 入库时间 2023-06-19 11:06:50

说明书

技术领域

本发明属于智能楼宇安防领域,特别涉及室内人员身份标定、定位和行为感知的非入侵安防方法及系统。

背景技术

随着通信技术与计算机技术的快速发展,现代智能楼宇逐渐实现信息与建筑物理系统高度融合。与此同时智能楼宇的安防系统也逐渐智能化,向着非入侵、具有记忆功能的智能安防系统发展。而智能楼宇内人员安全是安防系统的一个重要部分,对人员进行实时而准确的身份识别标定、定位和行为感知,能够实现对智能楼宇内人员进行实时危险区域预警、高密度聚集预警以及高人流预警,并对危险人员进行预警。智能化的非入侵安防系统成为目前智能楼宇和智能家居的大趋势,将中央服务器作为数据处理中心,对来自安防摄像头系统、智能路由系统和传感器系统的数据进行统筹处理,将数据处理结果可视化展示在安防系统平台上,并实现历史数据库的更新,使得安防系统具有记忆性。

但是,以往安防系统仅仅由安防摄像头系统作为唯一的数据来源,并且数据处理和安防预警需要人工参与,对危险的预警具有严重的迟滞性;还有一些楼宇内的安防系统需要人员佩戴额外的设备作为定位信标等,为用户带来极大不便;即使有一些现代智能楼宇内的安防系统逐渐智能化,但是仅仅还是对实时数据的实时处理、展示和预警,不具有自我更新的记忆性。

发明内容

本发明提供一种基于室内人员定位和行为感知的非入侵安防方法及系统,以解决上述现有技术中没有考虑到的智能楼宇安防系统的技术多元性、安防非入侵性和系统记忆性。本系统能够实现人员身份识别与标定、人员定位与追踪、人员行为感知和基于人员位置信息的人员聚集与流动分析预警。

为了实现上述目的,本发明采用的技术方案是:

基于室内人员定位和行为感知的非入侵安防方法,包括以下步骤:

S1、数据采集:智能路由系统采集用户的电子设备访问数据,安防摄像头系统采集监控视频;建立楼宇内地图坐标系;

S2、身份识别与标定:根据S1采集到的电子设备访问数据和室内监控视频,对室内人员身份进行识别和标识,将室内人员划分为:楼内人员、有访问记录的访客和新访客三类;

S3、人员定位与追踪以及人员行为感知:根据S1建立的楼宇内地图坐标系,对S2划分的三类人员分别进行定位和行为感知,得到室内所有人员的位置和行为状态;

S4、危险预警和可视化展示:根据S3得到的室内所有人员的位置和行为状态,判断是否存在危险,若存在则进行预警。

进一步的,S1包括以下步骤:

SA1、以非入侵的方式采集用户的电子设备访问数据,包括用户电子设备的物理地址、信号强度;

SA2、通过IP地址获取安防摄像头系统的实时监控视频数据;

SA3、建立楼宇的地图坐标系,按照设定距离划分位置坐标块。

进一步的,S2包括以下步骤:

SB1、人员身份数据库初始化,为楼宇内每个人员创建人员身份数据库,该数据库包括该人员的人脸特征向量和电子设备的物理地址;

SB2、根据室内监控视频进行人脸识别,通过用户电子设备访问数据进行访客设备MAC地址识别;

SB3、结合人脸识别结果和MAC地址识别结果,对楼宇内人员的身份标定。

进一步的,S3中,定位过程包括以下步骤:

SC1、为楼宇内每个人员创建人员位置数据库,该数据库包括不同时刻该人员的身份标识和位置状态;

SC2、对楼内人员,基于数据采集模块采集到的用户的电子设备访问数据,采用图嵌入回归神经网络算法得到楼内人员的位置状态;

SC3、对有访问记录访客,基于数据采集模块采集到的用户的电子设备访问数据,采用图嵌入回归神经网络算法和基于数据采集模块采集到的监控视频,采用地标定位法,对有访问记录访客的定位追踪,得到有访问记录访客的位置状态;

SC4、对新访客,基于监控视频,采用实时多人追踪算法MOTDT实现对新访客的定位追踪,得到新访客的位置状态。

进一步的,SC2和SC3中的图嵌入回归神经网络算法,包括离线训练模型阶段和在线定位阶段:

离线训练模型阶段包括以下步骤:

SC201、按楼宇内地图坐标系对每个位置坐标块进行编号,(1,1)、(1,2)、(1,3)···(2,1)、(2,2)、(2,3)···;在每个位置坐标块,采集实验电子设备的物理地址和信号强度;

SC202、提取实验电子设备的物理地址和信号强度的特征向量,通过对采集到的实验电子设备的物理地址和信号强度分析,用信号趋势指数STI与数据间隔interval作为训练回归神经网络的特征向量;设智能路由系统有n台智能路由器采集数据,提取的特征向量如下:[RSSI

其中RSSI

信号趋势指数STI计算方法如下:

1)对一组实验数据求取平均值

其中,RSSI

2)计算该组数据的信号趋势指数STI,

STI

其中,STI

数据间隔interval,计算公式为:

interval

其中interval

SC203、通过SC201中得到的位置坐标块编号,将位置坐标块作为图的节点;根据现实地图来判断相邻节点node

SC204、图嵌入回归神经网络模型训练,图嵌入回归神经网络模型结构为:十层的全连接层,损失函数为图嵌入下的欧氏距离函数,输入为SC202提取的每个位置坐标块的特征向量,输出为对应的位置坐标块的坐标(x,y),通过梯度下降优化训练得到本发明所提出的图嵌入回归神经网络模型;

在线定位阶段:提取用户电子设备的物理地址和信号强度的特征向量,将用户电子设备的物理地址和信号强度的特征向量带入SC204得到的图嵌入回归神经网络模型中,得到楼内人员的位置坐标。

进一步的,S3中,行为感知包括以下步骤:

S301、对于楼内人员和有访问记录访客,基于用户的电子设备访问数据,采用LSTM行为状态分类器模型,得到楼内人员和有访问记录访客的状态;然后基于监控视频,采用视觉领域的动作识别算法对楼内人员或有访问记录访的行为感知;

S302、对新访客,基于数据采集模块采集到的监控视频,采用计算机视觉领域的动作识别算法对新访客的行为感知。

进一步的,S301中,LSTM行为状态分类器模型,包括以下步骤:

S30101)、离线实验:通过采集一台实验设备在不同使用状态下的电子设备访问数据,计算实验设备在不同使用状态下每十分钟采集到的电子设备访问数据量,记为数据采集频率;

S30102)、提取特征向量:将数据采集频率划分为数据采集频率标识1,2,3,······,将数据采集频率标识作为特征向量;

S30103)、建立LSTM行为状态分类器模型,将数据采集频率标识特征向量作为模型的输入,将用户的行为状态作为输出,训练得到LSTM行为状态分类器模型。

进一步的,S4包括以下步骤:

S401)、对楼宇内所有人员的位置状态进行k均值聚类算法分析,得到楼宇内所有人员的聚集密度p;设定高密度聚集阈值,若聚集密度p大于设定的高密度聚集阈值,则对人员高密度聚集进行危险预警;根据人员行为感知模块得到的楼宇内所有人员的行为状态,对危险动作进行预警;

S402)、根据楼宇内所有人员的位置状态,在可视化平台上按固定时间间隔对人员位置进行更新,实现人员轨迹可视化展示;其中楼内人员、有访问记录的访客和新访客采用不同的颜色。

基于室内人员定位和行为感知的非入侵安防系统,包括:

数据采集模块,包括智能路由系统和智能摄像头系统,用于采集楼宇内人员的电子设备访问数据和视频访问数据;数据采集模块的输出端与身份识别与标定模块的输入端连接;

身份识别与标定模块,用于通过数据采集模块采集到的监控视频和电子设备访问数据,对进入楼宇内的人员进行身份识别和标定,将楼宇内人员划分为多种类型,其输出端和人员定位与追踪模块的输入端以及人员行为感知模块的输入端连接;

人员定位与追踪模块,用于对身份识别与标定模块得到的不同类型人员,进行人员定位与追踪,得到各类型人员的在楼内的位置状态;

人员行为感知模块,用于对身份识别与标定模块得到的不同类型人员进行行为感知,得到不同类型人员在楼内的行为状态;

危险预警与可视化展示模块,用于不同类型人员的位置状态和行为状态,对室内人员高密度聚集预警,危险动作预警以及对楼宇内人员轨迹的可视化展示;其输入端与人员定位与追踪模块的输出端以及人员行为感知模块的输出端连接。

进一步的,人员定位与追踪模块和人员行为感知模块的输出端均与人员身份、位置状态和行为状态数据库更新模块的输入端连接;人员身份、位置状态和行为状态数据库更新模块用于根据身份识别与标定模块得到的人员身份数据,人员定位与追踪模块得到的人员位置状态数据以及人员行为感知模块得到的人员行为状态数据,实现对数据库的更新。

与现有技术相比,本发明具有以下有益效果:

本发明所述的非入侵安防系统,能够实时对智能楼宇进行安防监控、处理、更新和反馈,实现对楼内人员的身份识别与标定、定位与追踪以及行为感知,在此基础上实现非入侵安防系统的预警功能,即对人员高密度聚集预警和危险动作预警,和可视化展示功能,即对智能楼宇内人员轨迹在可视化平台进行展示。

本发明的系统,实现简单,计算复杂度低,由于本发明利用楼宇内普遍安装的安防摄像头和WiFi路由器采集所需要的数据,不需要增加其他硬件设备,不需要智能楼宇内人员佩戴额外的设备或者下载APP,就可以实现对楼内人员的身份识别、定位和行为感知,从而实现非入侵安防。不依赖于种类繁杂的传感器,实现简单,硬件成本低;

相比一般的安防系统,本发明的系统不仅采用安防摄像头,而且采用了智能楼宇内的路由器和传感器设备,安防技术多元化,利用计算机视觉领域的人脸识别和动作识别技术和通信领域的WiFi设备物理地址识别和人员行为感知技术进行联合安防,比起目前的单一的安防摄像头系统,安防技术更加丰富和完整;安防系统实时性强、智能化和具有记忆功能,本发明提供一种新的安防系统结构和基于安防摄像头和路由器实现智能安防的算法,实现对不同身份类型的人员的身份识别与行为感知,从而实现个人针对性强的楼宇安防,安防系数高,具有实际应用的优势。

进一步的,安防系统更加实时性和智能化,通过中央服务器对智能摄像头系统和智能路由系统采集到的实时的用户视频访问数据和电子设备访问数据进行处理,得到实时的反馈结果,比起之前人工监督和录像复查的迟滞性安防系统,安防更加实时和智能化。

进一步的,人员身份、位置状态和行为状态数据库更新模块作为反馈环节,为智能楼宇内所有人建立人员身份数据库,人员位置数据库和人员行为数据库,并不断更新,实现安防系统的记忆性,更加智能化。

本发明所述的方法,基于智能路由系统的图嵌入回归神经网络算法与基于智能路由系统的LSTM行为状态分类器模型,可以根据室内智能路由系统采集到的电子设备访问数据,对人员进行非入侵定位与行为感知,所述的基于安防摄像头系统的人脸识别、目标检测、多目标跟踪和动作识别等计算机视觉算法,可以根据应用场景选择不同的算法。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是本发明的智能楼宇人员身份标定、定位和行为感知的非入侵安防系统的框架图;

图2是本发明的智能楼宇人员身份标定、定位和行为感知的非入侵安防系统中信息流图;

图3是数据采集模块的流程图;

图4是身份识别与标定模块的流程图;

图5是人员定位与追踪模块的流程图;

图6是人员行为感知模块的流程图;

图7是危险预警与可视化展示模块的流程图;

图8是楼内人员的定位追踪子模块的图嵌入回归神经网络算法流程图;

图9是LSTM行为状态分类器模型流程图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明,旨在对本发明提供进一步的详细说明。除非另有指明,本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式,而并非意图限制根据本发明的示例性实施方式。

请参阅图1所示,本发明提供室内人员身份标定、定位和行为感知的非入侵安防系统,具体包括数据采集模块、身份识别与标定模块、人员定位与追踪模块、人员行为感知模块、危险预警与可视化展示模块和人员身份、位置状态和行为状态数据库更新模块。

其中数据采集模块的输出端连接身份识别与标定模块输入,身份识别与标定模块的输出端分别连接人员定位与追踪模块的输入端和人员行为感知模块的输入端,人员定位与追踪模块和人员行为感知模块的输出端连接位置状态和行为状态数据库更新模块的输入端以及危险预警与可视化展示模块输入,位置状态和行为状态数据库更新模块的输出端连接至身份识别与标定模块,实现系统的动态、实时、自更新性,危险预警与可视化展示模块的输出为实时的安防预警和可视化的人员轨迹。数据采集模块,包括预先布置在智能楼宇的用于数据采集的若干台智能路由器,和安防摄像头;考虑数据采集的全面覆盖和采集设备的高利用率的特性,通过对智能路由器进行合理布点组成智能路由系统,同时对安防摄像头进行合理布点组成安防摄像头系统;通过安防摄像头系统采集用户的视频访问数据,通过智能路由系统采集用户的电子设备(手机,平板和电脑等)访问数据(用户电子设备的物理地址、信号强度)。

身份识别与标定模块,用于通过数据采集模块采集到的用户的视频访问数据和电子设备访问数据,对进入楼宇内的人员进行身份识别和标定;身份识别与标定模块包括份识别模块和身份标定模块,身份识别模块包括基于用户视频访问数据的人脸识别、比较和存储和基于用户电子设备访问数据的访客设备MAC地址识别、比较和存储;其中身份标定模块,根据身份识别的结果,将楼宇内人员划分为三种类型:楼内人员、有访问记录的访客、新访客。

人员定位与追踪模块,用于对身份识别与标定模块得到的三种类型人员(楼内人员、有访问记录的访客和新访客)进行人员定位与追踪,之所以对不同类型的人员要分别进行定位与追踪,是因为对于三种类型人员,所能获取到的数据源不同;人员定位与追踪模块包括楼内人员的定位追踪子模块、有访问记录访客的定位追踪子模块和新访客的定位追踪子模块;通过楼内人员的定位追踪子模块实现对楼内人员的定位追踪,通过有访问记录访客的定位追踪子模块实现对有访问记录访客的定位追踪,通过新访客的定位追踪子模块实现对新访客的定位追踪;得到身份识别与标定模块得到的三种类型人员的在楼内的位置状态。

其中楼内人员的定位追踪子模块,基于数据采集模块采集到的用户的电子设备访问数据,采用本发明提出的图嵌入回归神经网络算法实现对楼内人员的定位追踪;对于有访问记录访客的定位追踪子模块,基于数据采集模块采集到的用户的电子设备访问数据,采用本发明提出的图嵌入回归神经网络算法和基于数据采集模块采集到的用户的视频访问数据,采用地标定位法,两种方法融合实现对有访问记录访客的定位追踪;对于新访客的定位追踪子模块,基于数据采集模块采集到的用户的视频访问数据,采用实时多人追踪算法MOTDT实现对新访客的定位追踪。

人员行为感知模块,用于对身份识别与标定模块得到的三种类型人员进行人员行为感知;其中人员行为感知模块包括楼内人员的行为感知子模块、有访问记录访客的行为感知子模块和新访客的行为感知子模块;通过楼内人员的行为感知子模块实现对楼内人员的行为感知,通过有访问记录访客的行为感知子模块实现对有访问记录访客的行为感知,通过新访客的行为感知子模块实现对新访客的行为感知;最终得到身份识别与标定模块得到的三种类型人员在楼内的行为状态(例如行走,奔跑和坐着等)。

对于楼内人员和有访问记录访客的行为感知子模块,基于数据采集模块采集到的用户的电子设备访问数据,采用本发明提出的LSTM行为状态分类器模型,得到用户的行为状态;对于新访客的行为感知子模块,基于数据采集模块采集到的用户的视频访问数据,采用计算机视觉领域的动作识别算法(例如kinect算法),实现对新访客的行为感知;

危险预警与人员轨迹可视化展示模块,用于根据人员定位与追踪模块得到的智能楼宇内所有人员的位置状态和人员行为感知模块得到的智能楼宇内所有人员的行为状态,实现对智能楼宇内人员高密度聚集预警,危险动作预警以及对智能楼宇内人员轨迹的可视化展示;其中危险预警与可视化展示模块主要包括危险预警子模块和人员轨迹可视化展示子模块;通过危险预警子模块,对智能楼宇内所有人员的位置状态进行聚类分析,得到智能楼宇内所有人员的聚集情况,实现对人员高密度聚集进行预警;通过危险预警子模块,根据人员行为感知模块得到的智能楼宇内所有人员的行为状态,实现对危险动作预警;通过人员轨迹可视化展示子模块,根据人员定位与追踪模块得到的智能楼宇内所有人员的位置状态,在可视化平台上按固定时间间隔对人员位置进行更新,实现人员轨迹可视化展示。

人员身份、位置状态和行为状态数据库更新模块作为非入侵安防系统的反馈环节,用于赋予智能楼宇非入侵安防系统记忆性,根据身份识别与标定模块得到的人员身份数据,人员定位与追踪模块得到的人员位置状态数据以及人员行为感知模块得到的人员行为状态数据,实现对数据库的更新,使得智能楼宇非入侵安防系统具有记忆性。

请参阅图2所示,室内人员身份标定、定位和行为感知的非入侵安防系统信息流为:数据采集模块111、中央服务器以及可视化展示子模块与危险预警子模块114;数据采集模块111包括智能路由系统和智能摄像头系统,用于采集智能楼宇内人员的电子设备访问数据和视频访问数据;中央服务器包括处理单元112和人员身份、位置状态和行为状态数据库更新模块,处理单元112包括身份识别与标定模块、人员定位与追踪模块、人员行为感知模块,处理单元112对数据进行处理得到人员的身份,位置状态和行为状态数据,存储单元113对处理单元的输出用数据库存储并实时更新;可视化展示子模块与危险预警子模块114对人员轨迹可视化展示、对人员高密度聚集预警、对危险动作预警。

一种非入侵安防方法,包括以下步骤:

S1、数据采集:智能路由系统采集用户的电子设备访问数据,安防摄像头系统采集室内监控视频;对智能楼宇的地图建立坐标系;

S2、身份识别与标定:根据S1采集到的电子设备访问数据和室内监控视频,对室内人员身份进行识别和标识,将室内人员划分为:楼内人员、有访问记录的访客和新访客三类;

S3、人员定位与追踪:对步骤2划分的三类人员分别极性定位和行为感知,得到室内所有人员的位置和行为感知;

S4、危险预警和可视化展示:根据S3得到的室内所有人员的位置和行为感知结果,判断是否存在危险,若存在则进行预警。

请参阅图3所示,数据采集模块获取数据的过程,包括以下步骤:

S001)、智能路由系统数据采集,通过对智能楼宇内部署的智能路由器,按智能路由器的信号衰减规律(信号强度随着距离的增加而衰减)进行布点,组成智能路由系统;智能路由器由主要包括两种网卡,一种是数据采集网卡(用于采集用户的电子设备的访问数据),另一种是网络通信网卡(用于提供给用户电子设备进行网络通信);将智能路由系统的数据采集网卡设置为监听模式,可以非入侵(不需要用户参与的方式)采集用户的电子设备访问数据,包括用户电子设备的物理地址、信号强度;并将采集到的数据通过无线通信协议(http协议)传输到中央服务器;

S002)、安防摄像头系统数据采集,对智能楼宇内部署的安防摄像头,按全面覆盖的原则进行布点,组成安防摄像头系统;安防摄像头系统中每一个安防摄像头都有各自的IP地址,中央服务器通过IP地址获取安防摄像头系统的实时监控视频数据;

S003)、基于智能楼宇的地图信息建立坐标系,将地图的左下顶点作为坐标系的原点,横轴为x轴,纵轴为y轴,对智能楼宇的地图建立坐标系;为了将地图划分为位置坐标块,方便后续人员定位与追踪模块使用,每隔三米划分一个位置坐标块,从而完成对智能楼宇内地图信息的坐标系建立和位置坐标块划分。

请参阅图4所示,身份识别与标定模块的人员身份识别和标定过程,包括以下步骤:

S101)、中央服务器的人员身份数据库初始化,为智能楼宇内每个人员创建人员身份数据库,该数据库包括该人员的人脸特征向量和电子设备的物理地址;其中人脸特征向量通过身份识别与标定模块的人脸识别算法得到,用embs

S102)、身份识别子模块通过数据采集模块采集到的用户视频访问数据进行人脸识别、比较和存储和通过数据采集模块采集到的用户电子设备访问数据进行访客设备MAC地址识别、比较和存储,实现对智能楼宇内人员的身份识别,判断出智能楼宇内人员的类型;用户视频访问数据即安防摄像头拍摄到的视频;

S10201)、人脸识别,通过部署在智能楼宇出入口位置的摄像头采集到的人员的视频访问数据,进行人脸识别,得到目标人员的人脸特征向量;

S10202)、人员身份的比较,首先根据人脸识别结果,与中央服务器的人员身份数据库中存储的人脸特征向量进行比较,对目标人员的身份进行划分,如果有存储(即人员身份数据库包含该目标人员的人脸特征向量),则视频标签flag

S10203)、设备物理地址识别,通过部署在楼宇出入口位置的智能路由器采集到的用户电子设备的访问数据(用户电子设备的物理地址、信号强度),进行用户电子设备物理地址识别;根据出入口位置的智能路由器采集到的用户电子设备的访问数据,与中央服务器的人员身份数据库中存储的电子设备的物理地址进行比较,如果有存储(即人员身份数据库包含该目标人员的电子设备的物理地址),则上网标签flag

S103)、人员身份标定子模块,根据S10202和S10203中得到的flag

表1人员身份标定真值表

表1是本发明对进入智能楼宇内的人员进行身份标定的方法。通过安防摄像头系统和智能路由系统得到的人员识别结果,利用真值表进行融合标定。

请参阅图5所示,人员定位与追踪模块的人员定位与追踪过程,包括以下步骤:

S201)、中央服务器的人员位置数据库初始化,为智能楼宇内每个人员创建人员位置数据库,该数据库包括不同时刻该人员的身份标识和位置状态;

S202)、楼内人员的定位追踪子模块,基于数据采集模块采集到的用户的电子设备访问数据,采用图嵌入回归神经网络算法实现对楼内人员的定位追踪;

S203)、有访问记录访客的定位追踪子模块,基于数据采集模块采集到的用户的电子设备访问数据,采用图嵌入回归神经网络算法和基于数据采集模块采集到的用户的视频访问数据,采用地标定位法,实现对有访问记录访客的定位追踪,得到有访问记录访客的位置状态;

其中地标定位法,即根据安防摄像头系统的每个摄像头所能覆盖的区域,在S20201)中的位置坐标块中选择属于每个摄像头覆盖区域的位置坐标块;然后每个摄像头利用人脸识别和人员重识别方法,对各自所覆盖区域的人员进行定位追踪;

S204)、新访客的定位追踪子模块,基于数据采集模块采集到的用户的视频访问数据,采用实时多人追踪算法MOTDT(目前已经现有的方法)实现对新访客的定位追踪,得到新访客的位置状态。

请参阅图6所示,人员行为感知模块的人员行为感知过程,包括以下步骤:

S301)、中央服务器的人员行为数据库初始化,为智能楼宇内每个人员创建人员行为数据库,该行为数据库包括不同时刻该人员的身份标识和行为感知;

S302)、楼内人员的行为感知子模块和有访问记录访客的行为感知子模块,基于数据采集模块采集到的用户的电子设备访问数据,采用本发明提出的LSTM行为状态分类器模型,得到用户的状态(静态或者动态);然后基于数据采集模块采集到的用户的视频访问数据,采用计算机视觉领域的动作识别算法(例如kinect算法),实现对楼内人员(或有访问记录访客)的行为感知(例如行走,奔跑,坐着和挥拳等动作);

S303)、新访客的行为感知子模块,基于数据采集模块采集到的用户的视频访问数据,采用计算机视觉领域的动作识别算法(例如kinect算法)(目前已经现有的方法),实现对新访客的行为感知。

参阅图7所示,危险预警与可视化展示模块的危险预警和人员轨迹可视化展示过程,包括以下步骤:

S401)、危险预警子模块,对智能楼宇内所有人员的位置状态进行k均值聚类算法(k-means)分析,得到智能楼宇内所有人员的聚集情况,其中聚集情况通过密度p来表示;设定高密度聚集阈值,如果聚类分析结果大于设定的高密度聚集阈值,则对人员高密度聚集进行危险预警;根据人员行为感知模块得到的智能楼宇内所有人员的行为状态,实现对危险动作进行预警;

S402)、人员轨迹可视化展示子模块,根据人员定位与追踪模块得到的智能楼宇内所有人员的位置状态,在可视化平台上按固定时间间隔对人员位置进行更新,实现人员轨迹可视化展示;其中楼内人员为用绿色标识,有访问记录的访客用黄色标识,新访客用蓝色标识;

请参阅图8所示,楼内人员的定位追踪子模块的图嵌入回归神经网络算法,包括离线训练模型阶段和在线定位阶段:

其中离线训练模型阶段包括以下步骤:

S20201)、通过对S003)得到的地图坐标系和位置坐标块,按坐标系对每个位置坐标块进行编号,如(1,1)、(1,2)、(1,3)···(2,1)、(2,2)、(2,3)···;在每个位置坐标块,通过智能路由系统的每个智能路由器采集实验电子设备的访问数据,即实验电子设备的物理地址和信号强度;

S20202)、提取S20201得到的实验电子设备的物理地址和信号强度的特征向量,为了解决传统WiFi定位存在的环境动态性(相同位置,电子设备的信号强度会受环境的变化而变化)和设备异构性问题(相同位置,不同品牌的电子设备的信号强度存在差异),本发明通过对采集到的实验电子设备的物理地址和信号强度分析,提出了用信号趋势指数STI与数据间隔interval代替绝对的信号强度作为训练回归神经网络的特征向量;如果智能路由系统有3台智能路由器采集数据,那么提取的特征向量如下:

[RSSI

其中RSSI

信号趋势指数STI计算方法如下:

①对一组实验数据求取平均值

其中RSSI

②计算该组数据的信号趋势指数STI,

STI

其中STI

数据间隔interval,计算方法如下:

interval

其中interval

S20203)、图嵌入,为了解决定位结果出现穿墙和穿障碍物的现象,本发明在传统的回归神经网络算法的基础上引入了图嵌入的方法,避免穿墙和穿障碍物等不可能出现的现象;通过S20201)中得到的位置坐标块编号,将位置坐标块作为图的节点;根据现实地图来判断相邻节点node

S20204)、图嵌入回归神经网络模型训练,本发明提出的图嵌入回归神经网络模型结构为:十层的全连接层,损失函数为图嵌入下的欧氏距离函数,输入为S20202)提取的每个位置坐标块的特征向量,输出为对应的位置坐标块的坐标(x,y),通过梯度下降优化训练得到本发明所提出的图嵌入回归神经网络模型。

在线定位阶段,包括以下步骤:

将智能路由系统采集到的用户电子设备的物理地址和信号强度,提取对应的特征向量,将特征向量带入S20204)得到的图嵌入回归神经网络模型中,得到楼内人员的位置坐标。

请参阅图9所示,LSTM行为状态分类器模型,包括以下步骤:

S30201)、离线实验,通过采集一台实验设备在不同使用状态(微博,微信和视频等)下的电子设备访问数据,计算实验设备在不同使用状态下每十分钟采集到的电子设备访问数据量,记为数据采集频率;

S30202)、提取特征向量,通过分析数据采集频率与电子设备使用状态之间的映射关系,将数据采集频率按50个/10min的跨度划分为数据采集频率标识1,2,3,······,将数据采集频率标识作为特征向量;

S30203)、建立LSTM行为状态分类器模型,将数据采集频率标识特征向量作为模型的输入,将用户的行为状态(静态、动态)作为输出,训练得到LSTM行为状态分类器模型。

由技术常识可知,本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此,上述公开的实施方案,就各方面而言,都只是举例说明,并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号