一种问题行为检测与预警系统

摘要

本发明公开了一种问题行为检测与预警系统，包括视频监控模块、行人重识别模块、表情识别模块、行为识别模块、数据关联模块、情绪分析模块、人际关系分析模块和问题行为预警模块。通过行人重识别模块获取待检测对象身份信息与行为轨迹，通过身份信息将不同时期采取的数据加以关联；通过表情识别模块分析待检测对象的唤醒度和愉悦度；通过行为识别模块检测待检测对象的交互行为；通过行人重识别模块和行为识别模块检测待检测对象分别识别两类问题行为；根据行为轨迹、情绪和交互行为分析待检测对象的人际关系；通过问题行为预警向联系人报告有问题行为的待检测对象。本发明发展了多模态信号问题行为分析方法，有利于问题行为的早发现、早干预，可应用在幼儿园等儿童集中的场所中。

说明书

技术领域

本发明属于教育与计算机视觉交叉技术领域，更具体地，涉及一种问题行为检测与预警系统。

背景技术

3-6岁儿童绝大多数时间在幼儿园里度过，在幼儿园的学习、玩耍等各项活动中，不同的儿童会有各种各样的行为表现，这其中包含一些问题行为。问题行为，指不能遵守公认的正常儿童行为规范和道德标准，不能正常与人交往和参与学习的行为。

由于幼儿园里儿童众多，并且一些问题行为较为隐蔽，导致当班的幼教老师不能及时发现所有问题行为。因此，利用计算机视觉技术，通过对监控视频的智能分析可以发现这些问题行为，可以缓解幼教老师的工作负担。同时，问题行为预警可以及早引起家长的重视。问题行为的及时发现、干预和矫正有利于儿童的身心健康发展。此外，一些患有自闭症的特殊儿童常伴有刻板行为，尽早发现这些异常行为有利于让特殊儿童及时就医改善症状。

现有的儿童问题行为分析系统往往只关注儿童的攻击行为而忽视了儿童的刻板行为；只关注行为本身，而忽视了运动轨迹所富含的重要信息；仅单一关注个体的行为和情绪，而忽视了交互过程中的行为和情绪，以及由此产生的人际关系异常。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种问题行为检测与预警系统，发展了多模态信号儿童问题行为分析方法，有利于儿童问题行为的早发现、早干预，可应用在幼儿园等场所中。

为实现上述目的，本发明提供了一种问题行为检测与预警系统，包括：

视频监控模块，用于采集待检测对象活动的监控视频；

行人重识别模块，用于从监控视频中识别待检测对象身份并获取待检测对象活动轨迹，并从待检测对象活动轨迹中识别待检测对象第一类问题行为；

表情识别模块，用于从监控视频中识别待检测对象表情；

行为识别模块，用于从监控视频中识别待检测对象间的交互行为和第二类问题行为；

数据关联模块，用于将同一待检测对象的活动轨迹、表情和行为数据进行关联；

情绪分析模块，用于根据所述表情识别模块的输出分析待检测对象情绪；

人际关系分析模块，用于根据待检测对象活动轨迹、待检测对象间的交互行为以及待检测对象情绪来分析确定待检测对象人际关系；

问题行为预警模块，用于根据所述行人重识别模块、所述行为识别模块、所述情绪分析模块和所述人际关系分析模块的输出进行预警。

优选的，所述视频监控模块包括高清网络摄像头、计算机和交换机，所述高清网络摄像头通过网线与所述交换机电连接，所述交换机通过网线与所述计算机主机电连接，所述高清网络摄像头覆盖所有待检测对象活动场所。

优选的，所述行人重识别模块包括采用基于注意力的卷积神经网络训练的行人重识别模型，所述行人重识别模型用于识别不同视角下拍摄的同一待检测对象，所述第一类问题行为包括同一待检测对象重复相同活动轨迹的行为。

优选的，所述表情识别模块用于识别待检测对象表情的愉悦度和唤醒度。

优选的，所述行为识别模块包括采用卷积神经网络在大规模自然场景表情数据库上训练的表情识别模型，所述第二类问题行为包括踢、出拳、推、反复甩手行为、反复摇晃身体行为和打头自伤行为。

优选的，所述数据关联模块用于实现以下步骤：

为每个待检测对象分配一个独一无二的数值标记；

根据所述行人重识别模块输出的待检测对象身份，用该待检测对象身份对应的数值标记所有与该待检测对象身份关联的活动轨迹、表情和行为数据。

优选的，所述情绪分析模块用于实现以下步骤：

统计所有待检测对象在不同场所不同时间段内的表情分布均值；

检测远离表情分布均值的样本，远离表情分布均值的样本表明该样本对应的待检测对象在当前场所当前时段下未产生情绪共鸣，同一待检测对象在不同场所不同时段被检测到偏离的次数越多表明未融入集体情绪的概率越高；

统计每个待检测对象负面情绪所占的比例，负面情绪比例越高表明待检测对象存在情绪问题的可能性越大。

优选的，所述人际关系分析模块用于实现以下步骤：

构建人际关系图模型，图模型中每一个结点代表一个待检测对象，连接任意两个结点之间的边用一个权值表示该两个结点对应的两个待检测对象之间的人际关系；

用结点对应的待检测对象关联的活动轨迹、交互行为以及情绪作为特征表示结点；

按照预设赋值规则，根据结点特征预测边的权值；

统计指定结点连接的所有边的权值，根据权值统计情况判断指定待检测对象与其他待检测对象的人际关系。

优选的，将一条边连接的两个待检测对象标记为待检测对象A和待检测对象B，则所述预设赋值规则满足：

若任意时刻待检测对象A和待检测对象B都没有重叠轨迹，则为该边对应的权值赋值为0；

若待检测对象A和待检测对象B的重叠轨迹多于预设值，并且有正面情绪或正面交互行为，则为该边对应的权值赋值为正数；

若待检测对象A和待检测对象B的重叠轨迹多于预设值，并且有负面情绪或负面交互行为，则为该边对应的权值赋值为负数。

优选的，所述问题行为预警模块用于实现以下步骤：

分别设置第一类问题行为、第二类问题行为、情绪异常、人际关系异常和交互行为异常的预警阈值；

若某一类或多类数据大于设定的预警阈值时，查询该数据对应的待检测对象的电子档案中对应的联系人；

获取该数据相关的视频回放、发生频次和分析结果，并推送给对应联系人。

总体而言，本发明与现有技术相比，具有有益效果：

1.通过行人重识别技术，识别儿童的身份信息，有利于关联不同摄像头不同时期的儿童数据；同时，利用行人重识别技术记录运动轨迹能进一步用于第一类问题行为分析和人际关系分析，使得问题行为发现不在局限于行为数据和表情数据，还结合活动轨迹数据进行分析；

2.通过群体的情绪统计与个体的情绪进行比较，可以精准地发现无法融入群体情绪的儿童，有效补充了仅仅依靠个体情绪的负面性占比预判儿童存在情绪问题的片面性；

3.行为分析包含交互行为分析和问题行为分析，有机结合活动轨迹、情绪和行为三方面的数据预测儿童的人际关系，能更加全面地反映儿童可能存在的问题行为。

附图说明

图1是本发明实施例的一种问题行为检测与预警系统的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1示出了本发明一个较佳实施例。问题行为检测与预警系统，包括：01视频监控模块、02行人重识别模块、03表情识别模块、04行为识别模块、05数据关联模块、06情绪分析模块、07人际关系分析模块和08问题行为预警模块。该系统可以适用于任何待检测对象的检测，以下以儿童检测为例。

01视频监控模块，用于采集儿童活动的监控视频。

所述视频监控模块，包括高清网络摄像头，计算机和交换机。高清网络摄像头通过网线与交换机连接，交换机通过网线与计算机主机连接。

进一步地，所述高清网络摄像头，用于采集儿童在幼儿园内活动的视频数据。它的部署应尽可能覆盖所有儿童活动区域，包括教室、走廊、户外活动区域等。且每个场所应部署多个高清网络摄像头，从不同的角度采集监控数据。

进一步地，所述计算机用于集中管理摄像头，预览、保存、回放监控视频。计算机应安装实施上述功能的软件，同时配备显示器、大容量存储硬盘和高性能图形处理器GPU。

02行人重识别模块，用于从监控视频中识别儿童身份并获取儿童活动轨迹，并从儿童活动轨迹中识别儿童第一类问题行为。

进一步地，所述行人重识别模块配置采用基于注意力的卷积神经网络训练的行人重识别模型，能够识别不同视角下拍摄的同一个体，因此，可以用于不同摄像头不同时段拍摄的同一儿童的身份识别；

进一步地，在连续视频序列中识别同一行人，可以记录他的运动轨迹，从这些运动轨迹中可以推断是否存在第一类问题行为。所述第一类问题行为定义为重复按照相同的轨迹运动；

进一步地，记录所有儿童的运动轨迹，当两条运动轨迹在同一时刻重叠时，即||L

03表情识别模块，用于识别儿童表情，进一步地儿童表情具体包括愉悦度和唤醒度。愉悦度指情绪的愉悦程度，数值从低到高指示情绪从负向情绪到正性情绪的变化；唤醒度指情绪的唤醒程度，数值从低到高指示情绪从平静到兴奋的变化。

进一步地，表情识别的具体步骤为：

0301人脸检测，通过人脸检测算法定位人脸区域；

0302人脸归一化，通过特征点检测与对齐使人脸区域归一化；

优选的，人脸检测和人脸特征点检测可使用MTCNN算法，对特征点的图像坐标和模板坐标构建相似变换，利用这一变化对人脸区域进行相似变换得到归一化的人脸图像。

0303表情识别，通过表情识别算法训练的表情模型估计测试样本的表情类别。

进一步地，所述表情识别模块配置采用卷积神经网络在大规模自然场景表情数据库上训练的模型，用于识别儿童表情的愉悦度和唤醒度。

优选的，表情模型的训练可以采用公共数据集AffectNet，该数据提供了表情的唤醒度和愉悦度标注。卷积神经网络可采用ResNet18，该模型可在MS-Celeb-1M人脸识别数据集上进行预训练。

04行为识别模块，用于从监控视频中识别儿童间的交互行为和第二类问题行为。

进一步地，所述行为识别模块配置采用深度学习方法训练的行为识别模型，用于识别儿童的交互行为和第二类问题行为。

进一步地，所述交互行为包括握手、拥抱、踢、指、出拳和推；所述第二类问题行为包括踢、出拳、推、反复甩手行为、反复摇晃身体行为和打头自伤行为。交互行为包括负面交互行为和正面交互行为；负面交互行为是指具有相互攻击性的行为；正面交互行为是指友善和谐的交互行为。

优选的，交互行为识别模型的训练可在UT-Interaction和SBU公共数据集上训练得到，UT-Interaction包含6个交互动作类型，包括握手、拥抱、踢、指、出拳和推；SBU有8种交互类型动作，包括接近、离开、推、踢、打、交接、拥抱和握手。行为识别可采用3DCNN网络在数据集上训练得到。

05数据关联模块，用于将同一儿童的多模态数据进行关联。

进一步地，所述儿童多模态数据包括活动轨迹、情绪和行为。

关联的具体步骤为：

0501为每个儿童分配一个独一无二的数值标记k；

0502根据02模块输出的儿童身份信息，用0501定义的数值标记所有关联数据，包括该儿童的活动轨迹数据、表情数据、行为数据。即不同摄像头、不同时段识别的同一儿童的所有数据均有相同的数值标记，从而使同一儿童的数据相互关联。

06情绪分析模块，用于根据表情识别模块的输出分析儿童情绪。

进一步地，情绪分析包括以下具体步骤：

0601统计所有儿童在不同场所不同时间段内的表情愉悦度和表情唤醒度的分布，并计算分布的均值；

0602检测远离分布均值的样本，远离分布均值的样本表明该样本对应的儿童在当前场所当前时段下未产生情绪共鸣，不同场所不同时段被检测到偏离的次数越多表明未融入集体情绪的概率越高；

0603统计每个儿童负面情绪所占的比例，负面情绪比例越高表明儿童存在情绪问题的可能性越大。

07人际关系分析模块，根据儿童活动轨迹、儿童间的交互行为以及儿童情绪来分析确定儿童人际关系，具体是根据儿童的活动轨迹以及同一时刻重叠活动轨迹下的情绪和交互行为估计两个儿童间的人际关系。

进一步地，所述行为轨迹数据由02模块提供，情绪数据由06模块提供，交互行为数据由04模块提供；

进一步地，人际关系分析包括以下具体步骤：

0701构建人际关系图模型，对可能有交互的所有儿童(例如同班所有儿童)构建人际关系图，图中每一个结点代表一个儿童，连接任意两个结点之间的边用一个权值表示该两个结点对应的两个儿童之间的人际关系；

0702结点特征表示，用一系列与人际关系相关因素作为特征表示结点，所述相关因素包括，活动轨迹以及活动轨迹重叠时的情绪状态和行为；

0703根按照预设赋值规则，根据结点特征预测边的权值。

具体的，将一条边连接的两个儿童标记为儿童A和儿童B，预设赋值规则满足：若儿童A和儿童B任意时刻都没有重叠轨迹，即任意时刻儿童A的位置和儿童B的位置距离均大于有效社交距离，则为该边对应的权值赋值为0；若儿童A和儿童B的重叠轨迹多于预设值，并且有正面情绪或正面交互行为，则为该边对应的权值赋值为正数，并且该数值越大代表人际关系越好；若儿童A和儿童B的重叠轨迹多于预设值，并且有负面情绪或负面交互行为，则为该边对应的权值赋值为负数，并且该数值越小代表人际关系越差。

0704统计指定结点连接的所有边的权值，根据权值统计情况判断指定儿童与其他儿童的人际关系。

0705重复0704，统计所有儿童的人际关系状况。

08问题行为预警模块，用于根据行人重识别模块、行为识别模块、情绪分析模块和人际关系分析模块的输出进行预警，可以向幼教老师及家长报告有问题行为的儿童。

进一步地，问题行为预警包括以下具体步骤：

0801分别设置第一类问题行为、第二类问题行为、情绪异常、人际关系异常和交互行为异常的预警阈值；

0802当某一类或多类问题行为大于设定的预警阈值时，查询该数据对应的儿童的电子档案中对应的联系人，例如带班教师和家长的微信联系方式；

0803将相关问题行为的相关的视频回放、发生频次和相关分析结果推送给对应联系人。

必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。