基于多模态数据分析的校园暴力行为识别方法

摘要

本发明提供了基于多模态数据分析的校园暴力行为识别方法，包括：采集校园区域内各监测点的数据信息进行预处理；对预处理的每个图像帧中的人物对象进行第一标定裁剪以及对场景对象进行第二标定裁剪，同时，对预处理中存在的人物对象的音频进行第一提取，对对应场景对象的音频进行第二提取；将第一标定裁剪结果与第二标定裁剪结果进行标定融合，得到若干融合图，同时将连续时刻的第一提取结果与第二提取结果进行声音融合；获取融合图的行为匹配参数以及匹配的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断人物对象是否存在校园暴力行为。通过多模态的数据分析，采用人物加场景的方式来进行判断，提高校园暴力行为识别判断的准确性。