一种基于多模态信息融合的排球群体行为识别方法

摘要

一种基于多模态信息融合的排球群体行为识别方法应用于计算机视觉群体行为识别领域。由于在体育分析，自动视频监控系统，人机交互应用，视频推荐系统等方面的广泛应用，群体行为识别任务备受关注。对于多人场景中的群体行为识别，目标之间以及目标和运动模式之间的关系建模能够提供有判别力的视觉线索。本发明旨在利用将图像目标间的关系以及运动模式作为多模态信息引入，然后利用序列模型GRU对这些信息进行有效编码和全局推理。最后，基于注意力机制，从时域角度整合了推断模块的得到的信息并获取最终结果。该方法实现了针对排球数据集中的群体行为识别，并通过测试验证了方法可行性，具有重要应用价值。