一种基于视频的行人与人群行为识别方法

摘要

本发明公开了一种基于视频的行人与人群行为识别方法，整个框架包括单人肢体部位网络、单人整体及肢体联合网络、多人网络。该框架旨在以端到端的方式共同学习联合共现和时间演进，通过利用CNN全局聚合的能力，可以简单有效地利用CNN模型学习骨架序列信息的联合共现特征。在该方法中独立地学习每个关节的点级特征，然后将每个关节的特征视为卷积层的通道，以学习层次共生特征。最关键的是在设计的单个行人行为识别联合网络结构中采用多部位的肢体网络特征融合到单个行人运动特征中加强单个行人的行为识别。此外，在设计的人群交互行为识别网络中，利用单人行为特征加强群体行为的特征，群体行为涉及多个人的行为有拥抱和握手等活动。