基于姿态关节点的长时程快慢网络融合的行为识别方法

摘要

本发明提出了一种基于姿态关节点的长时程快慢网络融合的行为识别方法，包括如下步骤：利用图卷积网络自动捕捉空间和时序内关节点结构特征和轨迹特征的模式；通过特征拼接网络模型生成每个视频片段的整体时空特征，并按片段顺序串接形成视频的整体时空特征，然后在卷积网络的高层融合输入视频中提取的RGB特征和姿态关节点特征；将两种特征通过支持向量机分类器，经过加权融合的方式输出该视频行为的分类结果。本发明通过提取姿态关节点特征，大大减少了数据量，去除了冗余信息。同时提取长时程多帧图像序列中的时空特征来进行特征补偿，提高了视频复杂行为的识别率和鲁棒性。