一种基于关键帧的多特征融合行为识别方法

摘要

一种基于关键帧的多特征融合行为识别方法，首先，通过openpose人体姿态提取库提取视频中人体的关节点特征向量x(i)，形成序列S＝{x(1),x(2),...,x(N)}；其次，使用K‑means算法，得到最终的K个聚类中心c′＝{c′|i＝1,2,...,K}，提取距离每个聚类中心最近的帧作为视频的关键帧，得到关键帧序列F＝{Fi|i＝1,2,...,K}。然后获取关键帧的RGB信息，光流信息，骨架信息，经过处理之后输入到双流卷积网络模型中获取RGB信息和光流信息更加高级的特征表达，将骨架信息输入到时空图卷积网络模型中构建出出骨架的时空图表达特征。然后将网络的softmax输出结果进行融合，得到最终的识别结果。该过程能够很好地避免冗余帧带来的时间的消耗和准确率下降等影响，其次，更好地利用视频中信息对行为的表达，使得识别准确率进一步得到提升。