基于改进和积网络的双人交互行为识别

摘要

cqvip:受到视角变化、相机移动、尺度、光线、遮挡等因素的影响,双人交互行为识别的效果往往不太理想。有效地提取特征和合理地建立交互模型是双人交互行为识别与理解的两个重要研究内容。基于深度学习的思想,直接在三维空间中构建多层神经网络,使用两层卷积叠加独立子空间分析网络提取视频的时空特征。在此基础上,提出了一种基于改进和积网络(sum product networks,SPNs)的双人行为识别算法。通过改进后的LearnSPN结构学习算法学习和积网络的结构和权重,在训练过程中对数据集进行实例划分或者变量划分直至满足划分结束条件,从而实现对双人交互行为的分类。该方法在UT、BIT-Interaction和TV-human交互数据库上进行测试,实验结果证明了该方法对双人交互行为识别的有效性,尤其对背景复杂的TV-human交互数据库效果更好。