多源信息融合的双人交互行为识别算法研究

摘要

人体及人体的运动均是三维信息,而传统的基于RGB视频的双人交互行为的特征描述方法由于缺少深度信息导致其特征描述的区分度较低.根据RGB视频和深度视频各自优点和具有的互补特性,提出一种多源信息融合的双人交互行为识别算法.该算法首先采用时空兴趣点和词袋模型结合的方法对RGB视频进行特征表示.然后采用方向梯度直方图对深度视频帧进行特征表示,并引入关键帧统计特征对深度视频进行直方图特征表示.最后,使用最近邻分类器分别对两种视频特征进行分类识别,通过加权融合两类视频的识别概率实现交互行为的识别.实验结果表明,引入深度信息可以大大提高双人交互行为识别的准确率.