基于低秩行为信息和多尺度卷积神经网络的人体行为识别方法

摘要

针对人体行为识别中传统行为信息获取方法需要繁琐步骤和各类假设的问题,结合卷积神经网络(CNN)在图像视频处理中的优越性能,提出了一种基于低秩行为信息(LAI)和多尺度卷积神经网络(MCNN)的人体行为识别方法.首先,对行为视频进行分段,并分别对每个视频段进行低秩学习以提取到相应的LAI,然后在时间轴上对这些LAI进行连接以获取整个视频的LAI,进而有效捕获视频中的行为信息,避免了繁琐的提取步骤和各类假设.其次,针对LAI的特点,设计了MCNN模型.该模型通过多尺度卷积核获取不同感受野下的LAI行为特征,并合理设计各卷积层、池化层及全连接层来进一步提炼特征并最终输出行为类别.将所提出的方法在KTH和HMDB51两个基准数据库上进行性能验证,同时设计和进行了三组对比实验.实验结果表明,所提方法在两个数据库上分别取得了97.33％和72.05％的识别率,与双重变换(TFT)方法和深时间嵌入网络(DTEN)方法相比,识别率分别至少提高了0.67和1.15个百分点.所提方法能进一步促进行为识别技术在安防、人机交互等领域的广泛应用.