基于多视图和多模态特征的自适应动作识别方法

摘要

一种基于多视图和多模态特征的自适应动作识别方法。具体包括：视频预处理；目标运动变化过程多视图描述；等级金字塔特征提取；多视图深度和RGB模型构建；多视图模型选择，推断及多模态特征结果融合。本发明首先针对可见光图像动作识别常遇到的光照变化和阴影等困难，提出基于多视图和多模态特征进行动作识别；其次本发明针对单一视图的局限性，提出了目标运动变化过程多视图描述，它能够比较全面的捕获深度和RGB图像序列中目标的变化过程；再次本发明公开的等级金字塔特征既有空间分辨能力也有细节描述能力，具有非常好的鲁棒性和区分性；最后，根据环境光线的变化情况，自适应的进行多模态特征的融合，进一步提高动作识别方法的性能和稳定性。