一种LSTM与CNN相结合的步态识别方法

摘要

针对行人运动过程中拍摄视角、外观变化等因素对步态识别的影响,提出一种长短时记忆网络与卷积神经网络相结合的步态识别方法。该方法首先使用人体三维姿态估计直接获得人体关节的三维坐标;然后根据三维空间中关节之间的周期性运动约束关系,从时间和空间两个维度构建视角鲁棒的三维步态约束模型。其中,模型中的运动约束矩阵用于表征关节运动及人体结构的时序约束特征;动作特征矩阵用于表征关节位移的空间约束特征。接着针对所构建的三维步态约束模型的特点,设计了长短时记忆网络与卷积神经网络相结合的并行网络,学习运动约束矩阵和动作特征矩阵中的步态时空特征。最后,在多视角步态数据库CASIA-B中对网络模型进行了评估。实验结果表明,该方法的识别率高于一些经典的方法,而且在视角变化较大的情况下,识别率没有显著下降,说明构建的步态模型对视角变化具有较高的鲁棒性。