时域注意力Dense-TCNs在多模手势识别中的应用

摘要

为增强时间卷积网络(TCNs)在时间特征提取方面的能力,提出一种基于三维密集卷积网络与改进TCNs的多模态手势识别方法.通过时空特征表示方法将手势视频分析任务分为空间分析和时间分析两部分.在空间分析中采用三维DenseNets学习短期的时空特征,在时间分析中使用TCNs提取时间特征.在此基础上引入注意力机制,使用时域维度的压缩-激励网络调整每个TCNs层特征在时间维度上的权值比重.分别在VIVA和NVGesture两个动态手势数据集上对该方法进行评价,实验结果表明,该方法在VIVA数据集上的正确率为91.54％,在NVGesture数据集上的正确率为86.37％,且与最新的MTUT方法水平相近.