基于手势特征融合的操作动作识别

摘要

针对动态复杂场景下的操作动作识别,提出一种基于手势特征融合的动作识别框架,该框架主要包含RGB视频特征提取模块、手势特征提取模块与动作分类模块.其中RGB视频特征提取模块主要使用I3D网络提取RGB视频的时间和空间特征;手势特征提取模块利用Mask R-CNN网络提取操作者手势特征;动作分类模块融合上述特征,并输入到分类器中进行分类.在EPIC-Kitchens数据集上,提出的方法识别抓取手势的准确性高达89.63％,识别综合动作的准确度达到了74.67％.