融合SURF与sEMG特征的手语识别研究

摘要

通过Kinect设备获取手语者手部的深度图像信息和彩色图像信息,采用阈值分割法有效滤除手语者所处环境中复杂的前景及背景信息;同时通过MYO臂环获取手语者的表面肌电信号信息以此来捕捉手语者微小的指尖动作信息,这样能够有效补充摄像头所拍摄不到的被遮挡的信息.把由Kinect获得的手语图像信息通过形态学处理方法提取其SURF特征后对其进行聚类生成合适大小的词袋模型(BOF-SURF),并用视觉词频向量表示手势语的局部特征,将其与MYO臂环获取的表面肌电信号(sEMG)特征进行融合,然后由SVM分类器通过五倍交叉验证的方法对手语库中手语进行学习和识别.实验结果表明,该方法既高效又具有很高的识别率,对30个中国手指语的最好识别正确率均可达97％左右.