基于R-FCN的中国手指语识别

摘要

中国手指语的识别使听力障碍人群与听力正常人群相互交流和人机交互更加便捷.传统的手指语识别对环境背景要求较高,为了解决复杂环境下中国手指语的识别问题,构建并扩展了手指语图片训练集,提出基于改进的区域的全卷积网络R-FCN解决复杂背景下的手指语识别任务.为适应多变的复杂场景,利用在线难例挖掘技术对手指语识别过程中产生的难例进行在线学习,结合手指语特征对网络进行优化.并与SVM分类和FasterR-CNN神经网络作对比.实验结果表明,基于改进的R-FCN在复杂环境的手语识别任务上能达到较好的识别效果.