一种手模型感知的孤立词手语识别方法

摘要

本发明公开了一种手模型感知的孤立词手语识别方法，包括：对于从手语视频中截取的手序列，通过视觉编码器转换为包含手部状态的隐语义表征；之后，通过手模型感知解码器以模型感知的方式工作，将包含手部状态的隐语义表征映射为三维手网格，并得到每个手关节点位置；最后，通过推理模块对三维手网格进行优化，获得每个手关节点的时空表征，再进行分类，从而识别出手序列所对应的词汇。该方法能够融合模型与数据驱动，引入手型先验，提高系统的识别准确率，并且能够对中间结果(即三维手网格)进行可视化，增强框架的解释性。