基于Transformer的神经网络手语分类识别方法

摘要

本发明属于手语识别技术领域，特别涉及一种基于Transformer的神经网络手语分类识别方法，其特征在于，包含以下具体步骤：1）手语采集模块，用于收集人体所做出手语动作的RGB视频；2）数据处理模块，由数据预处理和网络模型两部分组成，对孤立手语的识别分类，所述数据预处理模块对身体特征点和帧数一起提取；对提取结束的包含时空特点的关节点特征数据传入transformer神经网络模型进行处理；3）输出模块，由网络预测的前五个中选取分数最高的输入到文本中进行显示。本发明可以做到实时和无需佩戴以及使用特殊设备即可实现生成手语文本，可以更好地适应日常聋哑人士的使用。