一种基于深度学习的中文手语识别系统

摘要

本发明公开了一种基于深度学习的中文手语识别系统。该手语识别系统设为手语单词识别和连续手语识别两个模式，分别用于对手语动作表达的单词和句子进行识别。整个系统由数据采集模块、数据处理模块、识别模块和输出显示模块组成，其中手语单词识别模块由图卷积神经网络和三维卷积神经网络组成，连续手语识别模块由编码器‑解码器网络组成。系统通过数据采集模块采集手语动作的图像和关节数据，然后进行预处理，并将数据输入识别模块，最终输出对应的手语单词或者句子。本发明可以将手语转换为文本，促进听力障碍人士和普通人之间的沟通。本发明实用性强，稳定性高，便于推广应用。