一种基于计算机视觉的手语翻译系统

摘要

本发明属于手语翻译领域，具体公开了一种基于计算机视觉的手语翻译系统，包括语义库模块、坐标处理模块、数据处理模块、参考系模块、交叉训练模块与采集识别模块，所述语义库模块用于构建语义库，搜集各手语动作，并分析每个动作的关键特征，并以此特征录制视频数据；所述坐标处理模块与语义库模块连接，坐标处理模块关联有openpose模型，openpose模型内左右手各设有21个关键点，坐标处理模块利用openpose模型对每个动作的视频数据进行处理，并获取所述关键点在视频画面中的坐标，并逐帧将画面的点坐标输出，且每个动作得到若干对应的json文件。本发明翻译效率高，通过抽取处理的方式，大幅提高了识别效率，同时采用多帧采集的方式极大地提高了识别的准确度。