融合表面肌电信号与唇部图像的无声语音识别系统及方法

摘要

本发明公开了一种融合表面肌电信号与唇部图像的无声语音识别系统，包括：依次相连的表面肌电信号采集系统、表面肌电信号预处理系统、表面肌电信号识别模型；依次相连的唇部图像采集系统、唇部图像预处理系统、唇部图像识别模型；以及综合识别模型；综合识别模型的输入端分别与唇部图像识别模型和表面肌电信号识别模型的输出端相连，综合识别模型用于对表面肌电信号识别模型和唇部图像识别模型的预测结果进行融合并输出综合预测。本发明还公开了一种融合表面肌电信号与唇部图像的无声语音识别方法，同步采集表面肌电信号和唇部图像并进行综合预测。本发明相较于肌电信号或者唇部图像单模态信息作为输入的识别方法有着明显的精度提升。