触控辅助的实时语音识别系统及其同步解码方法

摘要

本发明提供一种触控辅助的实时语音识别系统及其实时语音/动作同步解码方法，其中该系统包括：触控动作检测单元，用于实时监测用户的触控操作，如果有预先定义的触控动作发生，抽取触控动作特征，该触控动作特征至少包括接触点位置坐标的时间序列，接触开始点时间和结束点时间；触控动作辨识单元，用于利用所述触控动作检测单元抽取的用户的触控动作特征对用户触控动作进行分类，得到该动作所表示的含义；语音端点检测单元，用于实时检测语音信号的有效开始点和结束点，用于启动和停止语音特征提取模块；语音特征提取单元，用于实时提取语音信号的声学特征，该声学特征用于进行语音识别；语音/动作同步解码单元，用于实时利用用户触控动作信息，对语音特征进行在线同步解码，输出语音识别结果。