一种粗颗粒度指令识别方法和装置

摘要

本发明公开了一种粗颗粒度指令识别方法和装置，包括：接收用户输入的视频数据和指令音频；使用已训练实例分割模型从所述视频数据提取物体特征矩阵；使用已训练语音模型从所述指令音频提取粗颗粒度指令特征矩阵；对所述物体特征矩阵和所述粗颗粒度指令矩阵进行拼接，生成融合特征；将所述融合特征输入到已训练推理分类模型，输出细颗粒度指令组。有效提高粗颗粒度指令识别的灵活性，降低工作量。