一种家庭服务机器人云端多模态对话方法、装置及系统

摘要

本发明公开了一种家庭服务机器人云端多模态对话方法、装置及系统，该方法包括：实时接收用户语音信息和场景图像信息；将用户语音信息转化为文字信息，进行分词和命名实体识别处理，确定对话类型；将场景图像信息进行预处理；筛选预处理图像信息和处理后的文字信息，加入增量知识库，在对话服务负载率小于阈值时进行模型增量训练，更新对话服务模型；对预处理图像信息和/或处理后的文字信息分别进行场景感知、用户感知和情感感知，获取场景感知信息、用户感知信息和情感感知信息；根据不同的对话类型，将处理后的文字信息结合场景感知信息、用户感知信息和/或情感感知信息，通过对话服务模型，生成用户和机器人交互的对话信息。