多模态虚拟机器人的多模态交互方法和系统

摘要

本发明提供一种多模态虚拟机器人的多模态交互方法，其中，虚拟机器人的形象在目标硬件设备的预设显示区域中显示，所构建的虚拟机器人具备预设的角色属性，方法包括以下步骤：获取用户发送的单模态和/或多模态交互指令；调用语义理解能力、情感识别能力、视觉能力和认知能力的接口，以生成各个模态的应答数据，各个模态的应答数据与预设的角色属性相关；将各模态的应答数据融合生成多模态输出数据；通过虚拟机器人形象输出多模态输出数据。本发明采用虚拟机器人进行对话交互，一方面可以将某一形象的个体通过高模3D建模技术在人机交互界面上显示出来；另一方面可以通过虚拟形象的动画实现语音与嘴型、表情以及肢体动作自然融合的效果。