基于多模态智能机器人的交互身份鉴别与跟踪方法及系统

摘要

本发明属于智能机器人领域，具体涉及用于智能对话机器人的多模态的鉴别和跟踪交互者身份的方法，尤其涉及基于多模态智能机器人的交互身份鉴别与跟踪方法及系统。基于多模态智能机器人的交互身份鉴别与跟踪方法，包括：采集交互对象的多通道信息；采用深度神经网络提取激活特征，构成多通道交互信息的多模态特征；采用跨模态概率认知的集成学习，对人脸图像特征和声纹特征进行身份鉴别；对由跨模态属性鉴别出的交互者身份进行注册和跟踪。基于多模态智能机器人的交互身份鉴别与跟踪系统，包括：多通道信息采集模块；多模态特征提取模块；跨模态身份鉴别模块；交互对象注册跟踪模块。本发明可解决单模态信息缺失，无法识别和跟踪交互身份问题。