一种基于辅助信息的盲人导航方法及装置

摘要

本发明提供一种基于辅助信息的盲人导航方法及装置。所述方法包括：获取360度范围内不同方向的视频图像；对所述视频图像进行特征提取、融合，得到图像融合特征；进一步得到多个可能预测方向；对包含辅助导航信息的文本进行特征嵌入、融合得到文本融合特征，利用交叉注意力机制对文本融合特征与图像融合特征进行交叉融合，得到跨模态融合特征向量；利用所述向量对多个可能预测方向进行选择，得到最终的导航预测方向。本发明能够在全局场景信息缺失的情况下，只依赖他人提供的辅助导航信息就能实现导航预测，拓宽了盲人导航技术的应用场景。