基于LSTM与孪生网络的序列图像视觉定位技术

摘要

军事领域离不开导航技术,而定位是导航的基础.尽管目前以卷积神经网络为代表的机器学习技术,已经在有关单张图像的六自由度位姿回归方面取得显著进展,其精度达到甚至超过基于手工特征提取的传统方式.然而,单张图像的位姿回归问题只参考了场景的结构化信息,缺乏序列图像间的时序关系,导致其位姿回归的损失函数不包含时空约束,最终限制了算法定位精度.针对单张图像六自由度位姿回归缺乏时空约束的问题,依靠长短期记忆网络(LSTM)对时序关系的捕捉优势,提出一类基于LSTM与孪生网络的视觉定位技术,其综合孪生网络与LSTM各自优势,将图像间运动视差信息与位姿时序信息同时作用于位姿预测,构建从序列图像到图像各自对应六自由度位姿信息的端对端深度神经网络,并通过开源数据库和仿真数据验证了算法的准确性和精度,为军事领域的视觉定位和协同跟踪奠定了基础.