一种基于单目视觉的实时障碍物检测和定位方法

摘要

本发明提出一种基于单目视觉的实时障碍物检测和定位方法，只使用摄像头完成对障碍物的实时检测和定位(测距)，将机器视觉和深度学习结合进行端对端的障碍物的检测，并定位出障碍物在真实世界坐标系下相对于车辆的位置。为了提高检测精度，本发明提出基于时空序列信息的长短期记忆网络，将通过检测模型获得的障碍物边框位置信息和检测模型中第一层全连接层输出的M维向量组合的向量，再将这个向量输入到长短期记忆网络进行训练，网络既考虑了障碍物周边的空间信息，也考虑了过去帧的鲁棒视觉特征。通过对时空序列的学习，对障碍物检测定位获取更好的效果。