一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法

摘要

本发明公开了一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法，所述方法包括：接收激光雷达采集的点云和相机采集的RGB图像；将点云数据输入三维检测器得到三维检测结果；将RGB图像和三维检测结果不断输入预先建立和训练好的端到端多目标跟踪网络，实时更新跟踪器，循环完成目标跟踪；所述端到端多目标跟踪网络，用于基于RGB图像和三维检测结果，并结合上一帧轨迹的运动特征和外观特征，分别建立运动关联矩阵和外观关联矩阵进行轨迹和检测的关联，并结合遮挡情况更新跟踪器实现目标跟踪。本发明的方法有效地融合了多源信息，并考虑到图像中目标容易存在遮挡，构建了遮挡网络进一步优化外观特征，提高了多目标跟踪算法的准确性。