基于特征融合的双模态低辨识度目标识别

摘要

针对单一彩色相机对低辨识度目标识别准确率低的问题,提出了一种利用彩色相机和红外热成像仪同时检测自动驾驶目标的方案.为了同时提取彩色图像的颜色特征与红外图像的温度特征,在单模态YOLOv3网络基础上改进网络结构得到双模态YOLOv3神经网络,并设计四种特征融合对比实验以确定最佳融合方案;建立双模态数据集同步采集系统,采集彩色图像与红外图像对并用于双模态网络的训练与测试;使用未经网络训练的验证集得到4种双模态特征融合模型的平均精度值与损失值.实验结果表明,在训练30次后,该双模态网络模型的平均精度值最高可达59.42％.