基于注意力的毫米波雷达与视觉融合方法

摘要

针对毫米波雷达与视觉传感器融合在数据层融合时对行人和小物体的检测效果不佳,以及特征层融合时权重难以分配的问题,提出一种基于注意力的融合方法,能够有效地解决以上两个问题.首先,在数据层的空间上利用雷达的空间信息确定重点检测区域,并且突出重点检测区域的特征,形成空间上的软注意力;其次,在特征层的通道上用通道注意力权重学习方法,对融合特征权重进行分配.通过在晴天、雨天和夜间等多种光照环境下进行实验,表明该融合方法能够有效地提高检测精度和召回率.