用于多光谱行人检测的改进光照权重融合方法

摘要

着卷积神经网络的发展,基于多光谱图像的行人检测研究取得了巨大进步,且应用广泛.最近研究表明,融合由多光谱相机(可见光和热成像相机)捕获的图像信息可以使行人在强光和弱光条件下的检测都变得鲁棒.然而,如何根据光照条件有效地融合图像信息仍缺乏进一步的研究.本文提出了一种多层次特征提取方法,旨在从不同特征层提取有用信息.同时,还提出一种置信度融合机制,测量多光谱图像的光照情况.采用一个融合函数对双流网络输出的分类结果和RPN输出的分类结果进行融合,提高行人检测的性能.通过实验将所提出的多光谱光照感知检测R-CNN(MIAD-RCNN)与现有的多光谱行人检测器进行比较,该方法在全天候均具有较低的漏检率和较快的速度.