一种基于特征融合深度神经网络的多光谱行人检测方法

摘要

本发明公开了一种基于特征融合深度神经网络的多光谱行人检测方法，包括以下步骤：步骤一、分别提取多光谱图像的特征信息；步骤二、特征信息融合得到第三张量；步骤三、对第三张量进行卷积操作，得到第四张量；步骤四、改进Faster R‑CNN网络作为行人检测模型；步骤五、将第四张量输入到改进后的Faster R‑CNN算法中，输出行人检测结果。本发明结构简单、设计合理，融合可见光图像和红外图像的特征信息形成互补，采用focal loss损失函数改进Faster R‑CNN算法中RCNN的交叉熵损失函数，不仅解决正负样本不平衡的问题，而且合理度量难分类和易分类样本，采用KL loss损失函数改进Faster R‑CNN算法的边框回归损失函数，降低边界框回归器在模糊边界框上的损失。