弱对齐条件下的消防机器人多模态视觉火焰检测方法

摘要

本发明公开了一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，设计了并行的可见光火焰检测网络与热成像火焰检测网络，利用可见光火焰检测网络输出的可见光检测框信息投影到热成像图像中，并使用一个近邻采样模块在其中心处生成一系列样本检测框。相较于传统的RPN的遍历式采样，本发明仅在一个较小的范围内采样，使用热成像网络的分类器与回归器对检测框修正后，可以在热成像图像中得到精确的检测框。同时，为了解决弱对齐情况下的多模态信息融合问题，提出注意力引导模块融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨模态检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果。