一种基于Transformer的多视角目标检测方法及系统

摘要

本发明提出了一种基于Transformer的多视角目标检测方法及系统，所述方法包括：利用多个相机同时采集多个视角的RGB图像并进行预处理；将预处理后的多个视角的RGB图像输入训练好的多视角目标检测模型，输出包含目标检测检测结果的鸟瞰图；所述多视角目标检测模型包括：特征提取模块、Transformer模型和投影模块；所述特征提取模块，用于提取每个视角的RGB图像的多尺度特征图，将多个视角的多尺度特征图输入Transformer模型；所述Transformer模型，用对输入的特征图的进行目标检测，输出bounding box；所述投影模块，用于以Transformer模型预测的bounding box的中点为中心生成一个高斯热图，与特征提取模块输出的多个视角的特征图进行融合，再经过投影变换和卷积后输出鸟瞰图。