基于跨模态共享和特定表示形式的RGBT目标跟踪方法

摘要

本发明公开一种基于跨模态共享和特定表示形式的RGBT目标跟踪方法，对可见光视频和对应的热红外视频进行配准和标注，按照要求将其分成训练集和测试集；利用VGG‑M网络来提取不同模态的模态特定特征，利用共享特征提取模块来提取两个模态之间的模态共享特征，同时在共享特征提取模块中使用多尺度特征融合的策略来增强特征以提高其鲁棒性。本发明在光照变化强烈、夜晚等极端条件下跟踪上目标，通过焦点损失函数使训练的模型更加关注于难以分类的样本，提高模型的鲁棒性。