一种无监督可见光与红外双向跨模态行人搜索方法

摘要

本发明属于计算机视觉技术领域，具体涉及一种无监督可见光与红外双向跨模态行人搜索方法。本发明设计了模态自适应动态视觉Transformer网络，通过同一网络同时处理可见光和红外两种不同模态的图像，满足模态差异性和一致性的要求；设计了查询引导的无监督行人建议生成模块，并利用基于对比学习的双向跨模态匹配损失函数，实现了无监督的可见光‑红外双向跨模态行人搜索。本发明解决了现有行人搜索方法在不良光照条件下的局限性以及数据集标注问题，能够实现可见光‑红外双向跨模态行人搜索，即，给定可见光行人图像搜索到出现对应行人的红外场景图像并获取其所在位置，给定红外行人图像搜索到出现对应行人的可见光场景图像并获取其所在位置。