一种融合多层语义信息的孪生交叉目标跟踪方法

摘要

本发明具体涉及一种融合多层语义信息的孪生交叉目标跟踪方法，包括：基于孪生神经网络构建孪生跟踪模型；获取跟踪目标的视频帧序列并输入经过训练的孪生跟踪模型中；首先通过孪生主干网络并行连接不同层次的语义信息；然后通过孪生区域推荐交互网络获取对应的分类图和回归图，并通过并行交叉注意机制融合不同分支间的互监督信息；最后通过自适应可形变卷积模块提供全局的目标描述辅助，并生成对应的分类得分图和回归得分图；基于跟踪目标的分类得分图定位中心位置，并根据回归得分图生成位置描述。本发明的孪生交叉目标跟踪方法能够充分探索分类特征和回归特征间的交互互补机制，充分挖掘孪生网络潜力并提升模型性能。