基于Transformer的在线更新目标跟踪方法及系统

摘要

本发明属于目标跟踪领域，提供了基于Transformer的在线更新目标跟踪方法及系统，该方法包括采用权重共享的Twi ns作为骨干网络对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征；引入在线更新模块，将置信度超过阈值模板作为更新模板，其对应的特征作为更新模板特征,并将更新模板特征与模板图像特征进行互补，得到融合模板图像特征；基于编码器和解码器，分别将模板图像特征、更新模板特征和融合模板图像特征分别和搜索图像特征进行融合，得到对应的融合特征图；采用多模板策略将对应的融合特征图映射至预测头，同时得到对应分支的预测分数，将预测分数最高的分支对应的边界框作为跟踪边框进行目标跟踪。