一种基于局部特征感知图文跨模态模型的行人识别方法和模型的训练方法

摘要

本发明公开了模式识别技术领域的一种基于局部特征感知图文跨模态模型的行人识别方法和模型的训练方法，所述行人识别方法包括：获取行人的图文数据，将行人的图文数据输入到预先训练好的局部特征感知图文跨模态模型中进行特征提取，输出对行人的识别结果。所述局部特征感知图文跨模态模型包括视觉特征提取模块和文本特征提取模块，在视觉特征提取上引入PCB局部特征学习，在文本特征提取上引入多分支卷积的结构，无需引入语义分割、属性学习等额外即可高效提取图文局部特征。在浅层特征、局部特征、全局特征三个层面进行跨模态匹配，逐步拉进图文特征分布。该方法结构简洁，准确率高，能推动图文跨模态行人检索领域在实际场景中的应用。