代表性图结构模型、视觉理解模型的建立方法及应用

摘要

本发明公开了一种代表性图结构模型、视觉理解模型的建立方法及应用，属于视觉理解领域，包括：建立代表性图结构模型；代表性图结构模型包括：特征映射模块，用于从输入特征图像中提取值分支、键值分支和序列分支，并生成偏移矩阵；采样模块，用于根据偏移矩阵对值分支和键值分支中的节点(像素或图像栅格)采样，得到代表性特征；长距离依赖信息捕获模块，用于对键值分支的代表性特征与序列分支进行矩阵乘法后进行Softmax操作，得到关系矩阵，并对值分支的代表性特征与关系矩阵进行矩阵乘法，得到长距离依赖矩阵；以及特征反映射模块，用于将长距离依赖信息编码到输入特征图像中。本发明能够学习到更精炼的长距离依赖信息，提高视觉理解任务的准确度。