指代表达定位与分割模型的构建方法和装置

摘要

本发明涉及指代表达定位与分割模型的构建方法和装置，包括：构建预处理图像主干网络、预处理文本主干网络、各个包含文本指导的视觉感知子网络和视觉指导的文本感知子网络的模态内在关系感知网络，各交叉模态融合网络、第一多尺度融合网络和第二多尺度融合网络，并利用指代表达定位与分割数据库对上述网络组合成的网络进行训练；本发明可以有效地进行图像与文本特征的学习，通过在语义、位置空间上建立的两模态的协同获取多尺度下图像‑文本协同特征，并对多尺度下图像‑文本协同特征进行融合及特征选择，进而使得模型能更准确、可靠地实现指代物的定位与分割。