一种基于双语义空间的对抗性跨媒体检索方法

摘要

本发明公布了一种基于双语义空间的对抗性跨媒体检索方法，涉及模式识别、自然语言处理、多媒体检索等技术领域；包括：特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间，即文本子空间和图像子空间，实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟；并通过对抗训练来优化同构子空间数据分布，挖掘多媒体数据中丰富的语义信息，在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性，实现有效的跨媒体检索，在图文检索、模式识别等领域具有广泛的市场需求和应用前景。