基于图像与文字的无监督联合视觉概念学习系统及方法

摘要

本发明公开一种基于图像与文字的无监督联合视觉概念学习系统及方法，包括：文字解析模块，基数示例学习模块和多任务聚类模块，其中：所述文字解析模块利用社交媒体对图像的附加句子描述提取相应的名词作为视觉概念及其基数词作为下一模块的附加约束信息；所述基数示例学习模块利用基数引导的多示例学习方法来训练每个视觉概念的分类器；所述多任务聚类模块处理概念间的多样性，即将指代相似物体的名词聚集为一个大类作为视觉概念。本发明利用无监督的自动学习可以有效解决大规模数据下人工标定的实现繁复问题。