使用图像到题目嵌入的大规模图像加标记

摘要

本申请的各实施方式涉及使用图像到题目嵌入的大规模图像加标记。提供了一种框架以用于利用嵌入学习来将图像与题目相关联。框架利用图像而被训练，每个图像具有多个视觉特性和与其相关联的多个关键词标签。视觉特征利用卷积神经网络从视觉特性被计算，并且图像特征矢量从视觉特性被生成。关键词标签被用于通过计算词矢量表示的加权平均来生成针对每个图像的加权词矢量(或者“软题目特征矢量”)，词矢量表示表示与图像相关联的关键词标签。图像特征矢量和软题目特征矢量在共用嵌入空间中被对齐，并且相关性分数针对关键词标签中的每个关键词标签被计算。一旦经训练，框架就可以自动地标记图像，并且基于文本的搜索引擎可以基于预测的相关性分数、相对于查询的关键词来对图像相关性排名。