用于通过文本的视频搜索的语义多感官嵌入

摘要

一种嵌入视频以供文本搜索的方法，包括从视频中提取视觉特征。视觉特征可例如包括外观信息、运动、音频和/或类似特征。词条向量由与视频相关联的文本描述确定。例如，文本可被包括在视频的标题中或被包括在视频内(例如，字幕)。基于所提取的视频特征计算特征投影，以及基于词条向量计算文本投影。通过联合优化语义可预测性和语义描述性，基于特征投影和文本投影来计算语义嵌入。