一种基于图像和文本特征抽取的游记图文匹配方法

摘要

一种基于图像和文本特征抽取的游记图文匹配方法，对于图像特征抽取，首先使用深度网络从图像中检测物体，导出图像特征并对每个物体提取物体特征，然后联合物体特征和图像特征进行编码；对于文本特征抽取，首先对文本进行分词，然后使用深度网络分别从词语层面和语句层面导出文本特征，接着联合词语特征和语句特征进行编码；最后对编码后的图像特征和文本特征计算余弦相似度，根据图文的相似度设定阈值，在文本对应位置选择图片插入。本发明解决游记编辑时图片选择和插入需要花费大量精力的问题。