基于翻译的多模态建模方法及其在商品检索中的应用

摘要

本发明公开了基于翻译的多模态建模方法及其在商品检索中的应用，包括：对所有商品构建正相关数据集和负相关数据集；建立多模态特征空间，于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示；将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合，得到每个商品的融合后的隐含表示；基于翻译模型的转换矩阵将隐含表示映射到隐空间中，得到映射后的每个商品的隐表示向量；将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中，计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离；将距离按照从小到大排序，将排序靠前的设定个商品作为商品检索结果输出。