一种基于点击与视觉融合的弱监督双线性深度学习方法

摘要

本发明公开了一种基于点击与视觉融合的弱监督双线性深度学习方法。本发明包括如下步骤：1、从点击数据集中提取每幅图像的文本构成的点击特征，并通过合并语义相近的文本，在合并后的文本空间下构建新的低维紧凑的点击特征；2、点击与视觉特征融合的深度模型构建；3、BP学习网络模型参数；4、计算每一个训练样本的模型预测损失，并构造样本集的相似度矩阵，同时利用样本损失和相似度矩阵学习样本可靠性，利用可靠性给样本加权；5、重复步骤3和4，迭代地优化神经网络模型和样本权重，从而训练整个网络模型直到收敛。本发明融合了点击数据和视觉特征从而构造了新的双线性卷积神经网络框架，能用来更好的对细粒度图像进行识别。