卷积网络和SIFT特征融合的图像自动标注研究

摘要

近年来,图像自动标注成了当下机器学习最热门的研究方向之一.图像自动标注技术能够将互联网上海量的图像信息转换为文本信息,方便进行图像检索、图像分类等应用.现在主流的图像自动标注模型大部分都采用基于编码器—解码器框架的深度学习网络构建而成.本文主要是在编码器的基础上进行研究改进,从而提出了将卷积网络和SIFT特征进行融合的网络模型.该模型结合了卷积网络强大的特征提取能力以及SIFT特征对于图像的旋转、大小比例缩放、明暗度的变化保持不变性的特性,使得模型具有更加强大的图像特征提取能力.最后在公开数据集上和现存有代表性的模型进行了对比实验.实验证明,在Encoder部分加入SIFT特征进行特征融合,可以提高网络模型提取图像特征的能力,使得编码器部分提取到的图像信息更加准确.