弱标注环境下基于多标签深度学习的加速图像标注

摘要

随着数字信息技术不断融人人们生活，各种图像的数量增长迅猛，如何对这些海量的图像进行有效的管理并从中挖掘出对用户有用的信息成为亟需解决的问题。图像的多标签语义标注用自然语言来描述图像，将对图像的检索转换为人类易于理解的文本检索，是解决以上问题的有效办法。因此，图像的多标签语义标注越来越受到重视。
　　当前多标签图像标注主要遇到两个问题。一个来源于算法层面:基于传统机器学习的算法特征提取十分复杂，需要有经验的人进行精心的特征选取;而基于多标签深度学习的图像标注虽然效果好且不需要人工进行特征提取和挑选，但是当前的深度学习模型往往由于计算量巨大导致CPU模式下标注速度过慢而实用性较差;一个来源于数据层面:真实环境中训练数据集广泛存在语义标签集不完整问题，而且低频语义标签和高频语义标签的图像数据分布十分不均衡，这种数据集称为弱标注数据集，这种数据集的标签不完整和语义分布失衡会严重的影响模型的学习效果。
　　针对上述问题，本文提出了弱标注环境下基于多标签深度学习的图像加速标注方法。论文的主要工作如下:
　　(1)针对深度卷积神经网络VGG-16速度过慢的问题，构建了一种新的深度卷积神经网络:通过修改模型卷积核的步长等方法，减小每层的输出维度，构建出一个参数计算量约为网络VGG-16近1/7的深度卷积神经网络New Net;然后再对本文提出的网络的相应卷积层进行奇异值分解(SVD)，并构建出参数计算量约为网络VGG-16近1/10的分解网络New_SVD_Net。本文提出的分解网络在测试集上的平均准确率相比于网络VGG-16降低2.5％，但是在CPU模式下处理单张图片的速度却加快了近6倍，大大提升了深度模型的实用性。
　　(2)针对弱标注数据集环境的训练数据集，设计了针对弱标注数据集的数据迭代优化算法框架:通过补充低频语义标签的单标签图像数据的方法来提升深度卷积神经网络对低频语义标签的识别精度;通过得到的最终模型对原始训练集进行预测标注，并与原始标签集进行合并，其中预测标注步骤本文使用特征融合和KNN分类器替代softmax分类器进行了优化。经实验证明，在相关数据集上，迭代优化后的训练数据集标签个数相比原始标签集增加近7％，经网络VGG-16和New Net进行学习至收敛后，在同样测试集上的平均准确率提升约1.2％。
　　论文工作已应用于腾讯优图开放平台图像识别等商业图像识别服务，获得良好的效果。

目录

声明

致谢

摘要

1 绪论

1．1 研究背景与选题意义

1．2 图像标注研究现状

1．2．1 图像标注方法类别

1．2．2 图像标注关键问题

1．3 深度学习的研究现状

1．4 本文主要工作及结构安排

2 图像标注和深度学习相关知识

2．1 多标签图像标注框架

2．1．1 图像特征提取

2．1．2 多标签分类算法

2．1．3 弱标注环境下的图像标注

2．2 深度学习的基本概念

2．2．1 浅层学习和深度学习

2．3 深度学习模型

2．3．1 卷积神经网络(CNN)

2．3．2 深度卷积神经网络VGG-16

2．4 基于多标签深度学习的图像标注

2．4．1 基于多标签学习的损失函数

2．4．2 深度模型的训练

2．5 图像标注的评价标准

2．6 本章小节

3 弱标注环境下基于多标签深度学习的加速图像标注

3．1 深度模型的加速方法

3．1．1 主要思路

3．1．2 加速深度卷积神经网络的设计

3．1．3 加速网络卷积层的SVD分解

3．2 结合深度学习的弱标注数据的迭代优化

3．2．1 基本思路

3．2．2 算法框架模型

3．2．3 特征融合和分类器优化

3．3 本章小节

4 实验验证

4．1 实验环境的搭建

4．2 加速模型实验

4．2．1 实验数据

4．2．2 实验设计

4．2．3 实验结果以及分析

4．3 迭代优化实验

4．3．1 实验数据

4．3．2 实验设计

4．3．3 实验结果以及分析

5 总结与展望

5．1 总结

5．2 未来工作展望

参考文献

作者简历及攻读硕士／博士学位期间取得的研究成果

学位论文数据集