基于机器学习的图像内容分析与存储方法研究

摘要

随着计算机的普及以及各种应用平台的高速发展，数据的爆炸式增长对数据分析与存储形成了巨大挑战。针对大规模图像分析应用，存储读取数据时的时间延迟成为制约此项应用的重要问题。图像应用与存储间的语义信息不对称是造成这一问题的根本原因。针对内容语义分析问题，近年来，智能化计算成为主要的研究方向。其中，机器学习因为具有线下学习，线上生成的特点而成为研究热点。针对图像内容语义问题，机器学习能够完成内容语义关联、分类、标注和 Hash映射等任务，为大规模环境下应用图像语义并提升语义分析能力提供算法支持。
　　面向图像的机器学习算法从学习过程上分为浅层学习与深度学习两种。前者需要先通过传统图像分析方法提取特征，然后利用浅层学习的方法完成任务。后者通过卷积神经网络与任务网络进行端到端的学习完成任务。浅层学习由于割裂了特征提取与任务间的关系，从而降低了任务的准确率，进而被深度学习所取代。深度学习能够串联学习特征提取与任务间的逻辑关系，但是由于参数难以设计，其应用广泛性受到制约。针对以上的特点，研究分别以浅层学习与深度学习为基础对图像标注，图像Hash和图像存储展开具体实践。
　　图像标注是图像内容语义分析中的重要议题。标注能够建立起图像内容与语义间的分类关系。为解决标注应用中，单视图特征效果不稳定的问题，算法引入浅层学习机制下的集成学习方式融合多种特征，提出多视图多标签的标注方法MVML。算法使用BOF，VLAD和PHOG三种方法提取特征，以SVM为基础学习器进行集成融合。算法针对平衡样本和非平衡样本的训练数据集提出Bagging和Boosting两种学习方式，并创新性地使用验证集进行基础学习器的权重学习。在 LabelMe和VOC2012数据集上的结果显示， MVML的效果在不同任务下都保持稳定并优于最好的单视图下效果。在与多标签标注算法MKL-SVM的对比中MVML的标注精确率在大部分时候平均高出3.5%。
　　图像标注技术生成的内容语义信息，在大规模环境中的表达能力与比对能力具有局限性。通过0和1构建的相似性Hash因为轻便的表达方式，并且能够通过异或实现快速比对而成为替代方案。利用深度学习实现相似性 Hash映射，能够提升映射前的特征相关性，但是需要解决没有Hash标签，无法进行有监督学习的问题。因此，在深度学习机制下提出一套自学习图像相似性Hash生成算法DSTH。DSTH分为标签获得与函数学习两个阶段。第一阶段中，利用国际优秀模型迁移学习得到深度特征，构建K近邻图结构，通过拉普拉斯特征值降维与二值化获取Hash标签。第二阶段中，以切片网络构建函数学习网络，使用BatchNorm作为激活函数，在欧式距离损失函数下，映射每个维度上的Hash值。实验对比了不同深度特征、函数学习网络和激活函数配置下的效果，发现通过GoogLeNet得到深度特征配合切片网络和BatchNorm激活函数能够得到更好的效果。在此方案下，实验以CIFAR-10数据集下48位和STL-10数据集下32位的Hash码，在使用分类标签和不使用分类标签情况下分别对比了其他有监督Hash算法和无监督Hash算法。结果显示DSTH在召回率精确率和按数量返回图像精确率的对比中全面占优，在按汉明距离返回精确率和按最近类别返回的码长分析中部分占优，证明 DSTH生成的Hash码具有较强的近似表达能力。最后，实验利用CIFAR-100数据集相同数据不同类别的特性进行DSTH泛化表达能力测试，通过无标签学习结果验证不同分类标准下的性能。结果发现在最近3类查找精确率上差异微小，证明DSTH具有较强的泛化表达能力。
　　为解决大规模图像分析时需要提取大量数据的问题，设计提出面向图像内容的图谱化存储系统方案。结合DSTH工作，方案引入深度学习，相似性 Hash和图谱化元数据。通过深度学习得到 Hash语义元数据增补元数据，并以图谱化结构构建和管理语义元数据。另外，根据图结构特点，通过改进 PageRank算法，提出以汉明距离为度量的SemRank节点排名算法。实验结果证明了算法的有效性与可靠性。在图检索应用实验中，证明算法能够得到时事热点，并以语义渐变方式引导用户关注热点。最后，实验通过节点在图数据库中的插入时间趋势，证明设计方案能够适用于大规模环境，为存储与应用分析搭建内容语义桥梁。

目录

声明

1绪 论

1.1研究背景和选题依据

1.2内容语义与相似性Hash

1.3机器学习处理图像内容语义分类

1.4课题研究内容

1.5论文章节安排

2图像内容语义机器学习方法的研究现状

2.1图像分类聚类方法研究现状

2.2图像相似性Hash方法研究现状

2.3图像自动标注及目标检测识别的相关研究

2.4本章小结

3基于集成学习的图像自动标注方法研究

3.1 MVML研究背景及动机

3.2集成学习相关工作

3.3 MVML设计方案

3.4 MVML实验评估

3.5本章小结

4基于深度学习的图像相似性Hash自学习方法研究

4.1 DSTH研究背景及动机

4.2 DSTH相关工作介绍

4.3 DSTH设计方案

4.4 DSTH实验评估

4.5本章小结

5面向图像内容的图谱化存储系统设计

5.1研究背景与动机

5.2相关工作介绍

5.3设计方案

5.4实验评估

5.5本章小结

6全文总结与展望

致谢

参考文献

附录1：攻读学位期间发表的学术论文目录

附录2：攻读学位期间参与项目