面向可视化检索的特征表达与相似性学习技术研究

摘要

随着多媒体技术的日新月异，以计算机为媒介的虚拟现实技术得到了广泛的应用。特别地，将现实世界的对象转化为计算机中的可视化对象（例如三维模型、三维图像以及二维图像等）已经成为当前众多行业发展的新突破点，极大地推动了工业、军事、地球科学以及民生等领域的发展。与此同时，因特网的发展也为不同地域可视化数据的传播提供了契机。在海量数据的条件下，研究可视化检索技术（即如何筛选出期望的数据）已经成为当前热门的研究课题，将直接促进很多新技术和产品的涌现。 特征表达和相似性学习方法是可视化检索技术的两个关键问题。本文围绕这两方面的问题展开了相关研究，取得的创造性成果主要有： （1）以内蕴空间为基础，研究了全局特征和局部特征提取方法。首先，扩展研究了全局谱距离特征提取方法，提升了形状区分能力。其次，以谱距离和热核函数为基础，提出了热模态特征并系统地分析该特征的性质，取得了比谱距离特征更优秀的全局形状描述效果。第三，改进了传统的热核特征，得到单点积分热核特征并用于局部形状描述，取得了比传统方法更优秀的局部形状检索效果。理论分析及实验结果表明，上述全局和局部特征具有优秀的内蕴不变性和抗噪性，提升了非刚体形状的描述能力。 （2）提出了多尺度形状上下文特征提取方法。与已有特征提取方法的不同：通过检测有限数量的关键点，降低特征点集的规模并保持局部特征的丰富性；通过单一关键点多尺度量化，获取大量不同尺度的空间结构信息，逐步感知形状分布的特点；采用离散多尺度特征，丰富了特征库规模，扩大了视觉词包的感受域，使其更完备。该方法从新的角度考虑特征相似性比较与匹配，高效地解决了传统的尺度偏移问题。实验结果表明，该方法不仅提升了形状匹配的准确性，而且提高了形状检索的精度。 （3）归纳了基于函数变换的相似性学习方法框架，并设计了基于距离函数变换的相似性学习方法。其主要思想是依据数据库中可视化对象之间相似性关系，定义新的相似性距离，能够沿着数据分布自然地描述对象之间的关系。从全局和局部两个不同的角度研究相似性学习算法并取得了显著的成效。实验结果表明，这项研究大幅度提高了可视化检索的精度，在标准数据集上的结果要优于领域内大多数方法。 （4）通过分析总结现有工作，研究了基于概念本体的层次深度学习算法。针对二维可视化对象，将层次概念本体嵌入到深度学习网络得到层次分类架构，展开多任务深度特征学习。该方法实现了基于路径选择的分类预测，具有多方面的优势：为分类结果提供更加细致的评价；可以减少计算代价；与基准方法相比，在特征提取方面能够节省93.75%的存储空间。在大规模检索实验中，该方法在精度、时间和空间效率上均取得了优秀的效果。 本文以可视化检索为主线，研究特征提取与相似性学习等多个关键性问题。研究结果表明，本文所提出的理论及算法在多个方面取得了突破性成果，并且对后续可视化检索相关工作的研究有着指导意义。

目录

声明

第一章 绪 论

1.1 选题背景及意义

1.2 国内外研究现状

1.2.1 非刚体特征表达与可视化检索

1.2.2 图像特征表达与可视化检索

1.2.3 相似性学习与检索排序

1.3 研究内容和研究目标

1.3.1 本文的研究内容

1.4 可视化检索及实验设置

1.4.1 常用的相似性度量方法

1.4.2 实验数据集

1.4.3 评价指标

1.5 本文的主要贡献与结构安排

第二章 内蕴空间特征表达方法

2.1内蕴空间理论基础

2.1.1 热传导与热核

2.1.2 内蕴特征与离散计算

2.2 内蕴空间距离特征

2.2.1 内蕴空间距离

2.2.2 谱距离特征

2.2.3 扩展全局对调和距离特征

2.2.4 相似性距离加权方法

2.2.5 实验与结果分析

2.3 热模态特征

2.3.1 热模态特征定义

2.3.2 函数选择与特征性质

2.3.3 数值计算与效率

2.3.4 实验与结果分析

2.4 积分热核特征

2.4.1 积分热核特征

2.4.2 积分热核特征的性质

2.4.3 线性特征编码模型

2.4.4 实验与结果分析

2.5 本章小结

第三章 多尺度形状上下文特征表达方法

3.1 形状上下文与内蕴形状上下文

3.2 多尺度形状上下文

3.2.1 多尺度上下文模型

3.2.2 内蕴不变关键点检测

3.2.3 局部形分布特征

3.2.4 多尺度词包投票模型

3.2.5实验与结果分析

3.3 局部聚合特征表达

3.3.1 扩展局部形分布特征

3.3.2 局部聚合词包投票模型

3.3.3 实验与结果分析

3.4 本章小结

第四章 基于函数变换的相似性学习方法

4.1 相似性学习模型

4.2 局部相似性传递方法

4.2.1 基于局部最近邻图的相似性学习模型

4.2.2 实验与结果分析

4.3 基于距离变换的相似性学习

4.3.1 最近邻图内蕴空间

4.3.2 内蕴空间距离变换模型

4.3.3 最近邻图邻域选择

4.3.4 实验与结果分析

4.4 基于互惠最近邻图的无参距离映射方法

4.4.1 互惠最近邻图谱空间

4.4.2 互惠最近邻图参数估计

4.4.3 实验与结果分析

4.5 基于滤波的检索优化方法

4.5.1 检索滤波模型

4.5.2 实验与结果分析

4.6 本章小结

第五章 基于概念本体的层次深度学习方法

5.1 现状分析

5.2 层次深度学习

5.3 两层概念本体构造

5.4 本体驱动的层次深度学习

5.5 层次网络结构设计

5.6 基于路径的预测

5.7 实验与结果分析

5.7.1 在CIFAR100数据集上的结果

5.7.2 在ImageNet1000数据集上的结果

5.7.3 在Fashion60数据集上的结果

5.7.4 层次视觉识别结果

5.7.5 计算复杂度分析

5.8 本章小结

结论

参考文献

攻读博士学位期间取得的研究成果

致谢

作者简介