多媒体内容分析中的语义距离测度学习及应用

摘要

寻找好的距离测度是模式识别和机器学习领域的一个重要问题，并且被广泛应用于图像与视频的检索、生物计量学、图像自动标注等许多方面。但是，按照人的思考方式衡量数据的相似程度，填补数据低层特征和高层语义之间的鸿沟仍然是极具挑战的课题。本文介绍了定义和学习距离测度的研究与发展现状，着重介绍了监督测度学习和协方差测度及其流形解释，并在以下几个方面做了探索性工作：1.在监督测度学习的基础上，提出了一种新的学习数据语义测度的框架。算法通过定义标注测量寻找数据的语义近邻，利用测度学习维持数据间的近邻关系，同时减少非语义近邻之间的相互影响。样本的低层特征空间和高层语义空间可以通过一个线性映射联系起来，且不需要关于数据分布或内在结构的先验知识。在训练样本数目不多的情况下，也可以得到好的结果。该算法可以作为预处理过程，嵌入到几乎所有的机器学习算法中。不仅可以用于分类和聚类问题，对回归问题也同样适用。2.基于图像块的协方差矩阵，提出了一种基于模板匹配识别视频中特定动作的方法。对缺乏训练样本，周围环境较复杂的实际监控视频的分析，取得了较好的结果。同样该协方差矩阵可以转化为特征向量，嵌入到绝大多数机器学习算法中。另一方面，在确定了事件发生区域的前提下，视频流形曲线可以用来近似运动轨迹，进而分析某些关键动作的起止帧。在FG_NET人脸数据库上的实验验证了我们提出算法的有效性。所学测度可以清晰地刻画出人的老化趋势。即使通过简单的kNN回归，也可以得到与目前最好算法相比拟的年龄估计结果；所提出的基于协方差测度的模板匹配方法在TRECVID2008异常事件检测竞赛中得到应用，在检测“指”(pointing)这一动作的单项中，取得了最好的检测结果。

目录

摘要

ABSTRACT

第一章 绪论

1.1 本课题的研究目的和意义

1.2 距离测度研究现状

1.3 本文工作与章节安排

第二章 机器学习中的距离测度

2.1 欧氏测度

2.1.1 欧氏距离

2.1.2 马氏距离

2.1.3 Hausdorff 距离

2.1.4 图像欧氏距离（IED）

2.2 无监督测度学习-流形学习

2.2.1 Isomap

2.2.2 LLE

2.3 监督测度学习

2.3.1 全局测度学习

2.3.2 局部测度学习

2.4 本章小结

第三章 语义测度学习

3.1 距离测度及其相关性质

3.2 语义测度学习

3.2.1 标注测量

3.2.2 基于无约束优化问题的测度学习（SML1）

3.2.3 基于正定规划问题的测度学习（SML2）

3.2.4 语义空间中的回归

3.3 年龄估计

3.3.1 相关工作

3.3.2 标准实验数据库简介

3.3.3 实验细节

3.3.4 收敛性分析

3.3.5 老化趋势发掘

3.3.6 年龄估计

3.3.7 训练样本集尺度适应性分析

3.4 本章小结

第四章 图像协方差测度

4.1 图像块的协方差

4.1.1 图像块协方差的定义

4.1.2 快速协方差计算-积分图方法

4.1.3 协方差矩阵的距离计算

4.2 协方差矩阵的黎曼流形观点

4.2.1 黎曼流形

4.2.2 对称正定矩阵的流形空间

4.3 异常事件检测

4.3.1 相关工作

4.3.2 框架概述

4.3.3 基于协方差矩阵的模板匹配

4.3.4 基于流形学习的视频分析

4.4 TRECVID 异常事件检测竞赛

4.4.1 竞赛简介

4.4.2 评估准则

4.4.3 Pointing 事件检测

4.5 本章小结

第五章 结论

5.1 本文主要工作总结

5.2 后续研究方向展望

参考文献

符号与标记（附录1）

致谢

攻读硕士学位期间已发表或录用的论文