基于相关核映射线性近邻传播的视频语义反馈标注研究

摘要

随着互联网技术的迅猛发展以及存储、数字化设备性能的提升，视频数据量呈现几何级数增长的趋势。如何高效检索这些海量视频成为一个急需解决的问题。目前对这些视频检索和组织的方法主要是从视频中提取出能对视频内容进行语义层次表述的“元数据”，然后再利用这些元数据对视频进行检索。视频语义标注（通常又称为视频概念检测、高层语义特征提取等）是获取这些元数据的一种基本方法，并且该技术在基于视频的各种应用中都具有广泛的意义。
　　 在综合分析已有的视频语义标注方法的基础上，首先构造最优训练样本集，其次提出基于相关核映射线性近邻传播的视频语义标注算法，再者将相关反馈技术成功应用到视频标注中，提出基于相关核映射线性近邻传播的视频语义反馈标注算法，最后设计并实现相应的原型系统。具体内容如下:
　　 1)构造最优训练样本集。首先根据镜头之间的相似性和时间上的相关性，对视频镜头进行预聚类;然后用改进的K-means算法对预聚类的结果进行处理，使得聚类后的结果更能真实的代表视频的分布;最后从聚类之后的结果中选择样本并构造出最优的训练样本集。
　　 2)提出基于相关核映射线性近邻传播的视频语义标注算法。该算法通过核函数按照半监督学习调整后的距离，计算出迭代标记传播系数，并通过该系数求得表示低层特征空间的样本，然后根据视频相关性建模，构造出语义概念间的关联表，最后完成近邻图的构造，并利用己标注视频信息迭代传播到未标注视频中，完成视频标注。
　　 3)提出基于相关核映射线性近邻传播的视频语义反馈标注。该方法基于相关反馈技术在视频的检索中已经产生了重大的影响，首先根据相关核映射线性近邻传播算法获取语义概念和关键帧之间的联系，构建语义关联网络;然后引入基于支持向量机的反馈技术，不断的对视频标注结果进行反馈;最后引入长期学习记忆机制不断的调整模型中的训练样本的标记信息，使得模型最终达到稳定的标注状态。
　　 4)采用面向对象思想设计并开发视频语义反馈标注的原型系统。该系统包括最优训练样本集的构造、视频语义标注、手工标注、视频语义反馈标注等功能模块，通过实验对比验证所提方法的有效性。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景和意义

1．2 基于机器学习方法的视频标注原理

1．3 国内外研究现状

1．4 论文研究内容及安排

1．4．1 研究的主要内容

1．4．2 结构安排

第二章 视频语义标注相关技术

2．1 视频结构化

2．1．1 镜头边界检测

2．1．2 子镜头切分

2．1．3 关键帧提取

2．1．4 场景边界检测

2．2 视频低层特征

2．3 视频标注评判标准

2．4 小结

第三章 视频语义标注中最优训练样本集的构造

3．1 视频镜头的预聚类

3．2 改进的K-means算法处理预聚类结果

3．3 训练样本集的有效性度量

3．4 实验分析

3．5 小结

第四章 基于相关核映射线性近邻传播的视频语义标注

4．1 LNP算法

4．1．1 近邻图的构造

4．1．2 传播已被标注数据的标号到剩余未被标注的数据上

4．1．3 LNP算法的不足

4．2 基于相关核映射线性近邻传播的视频标注框架

4．2．1 符号说明

4．2．2 低层特征空间样本

4．2．3 基于视频语义间的相关性建模

4．2．4 视频标注

4．3 CKLNP算法步骤

4．4 实验结果与分析

4．4．1 实验样本

4．4．2 实验结果与分析

4．5 小结

第五章 视频语义反馈标注

5．1 相关反馈技术

5．1．1 相关反馈技术的原理及分类

5．1．2 相关反馈的概念模型

5．1．3 相关反馈中的用户模式

5．1．4 相关判断的度量方式

5．2 基于支持向量机的视频相关反馈检索

5．2．1 支持向量机的特点

5．2．2 支持向量机的原理

5．2．3 基于支持向量机的视频相关反馈检索算法

5．3 基于相关核映射线性近邻传播的视频语义反馈标注

5．3．1 长期学习机制实现策略

5．3．2 构建语义关联网络

5．3．3 基于相关核映射线性近邻传播的视频语义反馈标注算法

5．4 实验结果与分析

5．5 小结

第六章 视频语义标注反馈系统的设计与实现

6．1 概述

6．2 UML模型

6．3 系统功能分析

6．4 原型系统实现

6．5 小结

第七章总结与展望

7．1 总结

7．2 展望

参考文献

致谢

发表论文