基于核密度的半监督学习算法在视频语义标注中的应用

摘要

自上世纪九十年代以来，多媒体信息迅速膨胀，基于内容的视频检索成为了研究的热门课题。其中，如何利用机器学习理论使计算机能自动获取视频中的语义信息，以便有效地进行视频语义检索，是当今多媒体研究领域中一个亟待解决的问题。因此，如何进行有效的视频语义标注是本文研究的目的。 目前已有的视频语义标注方法多是基于统计学理论，采用全监督学习方法进行语义标注工作。这种方法需足够多的已标记样本进行学习，从而建立分类器用以标记未知样本。众所周知，获取大量已标记样本是一项费时费力的工作，而获取大量未标记样本却是一项非常容易的工作。如此，通过对少量已标记样本和大量未标记的样本进行学习从而建立分类器的半监督学习方法应运而生。若其最终的学习效果与全监督学习方法的效果一致或接近，则在人工成本和实现上，半监督学习方法更具有优越性。如何利用未标记的视频样本信息达到类似于全监督学习的效果是半监督学习方法的关键。 本文讨论了利用半监督学习方法进行视频语义标注的问题。文中采用统计学理论，利用贝叶斯概率公式计算视频语义出现的概率，选取概率最大的类别标注未标记的样本。在计算的过程中，使用了未标记样本的信息计算语义出现的后验概率。通过在贝叶斯概率公式中添加未标记样本信息的影响因子，利用未标记的视频样本信息，将半监督学习的方法引入视频语义标注的工作中，综合利用已标记和未标记的样本信息进行语义概率计算。 核密度估计方法从数据样本本身出发研究数据分布特征，不利用有关数据分布的先验知识，避免了模型估计和参数估计的主观影响。为了使标注的视频语义更准确、有效，达到本文研究的目的，本文采用的半监督学习方法基于高斯核函数，结合半监督学习和核密度估计方法的优越性，采用最优的未标记样本信息参数影响因子对未标记的视频进行语义标注。文中针对该标注方法设计了语义标注性能分析系统，研究本文采用的方法的性能。结果表明：本文讨论的这种半监督学习方法可获得近似或等于全监督学习方法的结果，减少了人工工作，能提高视频语义标注性能，有利于大规模视频语义标注。

目录

文摘

英文文摘

声明

致谢

1 绪论

1.1视频语义标注研究描述

1.1.1视频语义描述

1.1.2语义标注方法

1.1.3存在的问题

1.2论文的主要研究工作

1.3论文的组织结构

2 视频结构化及特征提取

2.1视频低层特征

2.1.1颜色特征

2.1.2纹理特征

2.1.3形状特征

2.1.4视频运动分析

2.2视频结构化

2.2.1镜头分割

2.2.2关键帧提取

2.2.3场景分割

2.3本章小结

3 基于核密度的半监督学习方法

3.1贝叶斯理论

3.2半监督学习概述

3.2.1自训练方法

3.2.2互训练方法(协同训练 Co-Training)

3.2.3 Co-EM算法

3.3核密度估计

3.4核密度函数的半监督学习的语义标注方法

3.4.1基于核密度的监督学习算法

3.4.2基于核密度的半监督学习算法

3.5本章小结

4 基于核密度的半监督方法在语义标注的应用

4.1 核密度函数的半监督方法标注视频语义

4.2实验结果与分析

4.2.1性能评价方法

4.2.2实验与结果

4.3本章小结

5 结论与展望

5.1 论文小结

5.2进一步的研究工作

5.2.1特征融合

5.2.2参数值λ的确定

5.2.3核函数的选择

参考文献

作者简历