视频概念检测中的领域自适应和语义关联研究

摘要

当今社会，智能设备正以前所未有的速度进行普及，日渐完善的互联网和移动网络将来自全世界的信息汇总和连接，人们从信息的接受者逐渐变成了信息的创造者和传播者。视频作为一种信息的常见载体，融合了图像、时序、音频等多种特征，具有直观生动的特点，被广泛地应用。然而视频中所包含的复杂的语义层级信息对高效的管理和准确的检索提出了更为严苛的挑战。在视频人工标注过于昂贵的情况下，为了从视频内容中直接读取出其中包含的物体、人物、场景等语义层概念，发展出了基于内容的视频概念检测技术。
　　然而，当前的视频概念检测技术尚且面临着种种困难，还无法很好地在实际中得到应用。比如训练库与测试库不同领域之间广泛存在的样本分布差异导致检测器的性能下降、找寻视频中多种特征之间灵活高效的融合方式、低层特征与高层特征之间存在的“语义鸿沟”等问题。本文以上述三方面中的研究难点为出发点，对视频概念检测中的特征层领域自适应问题、多特征融合中的领域自适应问题以及视频概念间的语义关联进行了探讨和创新，主要取得的成果如下:
　　(1)针对目前特征层的不同领域间样本分布差异的问题，本文基于Adaboost提出了领域自适应boosting算法(DAB)。它主要解决的是当前TrAdaBoost算法中存在的目标领域（测试库）与源领域（训练库）数据分配不合理的问题，分为两个主要步骤:首先对源领域的数据在特征空间内进行无监督分类;然后在迭代训练中，将目标领域验证集中选择出的样本映射到已分类的源领域特征空间中，匹配出一定数量的源领域样本。最后，两个领域选择出的数据共同进行弱分类器的训练。作为TrAdaBoost算法的一种改进型算法，DAB算法能够很好地解决大规模领域定义和小尺寸验证集的情况。DAB算法有两个主要优点:在训练中能够突出目标领域数据的重要性，在实验中获得了更好性能表现;由于不需要对源领域的数据进行判别和权值计算，因而减小了计算量。
　　(2)针对当前多特征融合研究中的领域自适应能力缺失的问题，本文提出了领域自适应的线性融合方法(DALC)。它是一种后期融合方法，基于多特征分类器的输出分值进行融合。该算法以线性融合模型(LC)为基础，通过分析源领域和目标领域之间的差异，来自适应更新LC模型的融合参数。它的原理是找寻领域样本与LC融合参数之间的关联关系，利用源领域中已经建立的关联关系去指导目标领域的关联关系，通过优化搜索来找寻更新后的融合参数，使得两个领域中存在的关联关系距离最小。DALC模型是一种通用的非监督式方法，不需要训练，有着很快的自适应速度。与当前一些没有考虑领域自适应的多特征融合方法相比，有着更好的融合性能。
　　(3)针对视频概念间的语义关联问题，本文提出了基于节点平衡(NE)的概念关联模型，它与DALC模型共同构成了一个两级语义模型。该方法以物理模型为基础，将概念之间的关联性用物理性的引力和斥力进行建模，而将一个个镜头-概念对看作是物理节点，它们的分值则是它们所处的位置。对不同类别的概念关联方式，可以定义不同种类的力，它们可以共同作用在一个节点之上，从而达到使用多种概念关联共同作用的结果。与现有的方法相比，它可以使用多种概念间的关联关系同时进行构建复杂的语义关系，文中使用了三种关联:共存关联、层级关联和时序关联。它是一种启发式模型，对概念的关联过程以模拟人的先验知识为主导，因此具有直观性的特点。此外，它有着简洁的关联方程，求解过程快速;并且可以根据先验知识或训练数据的有无，应用监督式或无监督式的关联参数。

目录

声明

致谢

摘要

1 绪论

1．1 论文研究背景及意义

1．2 相关研究现状

1．2．1 视频分析中的领域自适应

1．2．2 视频内容的多特征融合

1．2．3 视频概念的语义关联

1．3 当前研究存在的问题

1．3．1 特征层领域自适应的数据分配策略

1．3．2 多特征融合中领域自适应的缺失

1．3．3 概念语义模型中的多关联定义和直观性

1．4 论文研究内容

1．4．1 提出了领域自适应boosting算法

1．4．2 提出了领域自适应的多特征融合方法

1．4．3 提出了基于节点平衡的概念关联模型

1．5 论文的组织结构

2 视频概念检测基本技术介绍

2．1 视频分割

2．1．1 视频的时序分割

2．1．2 视频的内容分割

2．2 特征提取

2．2．1 关键帧提取

2．2．2 基于图像的特征

2．2．3 基于视频的特征

2．3 分类器设计

2．4 视频概念数据库介绍

2．5 小结

3 领域自适应boosting算法

3．1 TrAdaBoost算法及其存在的问题

3．2 领域自适应boosting模型的提出

3．2．1 问题阐述

3．2．2 训练和测试流程

3．2．3 源领域空间聚类

3．2．4 DAB算法

3．2．5 DAB算法的收敛性和错误率上界

3．3 DAB算法的应用

3．3．1 在肤色检测中的应用

3．3．2 在视频概念检测中的应用

3．4 实验结果

3．4．1 数据库介绍

3．4．2 在肤色检测模型中的性能评估

3．4．3 在视频概念检测模型中的性能评估

3．5 小结

4 领域自适应的多特征融合方法

4．1 两级语义模型的构成

4．2 领域自适应线性融合模型的提出

4．2．1 多特征融合中的领域自适应问题

4．2．2 领域数据与融合参数间的关联定义

4．2．3 距离度量定义

4．2．4 自适应优化过程

4．3 实验结果

4．3．1 数据库介绍

4．3．2 性能评估

4．3．3 参数分析

4．4 小结

5 基于节点平衡的概念关联模型

5．1 视频概念本体构建

5．1．1 共存关联

5．1．2 层级关联

5．1．3 时序关联

5．2 概念关联模型基本问题阐述

5．2．1 分值修正模型的数学描述

5．2．2 节点平衡模型的基本框架

5．3 节点模型构建

5．3．1 共存关联建模

5．3．2 层级关联建模

5．3．3 时序关联建模

5．3．4 移动代价

5．4 节点平衡过程

5．4．1 基于概念内部关联的平衡过程

5．4．2 基于所有关联关系的平衡过程

5．5 实验结果

5．5．1 数据库介绍

5．5．2 NE模型性能评估

5．5．3 不同关联关系的特性分析

5．5．4 NE模型参数分析

5．5．5 两级语义模型综合性能评估

5．5．6 初级分值与终级分值的关联

5．6 小结

6 结论

6．1 论文工作总结

6．2 未来工作展望

参考文献

附录

作者简历及攻读博士学位期间取得的研究成果

学位论文数据集