基于大规模网络视频的事件挖掘研究

摘要

随着互联网技术的迅猛发展和计算机的普及，普通用户越来越容易从谷歌、百度、YouTube和优酷等视频分享网站上获得大量正在发生的事件的网络视频。另外，CCTV、BBC和CNN等大量新闻媒体也越来越多的将大量网络视频放到他们的网站。这对普通用户能否快速从搜索引擎返回的海量网络视频中，掌握主要事件是一个挑战。网络视频事件挖掘是一个非常有意义的研究课题。主要事件挖掘可以方便普通用户快速了解整个话题，并建立事件间的关系，从而了解整个话题的来龙去脉。如果对某一个事件比较感兴趣的话，还可以进一步了解。
　　当普通用户检索某话题时，如果他们了解该话题的主要事件，可以方便他们了解事件间的关系。然而，普通用户只有观看搜索引擎返回的海量视频后，通过自己总结才能了解主要事件。这需要耗费大量时间，而且难以完成，普通用户也没有足够耐心，尤其是对于完全陌生的话题。因此，通过主要事件挖掘改善用户搜索体验是一个紧迫的任务。本文分别研究了网络视频的文本与视觉的突发性特征，并通过它们间的关系进行了相关融合方案的探索，主要内容包括以下三个方面:
　　首先，研究了基于共同发生与多重对应分析的网络视频事件挖掘。针对网络视频中文本信息具有信息量少、噪声多以及信息不完整等特性。同时，结合视觉信息的特点，即重要的镜头经常被插入到相关视频中用来提醒或支持其观点，具有举足轻重的作用。此外，视觉信息不仅包含有丰富的信息，而且相对不容易被修改，因此视觉特征相对于文本描述更加精确，故其具有更明显的优势。新提出的网络视频事件挖掘方法，通过文本与视觉信息的融合进行网络视频的事件挖掘。通过共同发生挖掘视觉近似关键帧之间的视觉相关性，并将统计领域中的多重对应分析应用到多媒体检索领域，探索网络视频中出现的标题/标签等文本信息在视觉近似关键帧中的分布特性，从而利用文本信息的分布特性计算视觉近似关键帧与事件问的相关度。大量实验结果表明，基于视觉内容相关性与多重对应分析的网络视频事件挖掘，在相同条件下事件挖掘效果更佳。
　　其次，研究了基于视觉特征轨迹与文本分布特征的网络视频事件挖掘。视觉近似关键帧的共同发生只能挖掘视觉内容相关的视频，而同一事件往往具有多种视觉表达形式，从而容易丢失与事件主题相关，视觉内容不同的视频。因此，利用视觉特征轨迹的时间分布特性，通过共同发生增加视觉特征轨迹的鲁棒性，以减少视频编辑的影响，提出了基于视觉内容的特征轨迹。与此同时，针对文本信息噪声较多，易造成文本分布特征不稳定的问题，提出了利用视觉近似关键帧间的视觉内容的相关性来挖掘文本信息的语义相关性，从而增强文本信息的鲁棒性。并根据文本与视觉信息间的相关性，提出了一种概率模型从理论上探索文本与视觉信息融合的问题，从而更好的实现两者优势的互补。通过海量数据集上的大量实验，证明基于内容的视觉特征轨迹与文本分布特征的网络视频事件挖掘方案，能够有效的改善基于视觉近似关键帧的内容单一问题，并能在一定程度上提高文本信息的鲁棒性，而文本与视觉信息的融合方案进一步弥补了文本与视觉信息各自的缺陷，达到了优势互补的目的。
　　最后，研究了基于动态关联规则与视觉近似片段的网络视频事件挖掘。通过深入分析研究视觉近似关键帧的特性及其存在的问题，为了减少视频编辑对视觉近似关键帧检测的影响，提出了视觉近似片段这一全新的概念。主要利用视频中时间与空间信息以减少图片中文字等信息的影响，并探索了视觉近似片段间的关联规则，以及文本信息在视觉近似片段中的分布特性。同时，为了进一步增强嘈杂的文本在视觉近似片段中的分布特性，提出用动态关联规则算法将语义相关的单词聚集在一起，从而用语义相关的单词集来代替原来的单个单词，以达到增强文本信息鲁棒性的目的。最终通过文本与视觉信息的融合，实现文本与视觉信息互为补充，进一步提高了事件挖掘的效果。大量实验结果表明基于动态关联规则与视觉近似片段的网络视频事件挖掘，在相同条件下有效改善了网络视频编辑以及文本特征鲁棒性的问题。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 话题检测与跟踪

1．2．2 特征轨迹

1．2．3 关联规则挖掘

1．2．4 多重对应分析

1．2．5 时空信息的事件挖掘

1．3 研究目标及拟解决的关键问题

1．3．1 课题研究目标

1．3．2 拟解决的关键问题

1．4 本文的主要研究内容及组织结构

第2章 基于视觉内容相关性与多重对应分析的网络视频事件挖掘研究

2．1 视觉近似关键帧

2．2 共同发生与多重对应分析的融合

2．2．1 多重对应分析

2．2．2 共同发生

2．2．3 文本与视觉信息的融合

2．3 实验与分析

2．3．1 实验数据

2．3．2 实验分析

2．4 本章小结

第3章 基于视觉特征轨迹与文本分布特征的网络视频事件挖掘研究

3．1 基于特征轨迹的事件挖掘

3．1．1 视觉特征轨迹

3．1．2 文本特征轨迹分析与研究

3．1．3 视觉特征轨迹分析与研究

3．1．4 文本与视觉特征轨迹的融合

3．2 实验与分析

3．2．1 实验数据

3．2．2 实验分析

3．3 基于内容的视觉特征轨迹与文本信息融合的事件挖掘

3．3．1 文本相关性

3．3．2 基于内容的视觉特征轨迹

3．3．3 文本与视觉信息的融合

3．4 实验与分析

3．4．1 实验数据

3．4．2 实验分析

3．5 本章小结

第4章 基于动态关联规则与视觉近似片段的网络视频事件挖掘研究

4．1 基于动态关联规则的事件挖掘

4．1．1 动态关联规则

4．1．2 分类

4．2 实验对比与分析

4．2．1 实验数据

4．2．2 实验分析

4．3 基于视觉近似片段的事件挖掘

4．3．1 视觉近似片段

4．3．2 视觉近似片段与文本分布特征的融合

4．3．3 关联规则挖掘

4．3．4 文本信息挖掘

4．3．5 多模态融合

4．4 实验与分析

4．4．1 实验数据

4．4．2 实验分析

4．5 本章小结

结论与展望

1 主要研究成果

2 今后研究方向

致谢

参考文献

攻读博士学位期间发表的论文及参加的科研工作