基于内容的新闻视频分析方法研究

摘要

视频数据的高速增加和视频种类的快速发展对视频处理与检索领域提出了更高的要求。较之传统文本信息，视频具有形象、生动、表现力强和信息量大等特点；另一方面，与文本信息相比，视频结构复杂，信息量巨大，内容难以描述，其单向一次性播放，难以定位与检索。 新闻视频作为众多视频种类中最为重要的一种，以语音、文字和画面多种信息为依托，浓缩提炼了每天发生的关键事件，因此成为人们进行信息分类和检索的首要关注对象。与其它类型的视频相比，新闻视频具有层次清晰、结构明确等特点，易于分割、整理、检索。就新闻视频的语义结构进行视频信息提取并分割，为下一步视频检索和索引做准备，是研究领域长期关注的热点研究方向。本文就此方向的关键技术进行了研究，包括口播帧检测、字幕检测以及字幕识别，并在此基础上构造了新闻视频分析系统。 口播帧检测是划分新闻单元、进行新闻标引的关键环节。现存的大部分口播帧识别方法均依赖于模板匹配，缺乏通用性。本文提出一种基于口播帧分布特点、无须模板的检测算法。实验证明，该算法实用性强，应用范围广，准确率基本达到100％。字幕检测是提取视频中文字信息的第一步，旨在准确定位新闻视频中的新闻标题字幕、滚动新闻以及访谈标准字幕，为视频段落提供最佳的文字辅助信息。本文采用基于边缘检测的字幕检测算法，以边缘检测及字幕纹理特征为基础，分别搜索文字区域的横向边界与纵向边界。与其它算法相比，本文算法定位准确，实用性较强。在字幕检测的基础上，本文提出了一种进行边缘检测的局部阈值文字分割算法，该算法能够自适应的计算阈值。与传统的方法相比，即使在复杂多变的背景区域下，本文算法仍能克服低对比度、笔画冗繁等不利因素，得到较理想的识别结果。

目录

文摘

英文文摘

声明

第一章绪论

1.1 课题来源

1.2 课题研究的目的和意义

1.3 国内外研究概况

1.4 论文的主要研究内容

第二章基于内容的新闻视频分析系统简述

2.1 基于内容的新闻视频分析系统框架

2.1.1视频的结构组成

2.1.2视频的语义特征

2.1.3新闻视频的语义结构划分

2.2 基于内容的新闻视频分析系统框架

2.2.1系统框架

2.2.2关键技术研究

2.3 基于内容的视频检索系统的发展

2.3.1传统视频检索系统的局限性

2.3.2新一代基于内容的视频检索系统

第三章基于时空分布特征的口播帧检测算法

3.1 口播帧检测算法概述

3.2 基于时间方差聚类的检测算法

3.2.1 口播帧特点分析

3.2.2算法原理简述

3.3 口播帧检测过程

3.3.1候选镜头检测

3.3.2相似镜头聚类

3.3.2检测过程

3.4 基于时空分布特征的口播帧检测算法实验

3.4.1实验结果

3.4.2实验结果分析

第四章基于边缘特征的文字检测及识别算法

4.1 文字检测算法概述

4.1.1文字检测的意义

4.1.2文字检测的研究内容

4.1.3文字检测及识别的主要研究方法

4.1.4本文算法概述

4.2 基于Canny算子边缘检测的文字区域检测

4.2.1边缘检测

4.2.2文字检测算法

4.3 基于边缘检测的文字自适应识别方法

4.3.1新闻字幕特征分析

4.3.2字幕识别过程

4.3.3字幕识别效果展示

第五章新闻视频中的文字检测与分析

5.1 新闻视频分析系统关键算法

5.1.1 图像跟踪

5.1.2多帧综合文字识别

5.1.3滚动新闻条的处理

5.1.4人物访谈字幕提取

5.2 新闻视频分析系统实验结果

5.2.1系统界面

5.2.2实验数据

5.3 算法推广——广告视频中的文字识别

5.3.1 多解析度金字塔识别模型

5.3.2实验结果

第六章结论与展望

6.1 结论

6.2 展望

参考文献

作者在攻读硕士学位期间公开发表的论文

作者在攻读硕士学位期间所作的项目

致谢