基于视觉和文本的新闻视频检索系统实现

摘要

随着网络和多媒体技术的发展，数字视频信息呈现出爆炸式增长趋势，每天产生海量的视频多媒体数据，如何从中检索出用户感兴趣的视频数据，是当前计算机检索技术的热门方向之一。除传统的文本检索外，基于视觉信息的检索已成为计算机科学的重要研究课题。本文以新闻联播视频为研究对象，根据新闻联播视频本身特有的组织、结构和检索方法，通过视频图像的视觉特征（如颜色、纹理、局部特征点、NDK等）进行检索，并结合传统的文本检索，构建了基于视觉和文本的新闻联播视频检索系统。对新闻视频检索来说，故事的分割是整个过程中的重点和难点。本文在前人工作的基础上，将关键帧中主持人帧和字幕帧进行识别区分，再辅以音频信息检测作为故事分割的依据，大大提高了新闻故事分割的完整性和准确性，进而提高了新闻视频检索的可靠性和有效性。
　　 本文研究工作如下:
　　 (1)实现了新闻视频数据的网络获取。多媒体信息检索系统首先要有检索的数据，在对中国网络电视台(CNTV)后台数据进行分析后，通过IP地址解析，获取CNTV新闻视频数据的URL链接及该视频的id、日期等信息。
　　 (2)分析了关键帧提取方法。综合分析了当前已有的关键帧提取技术，选用适合新闻联播视频的关键帧提取方法。
　　 (3)提出了播音员帧、字幕帧结合静音点检测的新闻视频分割方法。对主持人帧、字幕帧进行了识别、提取，对静音点进行检测，并综合进行新闻视频的故事分割。
　　 (4)构建了新闻联播视频检索系统的检索平台。建立了新闻联播视频的检索平台，用户可以通过颜色、NDK、故事内容、文本、时间等对新闻视频进行检索。

目录

声明

摘要

第1章 绪论

1．1 课题研究的意义和背景

1．2 国内外研究现状

1．3 新闻联播视频中常见的的相关术语

1．4 论文主要研究工作

第2章 新闻视频数据获取及特征介绍

2．1 新闻联播视频来源

2．2 新闻联播视频结构特征

2．3 特征分析

2．3．1 视觉特征

2．3．2 听觉特征

2．4 基于各种视觉特征的检索

2．4．1 基于颜色的检索

2．4．2 基于纹理的检索

2．4．3 基于形状的检索

第3章 关键帧提取

3．1 关键帧技术概述

3．1．1 关键帧提取原则

3．1．2 关键帧应用

3．2 关键帧提取方法介绍

3．2．1 基于位置的关键帧提取方法

3．2．2 基于内容分析的关键帧提取的方法

3．2．3 基于运动分析的关键帧提取方法

3．2．4 基于聚类的关键帧提取方法

3．2．5 关键帧提取算法小结

3．3 本文采用的关键帧提取方法及实验结果

第4章 主持人帧和字幕帧的识别

4．1 主持人帧的识别

4．1．1 主持人特征分析

4．1．2 主持人镜头检测

4．1．3 基于模板匹配的主持人检测

4．1．4 实验分析

4．2 字幕帧识别

4．2．1 字幕检测提取算法综合分析

4．2．2 基于时间和空间分布特征的字幕提取

第5章 音频特征检测

5．1 音频特征分析

5．2 静音片段检测

5．3 说话人切换检测

5．3．1 Mel频率倒谱系数

5．3．2 高斯模型

第6章 新闻故事分割

6．1 相关新闻故事分割方法介绍

6．1．1 基于音频的分割方法

6．1．2 基于主持人／字幕的分割方法

6．1．3 音视频相结合的分割方法

6．1．4 基于上下文信息的分割方法

6．2 主持人帧、字幕帧、音频信息相结合的分割方法

6．2．1 新闻视频故事单元特征分析

6．2．2 新的多信息结合分割

第7章 新闻视频检索系统

7．1 基于时间的浏览

7．2 基于近似重复关键帧的浏览

7．3 基于颜色的浏览

7．4 基于故事内容的浏览

结论

致谢

参考文献

攻读硕士学位期间发表的论文及科研成果