基于内容的电影视频检索和精彩视频剪辑系统研究

摘要

基于内容的视频、音频检索一直是近年来的研究热点之一。所谓“基于内容”的检索是与以往基于整个文件的检索相对应,是基于视音频数据文件局部且与内容相关的检索。精彩视频剪辑属于视频摘要范畴,它是一系列从原始视频序列中提取的由一些简短的精彩视频片段组成的集合。电影或电视剧视频是人们日常生活中最喜闻乐见也是最常见的视频内容,本课题以此类视频为研究素材,目的是实现实时爆炸和枪击场景的检测,主要进行了以下几个方面的研究:1)针对视频中爆炸场景的主色和音频特点,提出了一种基于声像特征的实时爆炸场景检测算法;2)捕捉视频中枪击事件瞬间的帧间变化信息和相应音频信息,提出了一种基于声像特征的实时枪击场景检测算法;3)从原始视频中切割检索到的精彩视频场景合并成单独精彩缩略视频,并可进行相关信息编辑,形成比较完备的视频摘要系统;4)形成关键帧-精彩视频场景的二级浏览结构,可对分割结果或整个视频片断进行播放,基本实现播放器的功能。本课题开发的“电影精彩场景检测及精彩视频剪辑系统”层次分明,界面友好,基本满足了用户实时性要求。系统对所采用的算法进行了大量试验验证并附有试验结果,最后指出了后续研究的方向。

目录

摘要

ABSTRACT

１绪论

1.1 课题研究背景及意义

1.2 基于内容的视频检索理论基础

1.2.1 基本概念

1.2.2 关键技术综述

1.3 国内外研究现状

1.4 课题主要工作

1.4.1 研究内容

1.4.2 研究难点

2 框架构建

2.1 用DIRECTSHOW 技术捕获视频帧

2.2 基于内容的视频检索模块

2.3 基于内容的音频检索模块

2.4 视频检索浏览与视频摘要

3 精彩视频场景检测

3.1 视频图像特征的提取

3.1.1 爆炸枪击场景的特点

3.1.2 爆炸场景的预检测

3.1.3 枪战场景的预检测

3.2 音频特征提取

3.2.1 音频特征提取

3.2.2 爆炸枪战场景的音频检索

3.3 视音频特征综合检索

3.4 试验结果和分析

3.5 视频摘要

3.5.1 视频摘要的应用

3.5.2 视频摘要的分类和方法

3.5.3 生成独立视频摘要

4 系统介绍

4.1 运行环境

4.2 功能简介

4.2.1 视频检索和浏览

4.2.2 视频摘要生成

5 总结与展望

5.1 本文工作与成果总结

5.2 存在的不足与今后研究方向

致谢

参考文献

附录 1 音频特征向量

附录 2 电影视频检索结果

在校期间发表论文