镜头边界检测中的不连续度设定与阈值判定问题研究

摘要

随着数字技术在视频中普遍应用,视频可以通过数字摄像机反复拍摄,通过电脑软件轻松剪辑,通过光盘永久存储,通过网络快速传输,通过数字荧幕精彩呈现。数字化使更多更好的视频走进了我们的生活。然而随着视频(特别是互联网视频)数量以爆炸式地增长,再加上视频内容本身的无结构无层次的特性,给视频的分类,索引,归档,搜索工作带来了巨大的压力。另一方面,You Tube等视频网站已经吸引了全世界网民的目光,人们每天将数以万计的视频上传至网站,而其中不少存在色情、血腥的内容,如何将这些视频从上传的海量视频中找出并剔除成了网站工作人员沉重的负担。就此问题,学界提出了基于内容的视频检索的研究课题。该领域借鉴文本内容分析的方法,首先实现视频内容的格式化,进而实现高层语义(内容)的分析和提取,最后根据这些语义完成视频的分类,索引,归档等。本文所研究的内容正是视频内容的格式化的最基础工作——视频镜头边界检测,即将在时间上连续的视频帧序列分解为镜头这一最小的视频结构单元。本文将镜头边界检测问题分为三个独立的子问题——特征选取、不连续度计算和阈值判定,在每个子问题中,分析总结了前人的研究方法和取得的成果,并针对不连续度计算和阈值判定两方面现有方法的一些不足,提出了以下两种方法:　　1.在MPEG压缩域中,本文选取I帧的DC系数,分块统计直方图,比较得不连续度,与时间因子和运动差异因子所决定的自适应χ2阈值比较判别镜头边界。该方法无需解码视频,实时性高。　　2.在非压缩域中,设定可变窗,分块比较窗中第一帧和最后一帧的YCbCr直方图得不连续度,并根据其大小,动态调整下一窗口跨度。该方法仅需解码少量的帧,特征选取更丰富,鲁棒性高。　　本文通过三段具有代表性的视频,分别对比了双因子自适应阈值与固定阈值,整体直方图与不同分块、不同权重直方图的实验结果,证明了本文提出的自适应阈值和分块直方图的优越性。本文提出的两种镜头边界检测算法,经过TRECVid权威数据库测试,在综合性能上优于一些同类算法,达到了预期的研究目标。

目录

摘要

ABSTRACT

第一章 绪论

1.1 研究背景

1.2 论文主要工作

1.3 论文结构

第二章 基础知识

2.1 镜头边界检测概述

2.1.1 镜头边界及其检测

2.1.2 镜头边界检测难点

2.1.3 特征选取

2.1.4 不连续度定义

2.1.5 阈值判定

2.1.6 边界类型检测

2.1.7 算法评价方法

2.1.8 测评视频TRECVid

2.2 MPEG-X 理论

2.2.1 MPEG 标准简介

2.2.2 MPEG 视频压缩原理

2.2.3 MPEG 视频分层结构

2.2.4 MPEG 运动补偿预测

2.2.5 MPEG-2 视频帧结构

2.3 卡方检验理论

2.3.1 卡方概念及公式来源

2.3.2 卡方应用领域

2.4 本章 小结

第三章 MPEMPEG 压缩域镜头边界检测

3.1 算法特征选取及不连续度定义

3.1.1 MPEG-2 流格式

3.1.2 I 帧分块χ~2 比较

3.2 双因子自适应阈值

3.2.1 时间因子阈值T_t(k)

3.2.2 运动差异因子阈值T_(md)(k)

3.2.3 自适应阈值T(k) 的选取

3.3 总体结构及步骤

3.3.1 算法整体框架

3.3.2 算法假设

3.3.3 算法步骤

3.4 算法测试

3.4.1 仿真实验条件

3.4.2 自适应阈值的性能测试

3.4.3 算法整体性能评价

3.4.4 误检问题分析

3.5 本章 小结

第四章 基于可变窗的镜头边界检测研究

4.1 基于分块直方图的不连续度设定

4.2 可变窗

4.3 算法总体介绍及算法步骤

4.3.1 算法整体框架

4.3.2 算法步骤描述

4.4 算法测试

4.4.1 仿真系统及初始条件

4.4.2 分块方式测试

4.4.3 可变窗测试

4.4.4 算法性能评价

4.5 本章 小结

第五章 结束语

5.1 本文创新工作

5.2 未来展望

参考文献

致谢

攻读硕士学位期间已发表或录用的论文

攻读硕士学位期间参加研究项目