基于语义的视频分割方法研究

摘要

随着计算机、通信和多媒体技术的不断发展,视频信息快速增长,如何从海量视频数据中快速有效地检索出所需要的信息,成为视频相关领域里的研究热点。由于视频数据的无结构化特点,视频检索必须以视频分割为基础。所以,视频分割技术具有重要的研究意义和应用价值。
　　 视频分割的过程就是将无结构化数据分割为“帧--镜头--场景--视频节目”的层次结构的过程。由于存在语义鸿沟,对视频进行语义分割是比较困难的。本文对“帧--镜头”(镜头检测)和“镜头--场景”(场景构造)两个层次进行了深入研究,分别对这两步进行了改进,主要工作如下:
　　 首先,针对已有镜头检测方法中阈值判定自适应性差的问题,对一种基于滑动窗口的镜头边界检测方法作了改进。在利用HSV(Hue,Saturation,Value)直方图计算出帧间不连续值的基础上,缩小滑动窗口内选取样本的比较粒度,利用高斯模型生成自适应阈值,同时检测出镜头渐变和切变。
　　 其次,针对视频分割中存在的语义鸿沟问题,采用语义矢量来建立低层特征和高层语义之间的关联。根据镜头关键帧画面语义的不同,提取镜头关键帧的颜色特征,并将其归一化；然后利用支持向量机对归一化后的特征量进行语义分类预测,从而生成语义矢量；将生成的语义矢量应用于已有的重叠镜头链方法,对镜头关键帧进行聚类,按语义差别构造出不同场景。
　　 最后,选取不同风格的非压缩域视频序列进行实验。结果表明,改进后的镜头边界检测方法可以准确快速地定位镜头边界,查准率较以往方法有一定提高；语义场景构造能够取得较为满意的效果。

目录

文摘

英文文摘

第一章 绪论

1.1 课题背景及研究意义

1.2 视频分割技术研究现状

1.2.1 研究现状

1.2.2 存在的问题

1.3 论文主要工作

1.4 论文组织结构

第二章 视频分割相关技术

2.1 视频内容结构化

2.2 镜头检测和表达

2.2.1 非压缩域的镜头检测

2.2.2 压缩域的镜头检测

2.3 场景构造算法

2.4 支持向量机的原理和应用

2.4.1 支持向量机的基本原理

2.4.2 支持向量机在视频分割中的应用

2.5 本章小结

第三章 语义视频分割方法

3.1 引言

3.2 改进的镜头边界检测方法

3.2.1 阈值选择中存在的问题

3.2.2 帧间不连续值统计

3.2.3 滑动窗口设置

3.2.4 自适应阈值的选取与边界的判定

3.3 语义概念矢量

3.4 基于支持向量机的语义视频场景构造

3.4.1 关键帧特征的提取

3.4.2 支持向量机的构造和训练

3.4.3 语义的分类预测

3.4.4 基于语义矢量的重叠镜头链算法

3.5 本章小结

第四章 实验与结果分析

4.1 实验环境

4.1.1 硬件及平台

4.1.2 实验数据

4.2 视频分割性能评价指标

4.3 实验及分析

4.3.1 镜头边界检测阶段

4.3.2 场景构造阶段

4.4 本章小结

第五章 总结及未来工作

5.1 总结

5.2 未来工作

致谢

攻硕期间从事的科研工作及取得的研究成果

参考文献