Linux下MPEG的视频流处理架构设计及关键技术研究

摘要

该文提出了一个集多种视频流采集方式、视频数据编码、分析、建模、存储、检索、解码、多模式播放等功能为一体的视频流处理架构LVS/Frame,对其中的关键技术进行了研究,并在Linux下予以实现.该架构重点考虑消费电子领域,可在桌面应用和嵌入式应用间平滑过渡.LVS/Frame架构的视频采集部分支持多数常见的视频流格式,如模拟/数字电视广播、网络流媒体、DVD视频等,并对模拟视频流进行数字化和MPEG-2编码.LVS/Frame架构支持PVR/DVR技术,该技术是目前国外研究的热点.镜头切换检测是视频数据处理的基础性和关键性工作,该文提出的基于压缩域的应用MPEG-2 Ⅰ帧DC缩略图的镜头切换检测算法只需做极少量的软件解码就可有效检测镜头切变和镜头渐变,实验结果表明该算法具有很高的准确率和查全率.该文在镜头切换检测基础上提出的电视节目类型自动分析方法,该方法适应广告节目过滤、新闻节目检索等应用需求.视频数据具有复杂的时序特征和语义关系,传统的基于关键字的检索模式已无法适应视频检索要求,基于内容的检索(CBR,Content Based Retrieval)被提了出来.该文将视频流按故事单元、镜头、关键帧等多个层次进行组织,并对视频数据进行特征提取和建模,给出了结合文件系统和MySQL关系数据库的数据管理和检索方法.事实表明,LVS/Frame架构是实用的和开放的,展望后续的工作,我们将在四个方面展开:首先,研究如何利用相关语音信息增强视频数据分析的能力;其次,在基于内容的视频检索方面挖掘更多的元数据和提供更友好的用户界面;再次,对数字视频流尤其是不使用MPEG-2/MPEG-4编码技术的网络流媒体的解码、镜头切换检测算法等进行进一步研究;最后,使该框架更符合MPEG-7多媒体内容描述标准的技术要求.

目录

文摘

英文文摘

第一章引言

1.1研究背景

1.2研究目的

1.3论文内容与结构

1.4创新与成果

第二章理论基础

2.1颜色空间与视频信号

2.2 V4L2视频接口

2.3 MPEG标准

2.3.1 MPEG标准概述

2.3.2 MPEG-2原理分析

2.3.4 MPEG-2的编码过程

第三章LVS/Frame视频流处理架构

3.1 LVS/Frame架构描述

3.2 LVS/Frame的软硬件开发环境

第四章视频流的采集与MPEG编码

4.1模拟视频流采集及MPEG-2编码

4.1.1模拟视频流的分类和制式

4.1.2数据采集及MPEG-2编码模块

4.1.3软件实现

4.1.4自动搜索频道算法

4.2数字视频流采集

4.2.1 DVD数据采集

4.2.2网络流媒体数据采集

4.2.3数字电视广播信号采集

4.3 MPEG-4编码技术介绍

第五章镜头切换检测及视频流分析

5.1国内外相关研究

5.1.1基于非压缩域的算法

5.1.2基于压缩域的算法

5.2改进的镜头切换检测算法

5.2.1算法的基本思想

5.2.2算法描述及实现

5.2.3实验结论

5.2.4节目类型分析

5.3文本定位技术

第六章基于内容的视频流检索

6.1视频流结构及特征提取

6.2数据模型

6.2.1 LVS/Frame中的概念模型

6.2.2多媒体数据库的结构模型

6.2.3 LVS/Frame中的结构模型

6.3基于内容的检索和播放

6.3.1浏览关键帧检索

6.3.2特征库检索

6.4 MPEG-7对CBVR的启示

第七章MPEG硬件解码技术研究与实现

7.1 MPEG-2视频流解码分析

7.2 CLE266硬件解码技术研究与实现

7.2.1 CLE266功能及技术

7.2.2 CLE266编程接口与数据结构

7.2.3 MPEG-2硬件解码的具体实现

7.3实验结论

第八章结束语

参考文献

致谢

攻读学位期间发表的学术论文目录

论文独创性声明和论文使用授权声明