多媒体客户端视音频引擎技术研究与实现

摘要

实时协同工作平台、即时通信和网络视频会议等软件都是以多媒体客户端方式工作的。为多媒体客户端提供视音频技术支持的视音频引擎费用昂贵而且不易维护，因此，自主研发高性能视音频引擎是十分必要的。
　　 论文在对现有视音频技术进行广泛讨论的基础上，深入研究了Microsft DirectX开发的基本原理和基本功能，设计了一套基于DirectX技术的视音频采集播放方案，并结合H.264与Speex编解码器实现了一套完整的视音频引擎。本引擎将多媒体客户端视音频数据处理的各个过程紧密结合起来，对应用开发人员屏蔽了视音频底层复杂概念，为多媒体客户端应用开发提供了清晰的接口。通过对集成本引擎的多媒体客户端进行测试，结果表明本视音频引擎符合设计要求，能够提供稳定高效的实时视音频服务。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题研究的背景

1.2国内外相关研究现状

1.3论文的主要工作

1.4论文的组织结构

第二章关键技术

2.1 DirectX技术

2.1.1 DirectShow技术

2.1.2 COM技术

2.1.3 DirectShow的概念与架构

2.2 H.264/AVC视频编解码技术

2.2.1 H.264/AVC编码标准

2.2.2 H.264/AVC视频编解码器

2.2.3 X264编码器

2.3 Speex音频编码技术

2.3.1 Speex音频编码技术概况

2.3.2 Speex库的功能支持

第三章视音频引擎的设计

3.1视音频引擎整体结构设计

3.1.1功能结构划分

3.1.2 API设计

3.2视音频数据采集分析

3.2.1利用DirectShow进行视音频数据捕获

3.2.2色彩格式的设定

3.3视音频数据编解码分析

3.3.1视频编解码

3.3.2音频编解码

3.4视音频数据播放分析

3.4.1视频播放

3.4.2音频播放

3.4.3混音方案

3.5开发环境与支持库

第四章视音频引擎的详细实现

4.1视音频引擎动态链接库的设计

4.2视频处理相关接口的实现

4.2.1视频采集

4.2.2视频窗口操作

4.2.3视频编解码器操作

4.3音频处理相关接口的实现

4.3.1麦克风功能操作

4.3.2 Speex音频编解码操作

4.3.3利用DirectSound进行语音播放

第五章视音频引擎的封装与测试

5.1视音频引擎的封装

5.2测试

第六章结束语

致 谢

参考文献