基于RTSP的音视频传输系统研究与实现

摘要

家庭服务机器人逐渐从提供单一的家庭劳动服务发展为面向家庭用户提供多层次的信息化服务，其中包括视频监控，多传感器的环境监测等。家庭服务机器人中实现的音视频传输系统需要考虑音视频同步问题，以及面向家庭用户的多客户端等问题。本文研究的目的是以家庭服务机器人为应用背景，设计并实现其中的音视频传输子系统，并重点研究系统中的音视频同步技术。主要工作包括如下几个方面的内容:
　　(1)介绍了家庭服务机器人的发展趋势，对音视频同步技术的研究现状进行深入分析，对RTSP(Real Time Streaming Protocol)协议以及Android系统下的音视频解码技术的现状进行研究。接着对文中所涉及的流媒体技术进行阐述，对音视频数据的渐进式下载和实时流式传输方式进行分析，并重点研究了用于实时流式传输方式的流媒体传输协议。
　　(2)针对音视频传输系统中存在的音视频失同步问题，进行重点研究。在大量查阅文献和分析得出引起音视频失同步现象的原因的基础上，提出了一种基于网络延时检测的自适应音视频同步方案。该方案通过将网络时延波动的方差和RTCP(Realtime Transport Control Protocol)协议的网络状况的拥塞控制机制结合起来，完成网络状况的判定，并基于此选择不同网络状况下的同步方案。在高延迟网络下采用基于同步数据节点和时间戳的音视频同步技术，而在低延迟网络下采用接收端基于时间戳的同步技术。并搭建实验平台对该方案进行仿真实验，实验结果表明能很好的实现音视频同步。
　　(3)音视频流媒体传输系统设计与实现。
　　在服务器端主要深入分析Live555的源码，重点研究流媒体服务器的工作原理。在此基础上，针对Live555存在的一些性能问题和功能缺陷，进行二次开发，很好地改善了存在的性能问题，扩展了其作为流媒体服务器的功能。
　　在客户端主要设计并实现了基于Android平台的多媒体应用软件，详细介绍了在Android平台上完成的音视频播放过程。通过移植FFMPEG和SDL到Android平台，开发了Android平台下的全格式支持的多媒体播放器，很好地解决了Android平台对于多媒体文件格式和音视频编码格式支持有限的问题。并基于此提出了Android平台下的音视频同步算法，实现了音视频的同步播放，而且提出的同步算法具有非常好的跨平台特性，可以方便地移植到其他客户端平台。
　　(4)介绍用于运行整个音视频传输系统的软硬件环境，在系统部署完成后进行相关的测试工作，测试结果表明，系统能很好地满足音视频传输要求。

目录

摘要

第一章 绪论

1．1 课题背景与研究意义

1．2 国内外研究现状

1．2．1 音视频同步技术研究现状

1．2．2 RTSP协议与Android系统音视频解码技术研究现状

1．3 课题来源与本文的研究内容

1．4 本文的结构与章节安排

第二章 流媒体技术概述

2．1 音视频的流式传输概述

2．1．1 两种传输方式

2．1．2 流媒体技术原理

2．2 流媒体传输协议

2．2．1 RTP／RTCP协议

2．2．2 RTSP协议

2．2．3 SDP

2．3 实时流式传输中的拥塞控制

2．4 流媒体开源项目简介

2．4．1 Live555流媒体解决方案

2．4．2 FFMPEG开源项目

2．5 本章小结

第三章 音视频同步技术研究

3．1 音视频同步的主客观评价标准

3．2 音视频失同步原因分析

3．3 基于网络延时检测的自适应音视频同步方案

3．3．1 实时网络状况检测

3．3．2 高延迟网络下的音视频同步技术研究

3．3．3 低延迟网络下的音视频同步技术研究

3．4 算法实验与分析

3．4．1 网络延时检测算法实验

3．4．2 高延迟网络下音视频同步算法实验

3．5 本章小结

第四章 流媒体传输系统设计与实现

4．1 流媒体传输系统总体方案设计

4．2 基于改进的Live555的流媒体服务器

4．2．1 流媒体服务端总体架构

4．2．2 Live555流媒体服务器工作原理

4．2．3 音视频数据采集以及编码传输

4．2．4 优化Live555的IO模型

4．2．5 扩展Live555对MP4等多媒体格式的解析

4．2．6 基于Live555的实时视频转播的实现

4．3 流媒体系统客户端研究

4．3．1 流媒体客户端总体分析与设计

4．3．2 移植FFMPEG到Android平台

4．3．3 基于FFMPEG和SDL的音视频解码与同步研究

4．4 本章小结

第五章 系统测试

5．1 系统软硬件环境及平台搭建

5．2 系统测试

5．2．1 Live555的实时转发功能测试

5．2．2 Live555对于MP4格式的支持

5．2．3 客户端对本地特殊视频编码格式支持视频功能测试

5．3 测试结果分析

5．4 本章小结

总结与展望

参考文献

攻读学位期间发表的论文

声明

致谢