流媒体中间件及物联网视频系统研究

摘要

本文设计了一套符合我国自主研发的AVS视频标准的物联网视频系统。系统分为视频传感服务器、解码播放客户端、流媒体中间件三大部分，通过对各模块的设计，比较完整的实现了一套实时、清晰以及可以运用在局域网、广域网上的物联网视频系统。
　　首先，设计实现了1路点对点视频处理和传输系统，包括1个视频传感服务器和1个解码播放客户端。其中视频传感服务器建立在TI公司的TMSDM6446达芬奇平台上，主要是采用开发板自带的DVSDK套件的驱动程序控制传感摄像头采集视频;通过CCS将AVS编码器封装移植在开发板DSP上进行视频流的编码压缩;采用SIP协议和RTP协议将数据在网络上进行发送。解码播放客户端支持Windows和Linux两个平台。利用MFC设计客户端的Windows界面，将接收到的流媒体压缩数据通过FFMPEG库进行解码，利用Directshow完成数据显示;利用QT设计Linux平台界面，将得到的流媒体数据送入GAVS进行解码，然后用SDL显示图像。并且在两个平台分别设计了本地多画面播放器用来播放本地视频。
　　物联网视频传输系统一般包括多个视频传感服务器或解码播放客户端，涉及直接媒体流传输和文件生成媒体流传输两种不同的传输方式，为此需要引入流媒体中间件解决信息交换和通信。
　　其次，在Linux平台设计实现了一个流媒体中间件，它位于应用程序下层，对视频流数据进行管理及分配，解决了因通信线路过多、数据量过大造成的通信阻塞问题，使得整个系统更加合理，数据传递更加流畅。流媒体中间件利用SIP协议和RTP协议作为数据转发机制，用来管理调度视频流数据;通过配置Opensips服务器实现了在不同网络环境下穿越NAT网关的方法;提出并实现了分布式中间件的解决方案，使系统能够部署更多视频终端，并将视频传感服务器发来的数据记录在网络上，以便用户可以随时随地获取历史视频数据。
　　通过对整套系统的性能测试，在16路视频传感服务器和16个解码播放客户端共同运行的情况下，能保证D1分辨率的画面实时流畅，占用网络资源明显更少。

目录

声明

摘要

第1章 绪论

1．1 选题意义及研究现状

1．2 工作需要的关键技术

1．2．1 物联网

1．2．2 SIP协议与RTP协议

1．2．3 流媒体中间件

1．2．4 OpenSIPS

1．2．5 NAT

1．3 论文主要工作及章节安排

第2章 系统整体架构

2．1 系统工作原理

2．1．1 视频传感服务器

2．1．2 解码播放客户端

2．1．3 流媒体中间件

2．2 系统实现方案的论证和比较

2．2．1 流媒体中间件建立会话通路的设计

2．2．2 SIP服务器突破NAT网关的方式选择

2．2．3 选择网络存储阵列方案

2．3 开发环境的搭建

2．3．1 视频传感服务器开发环境的搭建

2．3．2 搭建流媒体中间件开发环境

2．3．3 搭建解码播放客户端开发环境

2．4 本章小结

第3章 视频传感服务器的实现

3．1 设计方案

3．2 模块划分及实现流程

3．3 数据采集模块的实现

3．4 视频编码模块的实现

3．4．1 TCONF脚本文件

3．4．2 server．cfg脚本文件

3．5 数据控制模块的实现

3．5．1 视频控制

3．5．2 信令控制

3．5．2 数据传输控制

3．6 编码器性能的优化

3．7 小结

第4章 研究设计开发客户端软件

4．1 设计方案

4．2 设计流程与模块划分

4．3 控制模块的设计实现

4．4 解码模块的设计实现

4．4．1 Windows操作系统下的解码工作

4．4．2 Linux操作系统下的解码工作

4．5 设计实现显示模块

4．5．1 利用DirectShow进行数据显示

4．5．2 利用SDL多媒体库进行数据显示

4．6 实现回放功能

4．6．1 Windows播放本地视频

4．6．2 Linux本地视频播放

4．7 本章小结

第5章 设计实现流媒体中间件

5．1 流媒体中间件需要解决的通信问题

5．1．1 中间件

5．1．2 流媒体中间件

5．2 设计规划

5．3 实现数据转发

5．3．1 实现SIP控制协议

5．3．2 实现RTP传输协议

5．4 非局域网条件下实现中间件

5．4．1 穿越NAT网关

5．4．2 配置OpenSips服务器

5．5 分布式中间件的设计与实现

5．5．1 流媒体数据的存储传输模式

5．5．2 分布式存储设备

5．5．3 实现视频服务

5．6 本章小结

第6章 总结与展望

6．1 工作总结

6．2 工作展望

参考文献

致谢

攻读硕士学位期间发表的论文和科技成果