达芬奇环境下异构双核处理器多媒体信息处理系统设计与实现

摘要

随着嵌入式技术的不断发展以及无线快速数据通信需求的逐步增长，音视频等多媒体应用的发展也越来越受到人们的重视。人们迫切需要一种费用低廉且高质量的音视频实时通信产品，因此，音视频多媒体的开发具有广阔的发展空间。嵌入式处理器结构的不断发展和改进也为多媒体应用的开发提供了硬件基础。其中比较典型的有TI公司基于ARM+DSP异构双核架构的DM3730处理器，它是专门针对嵌入式系统设计的开放多媒体应用处理器，足以满足现阶段的多媒体通信的需要。而在操作系统方面，采用微内核架构的QNX实时操作系统在嵌入式系统终端领域逐步发展，以其实时性、安全性和可靠性等特点在通信领域占据一席之地。
　　 VoIP技术由于其经济、灵活、功能丰富等优点越来越广泛地应用，而其与无线技术结合产生的无线VoIP通信技术是其最重要的发展趋势之一。经过对现有的无线VoIP通信领域相关技术的研究，本文针对实际情况开展了基于ARM+DSP异构双核平台下的音视频实时通信系统的研究与设计。在本系统设计中，采用了模块化的设计思想，完成了达芬奇子系统软件模块、SIP信令控制模块和无线网络传输模块等主要部分组成。该系统可以极大地提高消费者对于嵌入式音视频实时通信的体验。
　　 本论文通过深入分析ARM+DSP异构双核处理器架构及其软件开发模式，并结合VoIP音视频多媒体通信技术进行系统设计。系统首先完成了整个系统的方案论证，确定各个部分的技术要点，然后根据ARM+DSP异构双核处理器的硬件特点，选定达芬奇软件框架进行异构双核系统应用程序的开发。依据达芬奇软件框架设计的原则和规范，实现了从底层语音和视频算法库的xDM标准封装到上层音视频实时通信应用程序的开发。将采用微内核架构的QNX嵌入式实时操作系统作为ARM核上的操作系统，通过跨平台的QT界面设计软件完成嵌入式终端操作界面的设计，实现了系统通信的控制和音视频播放，人机交互界面简洁友好。最后，搭建了OpenSIPS服务器并完成了终端上的SIP和RTP协议功能。通过对各个模块的功能和性能进行测试，结果显示整个系统运行良好，达到了当初论文设计的初衷，最终可以通过本系统进行音视频通信。

目录

声明

摘要

第1章 绪论

1．1 引言

1．2 课题研究背景及意义

1．2．1 课题的研究背景

1．2．2 课题的研究意义

1．3 研究目的和主要技术路线

1．4 课题研究与实现的难点

1．5 论文的主要工作及章节安排

第2章 异构双核处理器平台下达芬奇环境构建

2．1 DM3730异构双核处理器

2．2 DM3730处理器平台应用开发

2．2．1 DM3730处理器平台开发面临的问题

2．2．2 达芬奇技术平台构成

2．2．3 DM3730平台下达芬奇软件框架设计

2．3 本章小结

第3章 嵌入式系统多媒体信息处理系统总体设计

3．1 系统总体框架设计

3．2 系统音视频采集与播放

3．3 音视频编解码技术

3．4 音视频同步技术

3．5 系统多线程应用设计

3．6 操作系统选择

3．7 系统开发环境

3．8 本章小结

第4章 多媒体信息终端设计与实现

4．1 系统客户端框架设计

4．2 G729A和H．264算法的xDM标准封装

4．3 Codec Engine中间组件整合

4．4 系统视频编解码流程

4．5 系统终端算法与存储优化

4．5．1 算法优化

4．5．2 存储优化

4．6 本章小结

第5章 多媒体信息服务端设计与实现

5．1 系统服务器的选择

5．2 系统服务器端设计

5．2．1 系统服务器和MySQL数据库的整合

5．2．2 系统服务器的应用实现

5．3 SIP协议的实现

5．3．1 SIP协议网络结构

5．3．2 SIP协议实现

5．4 RTP协议的实现

5．5 本章小结

第6章 达芬奇环境在QNX下的移植与图形界面开发

6．1 达芬奇环境在QNX下的移植

6．1．1 QNX嵌入式操作系统体系结构

6．1．2 达芬奇环境在QNX操作系统下的移植

6．2 QNX下图像化应用界面设计

6．3 本章小结

第7章 系统性能测试

7．1 测试环境的搭建

7．2 系统性能测试

7．2．1 音视频算法库接口封装兼容性测试

7．2．2 音视频编解码性能测试

7．2．3 服务器端性能测试

7．2．4 系统呼叫建立时间和传输性能测试

7．2．5 视频通话功能测试

7．2．6 系统CPU负载测试

7．3 本章小结

总结和展望

致谢

参考文献

攻读硕士学位期间发表的论文及科研成果