实现多媒体数据在移动终端设备上展现的方法及其应用系统

摘要

本发明公开了一种实现多媒体数据在移动终端设备上展现的方法，包括：建立移动终端设备信息数据库的步骤；对多媒体数据的内容进行分类、提取和解析的步骤；得出多媒体数据与移动终端的适配方案的步骤；根据适配方案对多媒体数据处理的步骤；对多媒体数据Qos优化的步骤。本发明还公开应用上述方面的移动多媒体网关系统，以及应用该移动多媒体网关系统的移动多媒体网关服务器。本发明兼顾了手机、PDA(掌上电脑)、PAD(平板电脑)等移动终端设备，并且有效减少了移动网络环境对多媒体数据的影响，实现了多媒体数据在不同移动终端设备上都享受较高的多媒体服务。本发明具有程序简单、处理效率高、处理质量好等优点。

说明书

技术领域

本发明涉及实现多媒体数据在移动终端设备上地展现的方法，还涉及实现多媒体数据在 移动终端设备上展现的移动多媒体网关系统。

背景技术

随着人们生活水平的提高，人们对体验效果的追求越来越高。在当今时代里，移动终端 设备的数量突飞猛进的增长，而且种类繁多，有手机、PDA(掌上电脑)、PAD(平板电脑)等 移动终端设备。但是，每一种移动设备的操作系统、性能、内存容量、屏幕尺寸、分辨率以 及支持的多媒体数据的格式等都不太一样，因此在不同移动终端设备上享受同样的多媒体服 务也会遇到各种各样的问题。

除了上述的问题的外，还存在另一个问题：在移动网络环境下难以保证移动多媒体服务 的体验效果。虽然随着移动通信技术的发展，网速从2.5G到3G，甚至到未来的4G。但是， 由于移动网络环境极其复杂，网络速度不稳定、带宽资源利用率低而且带宽窄，难以确保提 供稳定流畅的高质量服务。因此，移动终端设备上的多媒体服务仍然难以满足人们的要求。

目前，虽然也有许多专门针对多媒体数据进行处理的方法，但是还存在以下不足：1、针 对来自同一移动终端设备多媒体数据的请求，每次都要根据请求头里携带的移动终端设备所 具有的特征信息来重新得出多媒体内容的最佳适配方案，程序繁琐，影响处理的效率；2、现 有的方法对多媒体数据的处理大多数是进行整体格式转换，对多媒体数据具体内容的分类处 理方法上不够完善，难以达到理想效果；3、容易受移动网络本身所存在的如：带宽资源窄、 网速易变化、受外界干扰影响大、丢包率高等问题的影响。

发明内容

本发明所要解决的技术问题在于提供一种

为了解决上述技术问题，本发明的技术方案是这样：

一种实现多媒体数据在移动终端设备上展现的方法，包括：

建立移动终端设备信息数据库的步骤；

对多媒体数据的内容进行分类、提取和解析的步骤；

得出多媒体数据与移动终端的适配方案的步骤；

根据适配方案对多媒体数据处理的步骤；

对多媒体数据Qos优化的步骤；

建立移动终端设备信息数据库，用于搜集访问多媒体数据的移动终端设备的信息，将各 个移动终端设备的信息存储到数据库中，定期更新移动终端设备的信息，并将各移动终端设 备首次请求多媒体数据内容的最佳适配方案的信息存储到数据库中；

将输入的多媒体数据进行分析，根据多媒体内容的类型特征分别提取出文本、图片、音 频、视频等部分，并对多媒体的各个组成部分进行详细的分析，得到每个部分的具体特征信 息；

根据移动终端设备的特征信息以及多媒体数据中的文本、图片、音频、视频等各个组成 部分的特征信息，从而得出各个组成部分的最佳适配方案，并对多媒体数据进行处理，包括 格式转换、编解码、加解密等操作；然后，通过一系列保障策略来提高服务质量。多媒体Qos 优化分为多媒体数据纠错模块、多媒体数据补偿模块、速率自适应模块、多媒体数据缓冲模 块四大部分。

本发明还公开了一种应用上述方法的移动多媒体网关系统，包括：

移动终端设备信息数据库，用于搜集访问多媒体数据的移动终端设备的信息，将各个移 动终端设备的信息存储到数据库中，定期更新移动终端设备的信息，并将各移动终端设备首 次请求多媒体数据内容的最佳适配方案的信息存储到数据库中；

多媒体内容分类引擎，将输入的多媒体数据进行分析，根据多媒体内容的类型特征分别 提取出文本、图片、音频、视频等部分；

多媒体解析引擎，并对多媒体的各个组成部分进行详细的分析，得到每个部分的具体特 征信息；

多媒体适配引擎，根据移动终端设备的特征信息以及多媒体数据中的文本、图片、音频、 视频等各个组成部分的特征信息，从而得出各个组成部分的最佳适配方案；

多媒体内容处理引擎，对多媒体数据进行处理，包括格式转换、编解码、加解密等操作；

多媒体Qos(Quality of Service，服务质量)优化策略引擎，通过一系列保障策略来 提高服务质量。多媒体Qos优化分为多媒体数据纠错模块、多媒体数据补偿模块、速率自适 应模块、多媒体数据缓冲模块四大部分。

移动多媒体网关系统的工作流程如下：

(1)移动终端设备发起多媒体数据请求的时候，会在请求头里携带移动终端设备的类型、 型号、标识、内存、屏幕大小、分辨率、接收文件的最大尺寸、通信方式、能支持的文本、 图片、音频、视频等内容格式等方面的信息，并将这些信息提取出来存放在移动终端设备信 息数据库里面以方便给多媒体适配引擎参照与对比分析，作出多媒体内容的最佳适配策略；

(2)多媒体数据输入到移动多媒体网关系统时，首先经过多媒体内容分类引擎将该对媒 体数据进行分类提取，分别可以得到文本、图片、音频、视频等内容；

(3)对于刚分类得到的文本、图片、音频、视频等内容传输至多媒体解析引擎，多媒体 解析引擎会根据不同类型的内容分别用相应的文本解析、图片解析、音频解析、视频解析进 行分析，分别获取文本、图片、音频、视频等内容的详细特征信息；

(4)多媒体适配引擎会根据移动终端设备信息数据库里面的信息以及多媒体解析引擎分 析得到的文本、图片、音频、视频等内容的详细信息分别对文本、图片、音频、视频等作出 最佳的适配方案，最终转换成适合在特定移动终端设备上展现的最佳多媒体数据；并将该多 媒体最佳适配方案发送给移动终端设备信息数据库中；

(5)移动终端设备信息数据库将获取到的适合特定移动终端设备的多媒体适配的最佳方 案存储起来，以备下次该移动终端设备再次调用该多媒体数据的时候会直接根据移动终端设 备信息数据库里的多媒体适配的最佳方案作出适配以满足移动终端设备的最佳要求；

(6)完成多媒体内容适配之后，还需经过多媒体Qos优化策略引擎处理，通过它来提高 多媒体数据在移动网络环境中的服务质量，减少丢包率、误码率、提高带宽利用率以及增强 补偿效应，达到自适应复杂的外界条件的影响；

(7)最终，移动终端设备接收来自移动多媒体网关系统处理完成的多媒体数据，并且能 够达到完美展现多媒体数据的效果。

本发明还公开了一种内置有上述的移动多媒体网关系统的移动多媒体网关服务器。

本发明的移动多媒体网关系统，用来实现对多媒体数据的处理，不但实现多媒体数据与 任一移动终端设备之间的适配，还通过建立移动终端设备信息数据库来提升适配效率，并且 将多媒体数据细分为四类更为具体的内容进行并行处理，节约多媒体数据的处理时间，此外 为了确保整个多媒体数据的整体服务质量，提出更为完善的多媒体Qos优化策略来达到最大 化的提高移动用户的多媒体服务体验的目的。

本发明中服务器端输出的多媒体数据的来源可以是视频文件、流媒体文件、实时媒体流 等多媒体数据；而客户端即移动终端设备，包括手机、PDA、平板电脑、笔记本电脑等支持视 频播放的移动终端设备。

本发明对来自服务器端的多媒体数据，并根据移动客户端自身设备所具有的特征信息将 多媒体数据内容进行相应的分类、解析、适配、处理等操作转换成适合移动终端设备的移动 多媒体数据，并通过纠正、补偿、速率自适应、数据缓冲等优化措施来进一步改善和加强该 移动多媒体数据，提高多媒体数据最终在移动终端上的展现效果。

附图说明

图1为本发明具体应用的部署拓扑图。

图2为移动多媒体网关系统的系统架构图。

图3为多媒体内容分类引擎的架构图。

图4为多媒体内容处理引擎的架构图。

图5为多媒体Qos优化策略引擎的架构图。

图6为实现多媒体数据在移动终端设备上展现的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，实体设备用例部署拓扑图主要由移动终端设备3、移动互联网4、移动多媒 体网关服务器1、互联网5、防火墙6以及多媒体服务器六部分组成，其中，多媒体服务器包 括非实时多媒体服务器2-1和实时多媒体服务器2-2。本发明的移动多媒体网关系统7以软 件的形式部署在移动多媒体网关服务器1中，介于移动终端设备3和多媒体服务器之间提供 中介代理服务，即对来自非实时多媒体服务器2-1和实时多媒体服务器2-2上的多媒体数据 进行中间处理和转换，并保障多媒体的整体服务质量，从而实现移动终端上最佳展现多媒体 数据的一种手段和方法。

如图2所示，本发明移动多媒体网关系统7包括：多媒体内容分类引擎7-1、多媒体解 析引擎7-2、移动终端设备信息数据库7-3、多媒体适配引擎7-4、多媒体内容处理引擎7-5、 多媒体Qos优化策略引擎7-6。

多媒体内容分类引擎7-1，主要是将输入的多媒体数据进行分析，根据多媒体内容的类 型特征分别提取出文本、图片、音频、视频等内容。

如图3所示，多媒体内容分类引擎7-1由两个模块构成，即分析模块7-1-1和拆分模块 7-1-2；其中，分析模块7-1-1，主要根据多媒体内容的各个组成部分进行特征(这里的特征 主要是指内容的格式)分析，从而鉴别出文本、图片、音频、视频等内容；而拆分模块7-1-2， 主要是将多媒体内容的各个组成部分独立分离出来，分别拆分为文本、图片、音频、视频等 四大部分。

第一步，分析模块7-1-1将多媒体数据总体进行分析，并根据它的四大组成部分即文本、 图片、音频、视频等内容进行特征分析，从而识别出多媒体内容的各个部分；

第二步，通过第一步识别出来的四个组成部分的内容，从而进行拆分工作，将多媒体数 据拆分为文本、图片、音频、视频等四大部分内容，最终完成多媒体内容的分类。

多媒体解析引擎7-2，主要是对多媒体的各个组成部分，即文本、图片、音频、视频等 进行详细的分析，得到每个部分的全方位的具体特征信息。

多媒体解析引擎7-2根据多媒体具体内容的划分，可分为四大部分：文本解析7-2-1、 图片解析7-2-2、音频解析7-2-3、视频解析7-2-4；

文本解析7-2-1主要是针对文本的特征进行分析，获取文本的格式、字体大小、文字间 隔、文字分辨率等各方面的具体特征信息；

图片解析7-2-2主要是针对图片的特征进行分析，获取图片的格式、容量大小、尺寸大 小、亮度、色彩、分辨率等各方面的具体特征信息；

音频解析7-2-3主要是针对音频的特征进行分析，获取音频的格式、容量大小、音量、 采样精度、比特率等各方面的具体特征信息；

视频解析7-2-4主要是针对视频的特征进行分析，获取视频的格式、容量大小、尺寸大 小、分辨率、比特率等各方面的具体特征信息。

移动终端设备信息数据库7-3，主要是用来搜集访问多媒体数据的移动终端设备的信息， 并将各个移动终端设备的信息进行存储到数据库中，并能定期更新移动终端设备的信息，及 时替换过时的数据。移动终端设备信息主要包括了移动终端设备的类型、型号、标识、内存、 屏幕大小、分辨率、接收文件的最大尺寸、通信方式、能支持的文本、图片、音频、视频等 内容格式等方面的信息，此外，还包括各移动终端设备首次请求多媒体数据内容的最佳适配 方案的信息。

多媒体适配引擎7-4，主要就是根据移动终端设备的特征信息以及多媒体数据中的文本、 图片、音频、视频等各个组成部分的特征信息，从而得出各个组成部分的最佳适配方案。

多媒体适配引擎7-4根据多媒体具体内容的划分，也可分为四大部分：文本适配7-4-1、 图片适配7-4-2、音频适配7-4-3、视频适配7-4-4。

文本适配7-4-1主要是根据移动终端设备的信息以及文本的信息特征进行分析与对比， 得出文字转换的最佳方案以适应移动终端；

图片适配7-4-2主要是根据移动终端设备的信息以及图片的信息特征进行分析与对比， 得出图片转换的最佳方案以适应移动终端；

音频适配7-4-3主要是根据移动终端设备的信息以及音频的信息特征进行分析与对比， 得出音频转换的最佳方案以适应移动终端；

视频适配7-4-4主要是根据移动终端设备的信息以及视频的信息特征进行分析与对比， 得出视频转换的最佳方案以适应移动终端。

多媒体内容处理引擎7-5主要针对多媒体数据进行处理，包括格式转换、编解码、加解 密等操作，根据具体的需求来满足多媒体内容的改变，转换成能适合在移动终端设备展现的 多媒体数据。

第一步，根据多媒体具体内容的构成部分，即文本、图片、音频、视频等四部分，选择 不同的转换模块进行相应的处理。多媒体各部分内容分别进行独立处理的目的是加强针对性， 以达到更好的处理效果；

第二步，将独立处理完成的各部分具体多媒体内容传给合并模块进行合并，整合成一个 完整的多媒体数据，最终得到适合在移动终端设备上展现的移动多媒体数据。

如图4所示，多媒体内容处理引擎7-5由转换模块7-5-1和合并模块7-5-2两大部分组 成。转换模块7-5-1可以根据多媒体内容的具体组成部分分为文本转换子模块7-5-1-1、图 片转换子模块7-5-1-2、音频转换子模块7-5-1-3、视频转换子模块7-5-1-4等四个子模块。

文本转换子模块7-5-1-1，主要是针对文本内容进行转换，包括文本格式转换、字体比 例缩放、字体间隔调整、编解码、加解密一系列的处理操作，完成文本的处理工作。

图片转换子模块7-5-1-2，主要是针对图片内容进行转换，可以包括图片格式转换、图 片比例缩放、图片分辨率调整、编解码、加解密一系列的处理操作，完成图片的处理工作。

音频转换子模块7-5-1-3，主要是针对音频内容进行转换，可以包括音频格式转换、音 频采样精度调整、编解码、加解密一系列的处理操作，完成音频的处理工作。

视频转换子模块7-5-1-4，主要是针对视频内容进行转换，可以包括视频格式转换、视 频比例缩放、视频分辨率调整、编解码、加解密一系列的处理操作，完成视频的处理工作。

多媒体内容合并模块7-5-2主要是将经过处理完成之后的多媒体内容各个组成部分即 文本、图片、音频、视频等进行重新合并，还原为一个完整的多媒体内容文件。

多媒体Qos优化策略引擎7-6，主要是解决多媒体在移动环境传输过程中的Qos问题， 通过采取一系列保障策略来提高服务质量。

第一步，针对多媒体数据传输以及移动多媒体网关系统处理过程中发生的差错，多媒体 数据纠错模块就要对这些多媒体数据进行更正，更正的措施和手段可以采取前向纠错、后向 纠错等等方法，保证多媒体数据的正确性；

第二步，纠正后的多媒体数据需要进行进一步改善与加强，多媒体数据补偿模块针对多 媒体数据的细节(分辨率、帧数据)等采取补偿措施，提升和增强多媒体数据的整体效果；

第三步，之后就将多媒体数据通过移动网络传送给移动终端设备，此时需要速率自适应 模块和缓冲两大模块来协调处理，速率自适应模块自动调整多媒体的传送速率来应对移动网 络环境中的网络速度和带宽资源的变化，并且通过多媒体数据缓冲模块来配合速率自适应模 块来协调多媒体数据的传输，使移动终端设备能平稳流畅的接收处理完成的移动多媒体数据。

如图5所示，多媒体Qos优化策略引擎7-6可分为多媒体数据纠错模块7-6-1、多媒体 数据补偿模块7-6-2、速率自适应模块7-6-3、多媒体数据缓冲模块7-6-4等四大部分。

多媒体数据纠错模7-6-1，块主要是针对多媒体数据传输过程中出现的差错或者误码进 行一种纠错，改善和修补多媒体数据，达到多媒体数据的正确无误的效果；

多媒体数据补偿模块7-6-2，主要是针对对多媒体数据存在的一些瑕疵进行相应的补偿， 其中包括丢帧补偿和分辨率补偿等等补偿措施来实现多媒体数据的完整性，提高多媒体数据 的服务水准；

速率自适应模块7-6-3，主要根据移动设备所处的移动网络环境中网速以及带宽资源来 调整多媒体数据传送速度，通过码率控制和帧率控制手段来实现网速以及带宽资源能与多媒 体的传输速率最佳适配的目的，减少多媒体数据丢失或者误码的情况；

多媒体数据缓冲模块7-6-4，主要是对多媒体数据进行缓冲存储，用来配合多媒体数据 的传送速度和网络速度，进行动态缓冲与调整。

如图6所示，移动终端设备的多媒体应用过程为：

(1)发送多媒体应用请求

移动终端设备(手机、平板电脑、PDA、笔记本电脑等)向多媒体服务器发起多媒体应用 请求，并且http协议请求头里面携带了移动终端设备的特征信息，这些特征信息包括了设备 类型、型号、标识、内存、屏幕大小、分辨率、接收文件的最大尺寸、通信方式、能支持文 字、图片、音频、视频内容的最佳格式等方面的信息。

(2)解析请求头

多媒体服务器接到来自移动终端设备的请求后，解析出http协议请求头里的移动终端设 备的特征信息字段值，取出移动终端设备的特征信息。

(3)核实信息

通过查询移动终端设备信息数据库，核实移动终端设备信息数据库中是否已经存有http 协议请求头解析出来的该移动终端设备所具有的相同特征信息。

(4)判断

经第(3)步核实完特征信息后进行判断执行：

若已存在，进行进一步判别，核实该移动终端设备是否是第一次对该多媒体数据发起请 求，如果是第一次，就进入第(5)步的处理，并将第(6)步处理得到的多媒体数据与移动 终端设备最佳适配方案的信息存入移动终端设备信息数据库中，再执行第(5)步；如果不是 第一次，就直接从移动终端设备信息库中取出多媒体数据与移动终端设备最佳适配方案的信 息交与移动多媒体网关系统进行第(6)步过程中多媒体内容适配后面的一系列处理操作，直 至第(7)步结束为止。

若不存在，则请求头解析出来的该移动终端设备所具有的相同的特征信息直接录入或者 更新之后再存入移动终端设备信息数据库中，再执行第(5)步。

(5)响应请求，传送多媒体数据

直接从移动终端设备信息数据库中取出特征信息以及多媒体服务器响应移动终端设备多 媒体应用请求的多媒体数据传送同时传递给移动多媒体网关系统。

(6)多媒体处理

移动多媒体网关系统根据发出请求的移动终端设备的特征信息，将多媒体服务器传送过 来的多媒体数据进行综合处理，包括多媒体内容分类、解析、适配、处理、Qos保障策略等 一系列服务，得到最终适合在移动终端设备上展现的多媒体数据。

(7)返回移动多媒体数据

将经过移动多媒体网关系统处理完成的多媒体数据即移动多媒体数据传输给移动终端， 并通过Qos的速率自适应和缓冲机制等策略来配合移动网络环境下多媒体数据的传输，从而 提高移动多媒体数据的服务质量。

上述实施例仅为本发明若干实施方式中的一种，并非对本发明构思的限定，在不脱离本 发明设计思想的前提下，本领域中的工程技术人员对本发明的技术方案作出的改进，均应落 入本发明的保护范围。