一种多媒体服务性能监测的方法和系统

摘要

一种多媒体服务性能监测方法和系统，包括发送端、接收端、中间网络传输节点、参考点和采样点，所述采样点位于任意需要进行服务监测的网络节点，参考点和采样点之间存在双向通信通道；参考点获得发送端数据的完整副本，建立多媒体数据包标识号与对应的多媒体信息之间的关联关系并保存；采样点根据包标识号对接收的数据包进行排序，检测数据包的完整性，如有数据包丢失，将其标识号反馈至参考点；参考点根据采样点返回的丢失数据包的标识号，查找保存的多媒体数据包标识号与对应的多媒体信息之间的关联关系，得到对应的多媒体信息，进而对采样点的多媒体服务质量进行评价。本发明可避免在被监测的接收端和服务器端进行额外的多媒体解码的处理过程。

说明书

技术领域

本发明属于多媒体信息传输和处理领域，具体涉及一种多媒体服务性能监测的方法和系统。

背景技术

随着有线网络和无线网络的发展和用户需求的驱动，多媒体技术和相关的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多媒体应用，包括视频应用和音频应用，相对于网络(Internet)的传统应用如万维网(WWW)、电子邮件(E-mail)等，对带宽的需求更大，多媒体数据的压缩成为一个非常迫切的任务。现有的视频和音频等多媒体数据传输采取了高压缩率的编码技术，这些编码技术利用了视频和音频等多媒体信息在时间、空间和统计上的相关性来进行数据压缩，因此在网络传输过程中的数据包丢失或者延迟会造成解码端的视频和音频质量下降。但是有线或者无线网络不提供传输的QoS(Quality of Serverices：服务质量)保证，因此数据包的丢失或者延迟不可避免，这都会造成接收端的用户体验质量下降。为了提高多媒体服务的质量，对通过有线网络或者无线网络传输的多媒体信息进行质量监测成为多媒体通信领域的研究热点。

传统的多媒体服务性能监测方法是在接收端对收到的多媒体信息进行监测，通过多媒体解码处理检测网络传输过程中的多媒体数据错误信息，并将其反馈至服务器端。在服务器端根据接收到的错误反馈信息对接收端的多媒体数据进行重建，从而实现对接收端的多媒体服务性能进行监测和评价。

图1是现有技术中一种多媒体服务性能监测系统示意图，图中，发送端对多媒体数据进行打包，并将其发送到接收端，期间要经过若干个网络节点。在多媒体数据的传送过程中，多媒体数据包可能会发生延迟或者丢失，造成接收端不能正确接收所有的数据包。此时，接收端通过多媒体解码处理，找到多媒体内容中的错误信息，并将其反馈至服务器端。监测服务器再根据接收到的反馈错误信息，利用多媒体解码器估计出被监测的接收端多媒体数据。将被监测的多媒体数据与参考多媒体数据进行比较，实现多媒体服务性能的监测。

传统的多媒体服务性能监测方法的一个缺点是，必须通过接收端的多媒体解码器处理，才能得到多媒体内容的错误信息。这要求被监测的接收端能够对传输的多媒体信息进行完全的解码操作。当需要对多个多媒体服务的性能进行监测时，图1所示的传统方法要求接收端能够对多个多媒体服务内容进行解码。这不仅增加了接收端的资源消耗，而且不利于多媒体内容的数字版权管理。

传统的多媒体服务性能监测方法的另外一个缺点是，必须通过服务器端的多媒体解码器处理过程，才能估计出被监测的接收端的多媒体内容。这要求服务器端对每一个被监测的接收端进行多媒体解码操作。当需要对多个接收端的多媒体服务性能进行监测时，图1所示的传统方法要求服务器端对多个接受端的多媒体服务内容进行解码，这会大幅度增加了服务器端的资源消耗。

因此，现有的多媒体服务性能检测方法需要加以改进。

发明内容

本发明所要解决的技术问题是提供一种多媒体服务性能监测的方法和系统，一方面，避免在被监测的接收端进行多媒体解码的处理过程，有利于数字版权管理；另一方面，避免服务器端进行额外的多媒体解码过程，有利于在服务器端对多个接收端进行多媒体服务性能监测。

为了解决上述技术问题，本发明提供了一种多媒体服务性能监测方法，应用于包括发送端、接收端和中间网络传输节点的系统，包含如下步骤：

(a)在系统中设置参考点和采样点，所述参考点应可获得发送端发送的多媒体数据的完整副本，所述采样点位于任意需要进行服务监测的网络节点，参考点和采样点之间存在双向通信通道；

(b)参考点获得发送端数据的完整副本，建立多媒体数据包标识号与对应的多媒体信息之间的关联关系并保存；

(c)采样点根据包标识号对接收的数据包进行排序，检测数据包的完整性，如有数据包丢失，将其标识号反馈至参考点；

(d)参考点根据采样点返回的丢失数据包的标识号，查找保存的多媒体数据包标识号与对应的多媒体信息之间的关联关系，得到对应的多媒体信息，进而对采样点的多媒体服务质量进行评价。

进一步地，上述方法还可具有以下特点：所述步骤(a)中多媒体数据包标识号为编码后多媒体数据信息发送的序号。

进一步地，上述方法还可具有以下特点：所述步骤(a)中多媒体信息为数据包标识号对应的多媒体数据信息，或者从多媒体数据中提取的特征信息，或者是多媒体数据压缩编码信息。

进一步地，上述方法还可具有以下特点：所述参考点位于发送端，所述步骤(b)中，参考点获得的发送端数据的完整副本是发送端传送到该参考点的未编码的完整发射数据，该发送端同时将多媒体数据包标识号和对应的多媒体信息的关联信息传送到该参考点。

进一步地，上述方法还可具有以下特点：所述参考点位于网络传输节点，并与发送端建立可靠的连接，所述步骤(b)中，参考点接收发送端发送的编码后的数据包，对其进行解码，并建立多媒体数据包标识号与对应的多媒体信息之间的关联关系。

进一步地，上述方法还可具有以下特点：所述数据包标识号与多媒体信息之间的关联关系是由索引方式建立的。

进一步地，上述方法还可具有以下特点：所述索引中的一条记录包括RTP包号，随后是视频帧序号、宏块序号和位置，以及每个宏块的运动矢量；或者，包括多个图像帧的序号、宏块的序号和位置，以及每个宏块的运动矢量。

进一步地，上述方法还可具有以下特点：所述步骤(d)中对多媒体服务质量的评价方法为：根据采样点反馈的丢失数据包的标识号查找数据包标识号与多媒体信息之间的关联关系，得到丢失的视频数据的位置，然后根据该丢失位置估计出被监测的采样点的视频数据，再将其与参考视频数据进行比较，就可以得到采样点的视频服务质量评价结果。

本发明提供的多媒体服务性能监测系统，包含发送端、接收端和中间网络传输节点，在该系统中还包含参考点和采样点，采样点位于任意需要进行服务监测的网络节点，参考点和采样点之间存在双向通信通道，其中：

参考点用于接收发送端发送的多媒体数据的完整副本，建立多媒体数据包标识号与多媒体信息之间的关联关系并保存；在接收到采样点发来的丢失数据包的序号后，查找保存的多媒体数据包标识号与对应的多媒体信息之间的关联关系，得到对应的多媒体信息，进而对采样点的多媒体服务质量进行评价；

采样点用于根据包标识号对接收的数据包进行排序，检测数据包的完整性，如有数据包丢失，将其标识号反馈至参考点；

进一步地，上述系统还可具有以下特点：所述参考点位于多媒体系统的发送端，其获得的发送端数据的完整副本是发送端传送到该参考点的未编码的完整发射数据，所述多媒体数据包标识号和对应的多媒体信息的关联信息也是发射端传送到该参考点的。

进一步地，上述系统还可具有以下特点：所述参考点位于中间的网络传输节点，并与发送端建立可靠的连接，在接收发送端发送的编码后的数据包，对其进行解码，并建立多媒体数据包标识号与对应的多媒体信息之间的关联关系。

进一步地，上述系统还可具有以下特点：所述参考点有一个或多个，每个参考点和与其相连的一个或多个采样点构成一个监测子系统。

进一步地，上述系统还可具有以下特点：所述参考点根据采样点反馈的丢失数据包的标识号查找数据包标识号与多媒体信息之间的关联关系，得到丢失的视频数据的位置，然后根据该丢失位置估计出被监测的采样点的视频数据，再将其与参考视频数据进行比较，就可以得到采样点的视频服务质量评价结果。

本发明所提供的一种多媒体服务性能监测的系统和方法，一方面，能够根据传输过程中的数据包状态信息对多媒体信息的传输质量进行监测，从而避免了在被监测的接收端进行多媒体解码的处理过程，有利于数字版权管理；另一方面，通过在服务器端建立发送的数据包号和多媒体数据之间的关联关系，从而避免了在服务器端进行额外的多媒体解码过程，有利于在服务器端对多个接收端进行多媒体服务性能监测。

附图说明

图1是现有技术中一种多媒体服务性能监测系统示意图；

图2是本发明基于反馈信息的多媒体服务性能监测系统示意图；

图3是本发明多媒体服务性能监测方法流程图；

图4是本发明一种数据包标识号与编码视频信息索引建立方法示意图。

具体实施方式

下面以典型的多媒体视频服务性能的监测为例解释本发明的多媒体服务性能监测的原理和实施方法，但是并不局限于该应用。

图2所示是本发明基于反馈信息的多媒体服务性能监测系统示意图。该系统除包含发送端，网络节点和接收端外，还包含采样点和参考点。其中：

所述参考点可以在多媒体系统的发送端(文中的“发送端”包含编码器在内)，也可以在中间的网络传输节点位置。图1所示实例中包含一个参考点，该参考点位于发送端，与相应的2个采样点间有双向通信通道。

所述参考点相当于图1中的多媒体服务性能监测服务器，或称为服务器端。该服务器需要获得发送端发送的完整多媒体数据的副本，建立一个多媒体数据包标识号与多媒体信息之间的关联关系(实施例是以索引方式建立的，但本发明不局限于此)，并将该索引保存。所述参考点用于接收采样点发送过来的丢失数据包标识号反馈信息，根据该信息查找多媒体数据包标识号与多媒体信息索引，得到相应的多媒体数据或特征等信息，从而对多媒体服务性能进行监测，及对多媒体服务质量进行评价。

所述采样点可以在任意需要服务监测的网络节点位置。在图2的示例中，分别在网络节点1和网络节点2位置建立采样点1和采样点2。

所述采样点为一装置，用于检测接收到的数据包标识号的完整性，判断是否发生数据丢失，并将对应的丢失数据包标识号通过反馈信道发送至参考点。

图3是本发明多媒体服务性能监测方法流程图。多媒体数据在发送端被打包，经过网络节点后，到达接收端。由于数据传送网络无法保证服务质量，接收端得到的多媒体数据可能与发送端的数据不一致。如图2所示，发送端到网络节点1之间和网络节点1到网络节点2之间都存在数据包丢失。为了实现对对媒体视频服务性能的监测，本发明的一种实施方法步骤如下：

步骤301：发送端对发送的数据进行复制并发送到参考点，参考点获得发送端复制的完整的多媒体数据，建立多媒体数据包标识号与多媒体信息之间的索引并保存；

本实施例中，参考点位于发送端(两者之间数据传送无需通过不可靠的网络传输)，因此发送端可以直接将未编码的数据传送到该参考点，发送端同时将发送的多媒体数据包标识号及相应多媒体信息传送到该参考点供其建立索引。

在另一实施例中，当参考点位于网络传输节点时，该参考点可以与发送端建立可靠的连接，接收发送端发送的编码后的数据包，对其进行解码，并建立多媒体数据包标识号与多媒体信息之间的索引。该可靠连接可以是专用传输通道，或者采用可靠传输协议，如TCP/IP协议的传输通道。

多媒体数据包标识号是编码后多媒体数据信息发送的序号，在RTP协议中，数据包标识号是RTP包序号；在TCP/IP协议中，数据包标识号是IP包序号；在H.324M协议中，数据包标识号是数据帧序号。

用于建立索引的多媒体信息包括数据包对应的多媒体数据信息，或者从多媒体数据中提取的特征信息，或者多媒体数据压缩编码信息。

数据包标识号与多媒体信息之间的索引方法多种多样，例如，我们需要监测视频服务质量，则建立数据包标识号和视频信息之间的索引，可以采取图4所示的一种简单的数据包标识号与多媒体数据压缩编码信息索引建立方法，但不局限于这种方法。该索引中的一条记录包括RTP包号，随后是视频帧序号、宏块序号和位置，以及每个宏块的运动矢量。若一个RTP包中有多个图像帧，则包括多个图像帧的序号、宏块的序号和位置，以及每个宏块的运动矢量。

步骤302：每个采样点根据包标识号对相应网络传输节点接收的数据包进行排序，检查数据包的完整性，若发生数据包丢失，将丢失的数据包的标识号通过反馈信道发送至参考点；

在网络传输节点上只用检测数据包标识号的完整性，例如RTP包序号的完整性，用来判断是否发生丢包。不需要在采样点对数据包进行多媒体解码过程处理，只需对丢失的数据包的序号进行检测和处理，并将该错误信息发送至参考点进行服务质量评价和监测。

由于不需要在采样点进行多媒体解码过程处理，一方面提高了错误信息检测的通用性，不涉及不同的多媒体编码标准，降低了采样点的实现复杂度；另一方面提高了多媒体内容的数字版权管理可靠性，不需要在采样点进行解密认证。

步骤303：参考点收到采样点返回的丢失数据包的标识号后，根据保存的数据包标识号与多媒体信息之间的关联关系，得到对应的多媒体信息，如多媒体数据、特征信息等，进而对采样点的多媒体服务质量进行评价。

在参考点对多媒体内容进行监测时，可以直接对数据包标识号与对应的多媒体信息之间的索引进行检索，得到对应的媒体数据或者特征信息。因此不需要再在参考点进行额外的多媒体解码，从而降低了资源消耗，有利于在参考点对多个采样点的多媒体服务性能进行监测。

在图2中，参考点接收到采样点1和采样点2的数据包丢失反馈信息，例如丢失的RTP包号。在参考点位置就可以根据错误反馈信息，不需要进行视频解码处理，分别对采样点1和采样点2位置的视频服务质量进行评价。

对采样点1的视频服务质量评价方法是：根据采样点1反馈的丢失的RTP包号在预先建立的索引中检索出丢失视频数据的位置，然后根据丢失位置估计出被监测的采样点1的视频数据，如将丢失位置的视频数据均置0或其它值，或者用前一帧图像对应位置的数值填充，再将其与参考视频数据(即发送端发送的视频数据)进行比较，就可以得到采样点1的视频服务质量评价结果。

对采样点2的视频服务质量评价方法是：根据采样点2反馈的丢失的RTP包号在预先建立的索引中检索出丢失视频数据的位置，然后根据丢失位置估计出被监测的采样点2的视频数据，再将其与参考视频数据进行比较，就可以得到采样点2的视频服务质量评价结果。

不过本发明并不将视频服务质量的评价方法局限于以上方式。如果服务质量评价不需要将被监测的视频数据与发送端复制的参考视频数据进行比较时，发送端也可以不复制发送的视频数据到参考点。

在另一实施例中，可以在系统中设置多个参考点，每个参考点与相应的一个或多个采样点间建立通信通道。相当于构成了多组与上述实施例相同的监测子系统。