一种视频数据包优先级设置方法和装置

摘要

本发明提供一种视频数据包优先级设置方法，包括：编码设备接收视频管理服务器发送的携带清晰度优先或者流畅度优先的视频点播信令，对点播的视频图像进行SVC编码并且对视频数据包打上优先级标签：当点播设备要求清晰度优先时，编码设备将空域每一层的GOP中的I帧封装成的视频数据包标记最高优先级；当点播设备要求流畅度优先时，编码设备将空域第0层的GOP中的每一帧封装成的视频数据包都标记最高优先级；所述视频数据包封装为IP数据包，所述优先级标签设置于IP数据包的IP层头部以使所述网络设备能根据所述优先级标签进行视频数据包的调度转发。本发明还提供同构思的装置。本发明减轻了网络设备的负担，提升了用户的体验。

说明书

技术领域

本发明涉及视频监控领域，尤其涉及一种视频数据包优先级设置的方法 和装置。

背景技术

IP视频监控已经成为安防领域的主流。充分利用IP网络的特性可以为 监控业务带来很多意想不到的好处。在一个承载于IP网络的视频监控系统 中，存在众多的视频前端编码设备（比如编码器EC、网络摄像机IPC）和视 频后端点播设备，如解码器DC、客户端XP(通用软件播放器)。当多个视频 后端点播设备点播前端的实况视频流时，容易给IP网络造成拥塞，这是因为 视频流数据量大的这客观事实所导致的。目前业界通常采用的技术是QOS 配置，即在视频数据所经过的所有网络设备（如路由器、交换机）上静态配 置流分类，比如对包含可伸缩性视频编码SVC的不同数据包进行流分类,由 网络设备来修改相应的数据包的QOS优先级，进入对应的优先级队列，进 行相应的队列调度。

但这就要求网络设备对业务流进行深层次的探测，即能够识别出哪些视 频数据是重要的不能被丢弃的，哪些视频数据是次重要的可以丢弃部分，哪 些是完全不重要的可以全部都丢弃。如果网络设备对所有的数据流都进行如 此深层次的流分类流匹配处理，将大大增加网络设备的负担，对网络设备的 性能与功能都有极高的要求。网络设备的主要作用是依据报文的地址进行报 文的转发，通常会采用硬件或者CPU来实现转发工作；如果采用CPU转发 时，CPU的性能比较高，但CPU性能会被报文转发工作大量消耗掉，所剩 无几；而深层次的流分类流匹配处理目前都是依靠CPU上执行软件来实现， 显然这对于网络设备剩余的CPU资源来说来说是很难实现，或者需要用户付 出极高的成本。另外，该技术的配置工作量也比较大，规划复杂。

发明内容

有鉴于此，本发明提供一种视频数据包优先级设置方法，该方法应用于 视频监控网络的编码设备上，所述视频监控网络还包括：视频管理服务器、 视频点播设备，网络设备，该方法包括：编码设备接收视频管理服务器发送 的视频点播信令，该点播信令携带视频点播设备对视频流的质量需求信息， 该质量需求信息包括清晰度优先或者流畅度优先；编码设备根据视频点播设 备对视频流的质量需求信息，对点播的视频图像进行SVC编码并且对视频数 据包打上优先级标签：当点播设备要求清晰度优先时，编码设备将空域每一 层的GOP中的I帧封装成的视频数据包标记最高优先级；当点播设备要求流 畅度优先时，编码设备将空域第0层的GOP中的每一帧封装成的视频数据包 都标记最高优先级；所述视频数据包封装为IP数据包，所述优先级标签设置 于IP数据包的IP层头部以使所述网络设备能根据所述优先级标签进行视频 数据包的调度转发。

本发明还提供一种视频数据包优先级设置装置，该装置应用于视频监控 网络的编码设备上，所述视频监控网络还包括：视频管理服务器、视频点播 设备，网络设备，该装置包括：信令接收模块，用于接收视频管理服务器发 送的视频点播信令，该点播信令携带视频点播设备对视频流的质量需求信息， 该质量需求信息包括清晰度优先或者流畅度优先；编码及优先级标记模块， 用于根据视频点播设备对视频流的质量需求信息，对点播的视频图像进行 SVC编码并且对视频数据包打上优先级标签：当点播设备要求清晰度优先 时，编码设备将空域每一层的GOP中的I帧封装成的视频数据包标记最高优 先级；当点播设备要求流畅度优先时，编码设备将空域第0层的GOP中的每 一帧封装成的视频数据包都标记最高优先级；所述视频数据包封装为IP数据 包，所述优先级标签设置于IP数据包的IP层头部以使所述网络设备能根据 所述优先级标签进行视频数据包的调度转发。

通过本发明的技术，大大减轻了IP网络中网络设备的负担，并且对于编 码设备的性能无明显的影响。同时，用户能根据自己对视频图像的质量要求 获得满足自己需求的视频图像，大大提升了用户的体验。

附图说明

图1是一种监控网络示意图。

图2是本发明一种实施方式方法流程图。

图3是SIP协议报文扩展示例。

图4是SVC编码逻辑结构图。

图5a~5c是SVC编码示例图。

图6是本发明实施例装置的功能模块图。

具体实施方式

以下结合附图描述本发明具体实施方式。图1是本发明一种监控网络示 意图，该监控网络包括编码设备（如编码器EC）、监控服务器（如VM）、 网络设备（如路由器Router、交换机Switch）、点播设备（如DC、安装在 PC上的XP播放器）。编码设备、监控服务器、点播设备通过IP网络进行 信令报文和业务报文交互。编码设备是一种用于音视频压缩编码的设备，包 括编码器EC、网络摄像机IPC。VM（Video Management）是整个视频监控 系统的管理者，它包含以下一种或几种功能：可以集中管理控制监控系统中 的设备；可以调度各种视频监控业务；可以管理分配监控用户权限。点播设 备点播实况音视频流供用户查看，包括解码器DC，客户端XP。承载监控信 令和音视频流的IP网络包括路由器和/或交换机等网络设备。监控网络还包 括用于存储音视频流的存储设备（未图示），存储其上的监控数据用于用户 回放。

基于上述监控网络，本发明实施例描述一种不依赖于传统的网络设备进 行Qos处理的方法，该方法的流程图参见图2。

步骤21、视频点播设备向视频管理服务器VM发送实况点播请求，该请 求中携带清晰度优先或者流畅度优先的视频流质量需求。

视频点播设备在点播实况视频流时一般都需要通过信令报文将其需求发 送给VM，由VM来通知视频编码设备发送对应的视频流。本实施例中，用 户的点播请求中还增加了自身对于视频流质量的要求，如果更希望看到清晰 的视频画面，就携带上“清晰度优先”的质量需求信息；如果更希望看到流 畅的、不停顿的视频画面，就携带上“流畅度优先”的质量需求信息。进一 步来说，用户的这种需求可以根据其点播时刻需要查看画面的实际内容来决 定。比如说，要查看某一个嫌疑人的长相，用户需要的应该是更清晰的画面， 要查看一个事件发生的经过，用户需要的应该是更流畅的画面。所以如果能 提供用户其可选择的视频的质量将是一件非常有意义的事情。实际在实现的 时候，可以给用户提供相关的配置选择界面，给出前述两种质量的需求信息 的选项，如果用户没有选择可以选择一种质量需求信息作为默认选择，这样 用户操作时允许其在界面上随时通过界面上的配置选择入口实时调整自身的 需求信息。

视频点播设备发送给VM的视频点播请求一般是基于SIP协议的信令报 文，上述清晰度优先或者流畅度优先的质量需求信息可以在SIP协议报文的 SDP（Session Description Protocol）的能力扩展集里扩展，具体参见图3。清 晰度优先的扩展报文可以按如下格式进行定义：

Media Attribute(a):User

Media Attribute Fieldname:User preference

Media Format:1

Media format specific parameters:Definition

流畅度优先的报文可以按如下格式进行定义：

Media Attribute(a):User

Media Attribute Fieldname:User preference

Media Format:2

Media format specific parameters:Fluency

在SIP协议报文的SDP（Session Description Protocol）的能力扩展集扩 展出清晰度优先报文或者流畅度优先报文易于实现，不消耗编码设备的性能。

步骤22、视频管理服务器接收视频点播设备发送的携带清晰度优先或者 流畅度优先的视频点播请求。

VM在收到上述视频点播设备请求后，首先查看该实况点播请求点播的 编码设备是否支持H.264SVC编码，如果支持，在视频点播设备点播的是清 晰度优先的报文的话，则发送如下格式的报文给视频点播设备和编码设备：

Media Attribute(a):User

Media Attribute Fieldname:User preference

Media Format:1

Media format specific parameters:Definition

在视频点播设备点播的是流畅度优先的报文的话，则发送如下格式的报文给 视频点播设备和编码设备：

Media Attribute(a):User

Media Attribute Fieldname:User preference

Media Format:2

Media format specific parameters:Fluency

如果不支持，则回复视频点播设备如下格式的报文：

Media Attribute(a):User

Media Attribute Fieldname:User preference

Media Format:0

Media format specific parameters:none

如果不支持，则剥离清晰度优先或者流畅度优先的质量需求信息，将不携带 用户质量需求信息的点播请求发送给编码设备。

如果同时有两个或者两个以上的视频点播设备向VM申请点播同一个视 频流，并且对点播的该视频流的要求不一样，比如说：点播设备A点播编码 器1通道1的视频流，要求流畅度优先，点播设备B也点播编码器1通道1 的视频流，要求清晰度优先。VM可以根据点播设备的权限级别高低来决定 响应哪个点播设备的需求。如果点播设备A的权限高于点播设备B，则VM 向编码设备发送流畅度优先的视频点播指令。如果点播设备的权限级别一样， 则按照先来先得的原则。如果点播设备A已经将流畅度优先的点播请求发送 给VM了，后续点播设备B针对同一个视频流发送了清晰度优先的点播请求， VM判断点播设备A和点播设备B的权限级别一样，则点播设备B清晰度优 先的要求将不被响应，还是将发给点播设备A的视频流直接发送给点播设备 B。

步骤23、编码设备接收视频管理服务器发送的视频点播信令，该点播信 令携带视频点播设备对视频流的质量需求信息，该质量需求信息包括清晰度 优先或者流畅度优先。

本发明的编码设备在功能上包含视频数据包优先级设置装置，该装置包 括信令接收模块和编码及优先级标记模块，参图6。步骤23由信令接收模块 执行。

步骤24、编码设备根据视频点播设备对视频流的质量需求信息，对点播 的视频图像进行SVC编码并且对视频数据包打上优先级标签：当点播设备要 求清晰度优先时，编码设备将空域每一层GOP中的I帧标记最高优先级；当 点播设备要求流畅度优先时，编码设备将空域第0层GOP中的每一帧都标记 最高优先级；所述视频数据包封装为IP数据包，所述优先级标签设置于IP 数据包的IP层头部以使所述网络设备能根据所述优先级标签进行视频数据 包的调度转发。该步骤由编码及优先级标记模块执行。

SVC（scalable video coding）是一种可伸缩性视频编码方式，包括空域 分层编码、时域分层编码以及质量分层编码。原始视频流经空域视频序列抽 取后形成空域第0层视频序列，空域第1层视频序列、空域第2层视频序列 至空域第n层视频序列。空域每一层视频序列分别作为时域分层编码的视频 输入序列进行编码，编码后空域第0层视频序列形成具有I帧、P帧和/或B 帧的GOP。空域第1层~空域第n层视频序列和空域第0层视频序列一样， 也编码成I帧、P帧和/或B帧的GOP。图4给出了一个SVC编码逻辑结构 图。当点播设备要求清晰度优先时，编码设备对空域每一层的GOP中的I 帧标记最高优先级；当点播设备要求流畅度优先级时，对空域第0层GOP 组中的每一帧都标记最高优先级。编码设备用上述规则确定最高优先级后， 封装最高优先级的视频包在IP网络中传输的时候，将最先被调度转发，这些 数据包最终到达点播设备，点播设备解码后，将能看到清晰的图像或者流畅 的图像。封装的视频数据包在IP网络上传输的时候被封装成IP数据包，IP 承载网中的网络设备接收到承载视频流的IP数据包后按照三层或者二层协 议进行转发。编码设备给不同的视频数据包标记不同优先级的标签打在IP报 文头部，可以位于Tos（type of service）字段，比如采用IP优先级或者DSCP 优先级。编码设备在设置优先级标签的时候充分兼顾了网络设备转发的方便， 网络设备解封装IP层头后，根据相应的优先级标签直接根据标签将视频数据 包丢入不同的优先级队列进行调度转发。这样网络设备就不需要对每个视频 数据包进行深层次的探测来判断哪些是需要优先转发的，大大减轻了网络设 备的负担。现有技术中仅做压缩编码的编码设备在本实施例中对视频数据包 进行了IP层QOS处理。由于编码设备本身就需要将压缩编码后的数据封装 成IP数据包，所以额外增加的优先级标识并不会增加其太多的负担。

以上对视频数据包仅做了最高优先级的区分，这样仅满足了用户基本的 需求，如果想让用户有更好的体验，编码设备还可以进一步对其它视频帧进 行优先级的标记。比如说，当点播设备要求清晰度优先时，编码设备进一步 对空域每一层的GOP按照均匀分割算法依次从这些GOP中选取出一个或者 多个中间帧，将选取出的中间帧构成的视频数据包标记上不同的优先级（其 中先选出的中间帧的优先级高于后选出的中间帧的优先级）。当点播设备要 求流畅度优先的时候，编码设备进一步对空域除第0层外其它层次的视频帧 构成的数据包进行不同优先级的标记。在网络出现拥塞的时候，这样更细致 进行了不同视频数据包优先级区分更进一个层次保证更高优先级的数据包被 优先转发。

具体地，在点播设备要求清晰度优先时，编码设备进一步执行以下步骤 进行优先级的确定：

S1，以I帧，中间帧以及尾帧，相邻的两个帧之间的区域作为待划分区 域，当前确定的待划分区域为2ⁿ个；其中初始时n=0，且没有中间帧；

S2，按照预定规则从2ⁿ个待划分区域中分别确定出新的中间帧，并将确 定出的新的中间帧封装成的视频数据包的优先级标记为第m高优先级，其中 m=n+2；判断n是否到达预定的最大值，是则结束；否则n=n+1并返回步骤 S1。

在点播设备要求流畅度优先时，编码设备进一步执行以下步骤进行优先 级的标记：对空域第n层GOP组中的每一帧封装成的视频数据包都标记第m 高优先级，其中m=n+1。

上述对其它帧进行进一步优先级标记的动作由编码及优先级标记模块执 行。

以图5a~图5c为例，图5a是空域第0层视频序列进行编码后的一个GOP， 该GOP组包括8帧，第0帧为I帧，其余为P帧。图5b是空域第1层视频 序列进行编码后的一个GOP，该GOP包括8帧，第0帧为I帧，其余为P 帧。图5c是空域第2层视频序列进行编码后的一个GOP，该GOP包括8帧， 第0帧为I帧，其余为P帧。本例SVC编码在空域分成了3层，在时域分成 了8层。当要求清晰度优先的时候，需要对空域第0层、空域第1层、空域 第2层的第0帧，即每一层的I帧封装成的视频数据包都打上最高优先级的 标签；当要求流畅度优先的时候，需要对空域第0层，即基本层的所有帧封 装成的视频数据包都打上最高优先级的标签。

在满足点播设备要求的基础上，为了让用户有更好的体验，本例进一步 执行上述步骤S 1和步骤S2。具体如下：初始时n=0，没有中间帧，预设n 的最大值为1，n的最大值可以依据一个GOP包含的帧数来确定，本例中一 个GOP仅包含了8帧，所以n的最大值相对比较小；

1、n=0，对空域每一层，在一个GOP中以I帧和尾帧之间的区域作为待 划分区域（待划分区域为1个），按照预定的规则从这一个待划分区域中确 定出新的中间帧，预定的规则可以是在待划分区域中，处于中间位置的那个 帧作为中间帧，如果中间位置不唯一，可以选择相对中间位置的任一个帧作 为中间帧。参考图5a~图5c，以第0帧～第7帧之间的区域作为待划分区域， 确定该区域中哪个帧是中间帧。该区域可以包含首帧，也可以不包含首帧。 以不包含首帧为例，该区域的帧为：第1帧、第2帧、第3帧、第4帧、第 5帧、第6帧、第7帧；在该待划分区域中，显而易见，中间位置的那个帧 为第4帧，所以第4帧为选出的中间帧，第4帧的优先级为第2高优先级。n 未到达最大值，n=n+1=0+1=1；

2、n=1时，对于空域每一层，以I帧、当前中间帧、尾帧相邻两个帧组 成的区域作为待划分区域，即以首帧，第4帧、第7帧相邻两个帧之间的区 域为待划分区域。以区域不包含首帧和中间帧为例，第一待划分区域包含第 1帧、第2帧、第3帧；第二待划分区域包含第5帧、第6帧、第7帧。在 这两个区域中，分别确定出的中间帧为第2帧和第6帧，该第2帧和第6帧 的优先级为第3高优先级。n到达最大值,结束。

本例中执行完步骤S1和S2后，对于未确定优先级的帧直接将其确定为 第4高优先级。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明保护的范围之内。