基于可伸缩视频编码的控制视频质量波动的方法及装置

摘要

本发明实施例公开了一种基于可伸缩视频编码的控制视频质量波动的方法及装置，涉及网络视频传输领域，能够应对带宽的突然变化所造成的视频质量波动，并能够对视频质量波动进行更精确地控制。本发明的方法包括：将待传输的视频数据通过可伸缩视频编码，生成一个基本层和至少一个增强层；发送所述待传输的视频数据；根据所述待传输的视频数据在当前所用信道上的传输情况确定当前的期望码率，所述期望码率为当前所预测的所用信道可负担的最大数据传输码率；根据所述期望码率获取最高增强层，传输所述最高增强层所辖的视频数据时所占用的所有码率之和不大于所述期望码率；将所述最高增强层所辖的视频数据发送终端设备。本发明适用于控制视频质量波动。

说明书

技术领域

本发明涉及网络视频传输领域，尤其涉及一种基于可伸缩视频编码的控制 视频质量波动的方法及装置。

背景技术

随着视频传输技术的发展，基于网络带宽的视频传输技术成为主流。SVC (Scalable Video Coding，可伸缩视频编码/可扩展视频编码)是网络视频传输技 术中一种常用的编码方式。

采用SVC的视频传输设备能够对视频信号进行分层编码，即对视频信号在 时间，空间，质量上进行划分，输出多层码流(包括基本层和增强层)，视频播 放设备可以从基本层解码出基本视频内容，基本视频内容可以满足最低的视频 播放条件以及用户观看需求，但是只通过基本层的数据所获得的视频图像帧率、 分辨率和质量较低。在信道受限(网络带宽较小)或信道环境复杂(数据传输 不稳定)时，只传输基本层可以保证解码端(视频播放设备)能够接收到较为 流畅视频图像。当信道环境良好(数据传输较为稳定)或信道资源丰富(网络 带宽较大)时，可以传输增强层数据，以提高帧率、分辨率以及视频质量。而 增强层可以有多层，即在不超过信道状况(网络状况)可承受的视频信号的最 高传输码率的情况下，可以将增强层逐级添加至基本层，以提高视频质量。

采用了SVC的视频传输设备传输视频信号过程中，视频质量波动是影响用 户体验的一个重要因素。根据调查显示，相比较质量忽好忽坏的视频，用户更 愿意接受一个质量较为平稳的视频，即质量波动较小的视频。因此，采用SVC 的网络视频传输设备需要根据具体的网络带宽状况控制视频数据的质量，现有 的控制视频质量波动的方法是数据包延迟反馈方法：即根据数据包在传输过程 中出现的延迟调整视频质量，调整过程中需要对已发出的数据包的传输延迟进 行监控，并在得到监控数据后，再根据该数据进行调整，当网络带宽出现变动 后，网络视频传输设备需要发送一组数据包，并监控该组数据包的传输延迟， 再根据该传输延迟进行调整。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

现有的控制视频质量波动的方法由于需要等待传输延迟的反馈，执行过程 较为被动，不适于应对因网络带宽的突然变化所造成的质量波动，并且视频质 量波动的控制精度较低，用户体验度不高。

发明内容

本发明的实施例提供一种基于可伸缩视频编码的控制视频质量波动的方法 及装置，能够应对带宽的突然变化所造成的视频质量波动，并能够对视频质量 波动进行更精确地控制，从而提高了用户体验。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，本发明的实施例提供一种控制视频质量波动的方法，包括：

将待传输的视频数据通过可伸缩视频编码，生成一个基本层和至少一个增 强层；

发送所述待传输的视频数据；

根据所述待传输的视频数据在当前所用信道上的传输情况确定当前的期望 码率，所述当前的期望码率为当前所预测的所用信道可负担的最大数据传输码 率；

根据所述当前的期望码率获取最高增强层，传输所述最高增强层所辖的视 频数据时所占用的所有码率之和不大于所述当前的期望码率；

将所述最高增强层所辖的视频数据发送至终端设备。

另一方面，本发明的实施例提供一种控制视频质量波动的装置，包括：

编码模块，用于将待传输的视频数据通过可伸缩视频编码，生成一个基本 层和至少一个增强层；

发送模块，用于发送所述待传输的视频数据；

分析模块，用于根据所述待传输的视频数据在当前所用信道上的传输情况 确定当前的期望码率，所述当前的期望码率为当前所预测的所用信道可负担的 最大数据传输码率；

获取模块，用于根据所述当前的期望码率获取最高增强层，传输所述最高 增强层所辖的视频数据时所占用的所有码率之和不大于所述当前的期望码率；

发送模块，用于将所述最高增强层所辖的视频数据发送至终端设备。

本发明实施例提供的基于可伸缩视频编码的控制视频质量波动的方法及装 置，能够在发送视频数据的过程中，监控指定时间段内的数据传输情况，并根 据具体的监控结果，动态的预测目前所用信道的可承受的码率，并对目前可传 输的最高的增强层做出相应的调整，从而有针对性地控制视频质量。与现有技 术相比，本发明实施例能够主动预判所在信道的环境变化，并根据具体的网络 带宽的变化情况，精确地调整所传输的视频质量，从而应对带宽的突然变化所 造成的视频质量波动，并能够对视频质量波动进行更精确地控制，提高了用户 体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其它的附图。

图1为本发明实施例1提供的基于可伸缩视频编码的控制视频质量波动的方 法的流程图；

图2为本发明实施例2提供的基于可伸缩视频编码的控制视频质量波动的方 法的流程图；

图3为本发明实施例2提供的基于可伸缩视频编码的控制视频质量波动的方 法的具体实例的流程图；

图4为本发明实施例3提供的基于可伸缩视频编码的控制视频质量波动的装 置的结构图；

图5为本发明实施例4提供的基于可伸缩视频编码的控制视频质量波动的装 置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作 详细说明。

实施例1

本发明实施例提供一种基于可伸缩视频编码的控制视频质量波动的方法， 如图1所示，该方法包括：

步骤101，将待传输的视频数据通过可伸缩视频编码，生成一个基本层和至 少一个增强层。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备将需要发送 的视频数据通过可伸缩视频编码，可以将视频数据编码成一个基本层和至少一 个增强层。其中，对视频数据进行可伸缩视频编码的具体实现方式已为本领域 技术人员所熟知，在此不做赘述。

步骤102，发送所述待传输的视频数据。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备将经过可伸 缩视频编码的视频数据发送至终端设备，其中，本发明实施例对发送视频数据 的实现方式不做限定，可以是本领域技术人员所熟知的任意实现方式。

步骤103，根据所述待传输的视频数据在当前所用信道上的传输情况确定期 望码率。

其中，所述当前的期望码率为当前所预测的所用信道可负担的最大数据传 输码率。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备可以根据当 前所用信道上的传输情况，采用PID(比例积分微分)自动控制方法，获取当前 所用信道可负担的最大数据传输码率。

步骤104，根据所述当前的期望码率获取最高增强层。

其中，传输所述最高增强层所辖的视频数据时所占用的所有码率之和不大 于所述当前的期望码率。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备所传输的所 述最高增强层所辖的视频数据时所占用的所有码率之和不大于所述当前的期望 码率，例如：可以将最高增强层所对应的本层的数据所占用的码率与当前的期 望码率比较，若大于当前的期望码率，则在上一次周期中的最高的一层增强层 即为所述最高增强层。进一步可选的，可以将增强层逐级叠加至基本层，并获 取每次叠加后的传输视频数据所需要占用的码率之和，再将每次叠加后的传输 视频数据所需要占用的码率之和与当前的期望码率相比较，若其中一次叠加后 码率之和第一次大于当前的期望码率，则在上一次周期中的最高的一层增强层 即为所述最高增强层。

步骤105，将所述最高增强层所辖的视频数据发送至终端设备。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备将所述最高 增强层、低于所述最高增强层的所有增强层和基本层所对应的接下来发送的待 传输的视频数据发送至终端设备，此处发送视频数据的实现方式与步骤102一 致，在此不做赘述。

本发明实施例提供的基于可伸缩视频编码的控制视频质量波动的方法，能 够在发送视频数据的过程中，监控指定时间段内的数据传输情况，并根据具体 的监控结果，动态的预测目前所用信道的可承受的码率，并对目前可传输的最 高的增强层做出相应的调整，从而有针对性地控制视频质量。与现有技术相比， 本发明实施例能够主动预判所在信道的环境变化，并根据具体的网络带宽的变 化情况，精确地调整所传输的视频质量，从而应对带宽的突然变化所造成的视 频质量波动，并能够对视频质量波动进行更精确地控制，提高了用户体验。

实施例2

本发明实施例提供一种基于可伸缩视频编码的控制视频质量波动的方法， 如图2所示，该方法包括：

步骤201，将待传输的视频数据通过可伸缩视频编码，生成一个基本层和至 少一个增强层。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备将需要发送 的视频数据通过可伸缩视频编码，可以将视频数据编码成一个基本层和至少一 个增强层。例如：如表一所示

  层编号   0   1   2   3   4   5   6   7   分辨率   0   0   0   0   1   1   1   1   SNR   0   0   1   1   0   0   1   1   帧率   0   1   0   1   0   1   0   1

表一

编号为0的层为基础层，编号为1、2、3、4、5、6、7的为增强层(增强层1 至增强层7)，每一个增强层在上一个增强层的基础上在视频数据的帧率、图像 分辨率和SNR(signal-to-noise ration，图像信噪比)之中的至少一项上有所增强， 其中，0表示相比上一层未增强，1表示相比上一层增强，由此可见，在SVC中， 基础层为了保证最基本的视频播放性能，在帧率、图像分辨率和SNR这三个方 面都为最低水平，而视频图像的质量提高需要在基础层上叠加增强层。

其中，对视频数据进行可伸缩视频编码的具体实现方式已为本领域技术人 员所熟知，在此不做赘述。

步骤202，发送所述待传输的视频数据。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备将经过可伸 缩视频编码的视频数据发送至终端设备，其中，本发明实施例对发送视频数据 的实现方式不做限定，可以是本领域技术人员所熟知的任意实现方式。

步骤203，统计发送的数据量，并确定开始统计的时间。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备在、可以在 发送视频数据的同时在一个时间点开始统计发送的数据量，例如：如图3所示， 视频传输设备可以在时间点A开始统计所发送的数据量。

步骤204，确定当前的时间，并获取所述指定时间内所发送的数据量。

其中，所述指定时间为从所述开始统计的时间至所述当前的时间的差值。

具体的，如图3所示，采用可伸缩视频编码的视频传输设备可以在时间点A 开始统计所发送的数据量，具体的统计数据量的方式可以是监控经过该视频传 输设备所发送的视频数据的数据包的数量。在经过指定时间后在时间点B停止监 控，并记录指定时间段内所发送的视频数据的数据包的总数量，从而得到所发 送的数据量。

步骤205，根据所述数据量获取播放时间。

其中，所述播放时间为终端设备根据所述指定时间内发送的数据进行视频 播放的时间长度。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备可以根据指 定时间段内所发送的视频数据的数据量，该视频传输设备可以预计算出接收端 的终端设备根据这些数据量的视频数据可以进行视频播放的播放时间，其中， 根据所述数据量获取播放时间的具体实现方式已为本领域技术人员所熟知，在 此不做赘述。

进一步的，在视频数据传输的过程中，采用可伸缩视频编码的视频传输设 备可以随发送时间周期性地执行步骤203至步骤205的方法流程，并记录下在每 一轮周期中所得的指定时间和播放时间。其中，每个周期之间的时间间隔可以 由视频传输设备根据具体情况自动设定，也可以由技术人员认为设定，在此不 作限定。

步骤206，根据所述指定时间和所述播放时间的比值获取系统输出值。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备可以根据指 定时间和播放时间获取系统输出值，具体方式可以为：

该采用可伸缩视频编码的视频传输设备可以通过PID自动控制方法获取系 统输出值，例如：

系统输出值＝比例系数*比例部分+积分系数*积分部分+微分系数*微 分部分

其中，比例部分＝控制变量＝指定时间/播放时间

在PID自动控制方法中，求取比例部分是为了预测当前网络带宽和传输状况 匹配度，以驱动本发明对视频质量波动的控制结果不断趋近目标状态。

进一步的，积分部分＝累积指定时间/累积播放时间

其中，累积指定时间或累积播放时间为从视频传输设备开始执行的第一个 获取播放时间的周期的时间点至当前时间点之间，所有周期中的指定时间或播 放时间的总和，例如：至当前时间点，总共经过了3个完整的周期(即每个周期 都完整执行步骤203至步骤205的方法流程)，每一个周期中的指定时间及播放时 间分别为：10s、8s；10s、9s；10s、7s，则累积指定时间为30s，累积播放时间 为24s，积分部分＝累积指定时间/累积播放时间＝30s/24s＝1.25。

在PID自动控制方法中，求取积分部分是为了长时间的监测数据以便获取在 较长时间段内带宽变化的平均情况，以减小质量波动的可能性。

更进一步的，微分部分＝本次控制变量/上次控制变量

其中，本次控制变量为根据本次周期中的指定时间以及播放时间所获取的 控制变量，上次控制变量为根据上一个周期中的指定时间以及播放时间所获取 的控制变量。

在PID自动控制方法中，求取微分部分是为了预测带宽的变化趋势，以使 控制变量尽快趋近目标状态。

再进一步的，比例系数、积分系数和微分系数的具体获取方法可以是：采 用可伸缩视频编码的视频传输设备上电后，该视频传输设备自动取积分系数和 微分系数为0，调整比例系数使得系统输出呈周期性变化，此时假设变化周期为 T，比例系数为K，则最终的比例系数为0.6K，积分系数为2K/T，微分系数为 K*T/8。其中，获取比例系数、积分系数和微分系数的具体实现方式已为本领域 技术人员所熟知，在此不做赘述。

步骤207，根据所述系统输出值以及目前数据传输的码率，获取所述当前的 期望码率。

其中，获取所述当前的期望码率为当前所用信道可负担的最大数据传输码 率。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备根据系统输 出值以及目前数据传输的码率，获取期望码率。其中，获取目前数据传输方法 可以是本领域技术人员所熟知的任意方法，在此不做限定。

其中，期望码率＝系统输出值*目前数据传输的码率

步骤208，在所有未被提取的增强层中提取层数最低的增强层。

具体的，在本实施例中，如表一所示，采用可伸缩视频编码的视频传输设 备在所有未被提取的增强层中提取层数最低的增强层，例如：目前没有任何一 个增强层被提取，则提取增强层1；若目前增强层1和增强层2已被提取，则提取 增强层3。

步骤209，获取所述基础层和所有已被提取的增强层所占用的码率之和。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备可以将所有 已被提取的增强层叠加至基础层上，并获取叠加后的视频数据需要占用的码率 之和。

步骤210，检测所述码率之和是否大于获取所述当前的期望码率。

其中，若所述码率之和不大于当前的期望码率，则重复步骤208至步骤211 的过程，直至所述码率之和大于当前的期望码率。

步骤211，若所述码率之和大于获取所述当前的期望码率，则在上一个周期 中在所有未被提取的增强层中所提取层数最低的增强层为最高增强层。

其中，所述最高增强层、低于所述最高增强层的所有增强层和基本层所占 用的所有码率之和不大于获取所述当前的期望码率。

例如：如表一所示，在向基础层叠加了增强层1、增强层2和增强层3后，叠 加后的视频数据需要占用的码率之和大于了期望码率则，当前的最高增强层为 增强层2。

步骤212，将所述最高增强层、低于所述最高增强层的所有增强层和基本层 所对应的接下来发送的待传输的视频数据发送至终端设备。

具体的，在本实施例中，采用可伸缩视频编码的视频传输设备将所述最高 增强层、低于所述最高增强层的所有增强层和基本层所对应的接下来发送的待 传输的视频数据发送至终端设备，此处发送视频数据的实现方式与步骤102一 致，在此不做赘述。

本发明实施例提供的基于可伸缩视频编码的控制视频质量波动的方法，能 够在发送视频数据的过程中，监控指定时间段内的数据传输情况，并根据具体 的监控结果，动态的预测目前所用信道的可承受的码率，并对目前可传输的最 高的增强层做出相应的调整，从而有针对性地控制视频质量。与现有技术相比， 本发明实施例能够主动预判所在信道的环境变化，并根据具体的网络带宽的变 化情况，精确地调整所传输的视频质量，从而应对带宽的突然变化所造成的视 频质量波动，并能够对视频质量波动进行更精确地控制，提高了用户体验。

实施例3

本发明实施例提供一种基于可伸缩视频编码的控制视频质量波动的装置，如图4 所示，该装置包括：编码模块401、发送模块402、分析模块403、获取模块404、 发送模块405。

编码模块401，用于将待传输的视频数据通过可伸缩视频编码，生成一个基 本层和至少一个增强层。

发送模块402，用于发送所述待传输的视频数据。

分析模块403，用于根据所述待传输的视频数据在当前所用信道上的传输情 况确定当前的期望码率。

其中，所述当前的期望码率为当前所预测的所用信道可负担的最大数据传 输码率

获取模块404，用于根据所述当前的期望码率获取最高增强层。

其中，传输所述最高增强层所辖的视频数据时所占用的所有码率之和不大 于所述当前的期望码率。

发送模块405，用于将所述最高增强层所辖的视频数据发送至终端设备。

本发明实施例提供的基于可伸缩视频编码的控制视频质量波动的装置，能 够在发送视频数据的过程中，通过分析模块监控指定时间段内的数据传输情况， 并根据具体的监控结果，动态的预测目前所用信道的可承受的码率，并通过获 取模块对目前可传输的最高的增强层做出相应的调整，从而有针对性地控制视 频质量。与现有技术相比，本发明实施例能够主动预判所在信道的环境变化， 并根据具体的网络带宽的变化情况，精确地调整所传输的视频质量，从而应对 带宽的突然变化所造成的视频质量波动，并能够对视频质量波动进行更精确地 控制，提高了用户体验。

实施例4

本发明实施例提供一种基于可伸缩视频编码的控制视频质量波动的装置，如图5 所示，该装置包括：编码模块401、发送模块402、分析模块403、获取模块404、 发送模块405，其中，分析模块403包括：第一获取单元4031、第二获取单元 4032、第三获取单元4033，其中，第一获取单元4031包括：第一计时子单元40311、 第二计时子单元40312、统计子单元40313；第三获取单元4033包括：第一获取 子单元40331、第二获取子单元40332；获取模块404包括：第一提取单元4041、 第四获取单元4042、检测单元4043、第二提取单元4044。

编码模块401，用于将待传输的视频数据通过可伸缩视频编码，生成一个基 本层和至少一个增强层。

发送模块402，用于发送所述待传输的视频数据。

分析模块403，用于根据所述待传输的视频数据在当前所用信道上的传输情 况确定当前的期望码率。

其中，所述当前的期望码率为当前所预测的所用信道可负担的最大数据传 输码率。

第一获取单元4031，用于获取通过当前所用信道在指定时间内发送的数据 量。

其中，第一获取单元4031包括：

第一计时子单元40311，用于在统计发送的数据量的过程中确定开始统计时 的时间。

第二计时子单元40312，用于确定当前的时间，所述指定时间为从所述开始 统计的时间至所述当前的时间的差值。

统计子单元40313，用于获取所述指定时间内所发送的数据量。

第二获取单元4032，用于根据所述数据量获取播放时间，所述播放时间为 终端设备根据所述指定时间内发送的数据进行视频播放的时间长度。

第三获取单元4033，用于根据所述指定时间和所述播放时间获取所述当前 的期望码率。

其中，第三获取单元4033包括：

第一获取子单元40331，用于根据所述指定时间和所述播放时间的比值获取 系统输出值。

第二获取子单元40332，用于根据所述系统输出值以及目前数据传输的码 率，获取所述当前的期望码率。

获取模块404，用于根据所述当前的期望码率获取最高增强层。

其中，传输所述最高增强层所辖的视频数据时所占用的所有码率之和不大 于所述当前的期望码率。

其中，获取模块404包括：

第一提取单元4041，用于在所有未被提取的增强层中提取层数最低的增强 层。

第四获取单元4042，用于获取所述基础层和所有已被提取的增强层所占用 的码率之和。

检测单元4043，用于检测所述码率之和是否大于所述当前的期望码率。

若所述码率之和不大于所述当前的期望码率，则重复上述过程，直至所述 码率之和大于所述当前的期望码率。

第二提取单元4044，用于若所述码率之和大于所述当前的期望码率，则在 上一个周期中在所有未被提取的增强层中所提取层数最低的增强层为最高增强 层。

发送模块405，用于将所述最高增强层、低于所述最高增强层的所有增强层 和基本层所对应的接下来发送的待传输的视频数据发送至终端设备。

本发明实施例提供的基于可伸缩视频编码的控制视频质量波动的装置，能 够在发送视频数据的过程中，监控指定时间段内的数据传输情况，并根据具体 的监控结果，动态的预测目前所用信道的可承受的码率，并对目前可传输的最 高的增强层做出相应的调整，从而有针对性地控制视频质量。与现有技术相比， 本发明实施例能够主动预判所在信道的环境变化，并根据具体的网络带宽的变 化情况，精确地调整所传输的视频质量，从而应对带宽的突然变化所造成的视 频质量波动，并能够对视频质量波动进行更精确地控制，提高了用户体验。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围 应该以权利要求的保护范围为准。