用于在视频信号编码和传输过程中评估视频信号质量的方法与设备

摘要

用于在接收器侧评估所传输视频信号序列质量的方法与设备，该方法包括以下步骤：a)在解码之前捕获所接收的输入视频比特流并将其提供至视频比特流分析器；b)在测量时间窗期间，通过比特流分析器从所捕获的输入视频比特流的数据包报头中提取一个或者多个特征；c)从所述一个或多个特征，以及可选地从关于诸如切片配置的媒体流的已知的元信息，来确定单一参数xwpSEQ，所述参数表示由于数据包丢失而造成的信号劣化的幅度；d)将所确定的参数提供至质量估计模块；以及e)基于表示由于数据包丢失而造成的信号劣化的幅度的单一参数xwpSEQ以及基于视频分辨率信息和所用的视频解编码器，通过所述质量估计模块计算由于数据包丢失而造成的质量测量Qtrans。

说明书

技术领域

本发明涉及用于评估在编码、传输和解码之后所得的视频信号质量的 方法与设备。具体地，本发明涉及在传输期间视频信号因数据包丢失而受 损的情况下视频信号的可感知的质量的评估和建模。

背景技术

在很多视频分配服务中，例如，如用于IPTV(互联网协议TV)的 基于IP的视频正变得越来越重要，且正越来越多地用于取代模拟或非基 于数据包的传输方法。保持高水平的服务质量是广播提供商向内容提供商 和顾客负有的主要责任。例如，在如在IPTV服务中所涉及的大规模视频 分配网络中，只有全自动质量监控探头(quality monitoring probes)才满 足这一要求。

为了获得诸如非交互式流视频(non-interative streaming video) (IPTV，VoD)或静态视频(DVD)的视频服务用户的高满意度，除了技 术性能指标，这样的监控探头也需要提供在给定监控间隔服务用户所感受 到的视频质量的估计。

为此，开发了技术视频质量模型(它们提供了用户所感知的视频质量 的工具估计)，由此成为用户的技术模型。例如，这些模型可输出在用户 侧接收的视频与原始的非劣化的视频(non-degraded video)之间的相似度。 另外，作为更复杂解决方案的代表，人类视觉系统(Human Visual System， HVS)可使用技术系统建模。最后，这样的模型应该提供与用户提供的评 价相对应的质量估计，这可通过在大量的主观质量测试结果上训练该技术 模型获得。

视频质量模型和由此的测量系统通常按以下分类：

质量模型类型

·全参考型(FR)：要求参考信号。

·部分参考型(Reduced-Reference，RR)：要求从源信号提取的部分 信息。

·无参考型(NR)：不要求参考信号。

输入参数类型

·基于信号／媒体型：要求解码的图像(像素信息)。

·基于参数型：要求比特流水平信息。信息可覆盖从仅要求数据包报 头语法分析的数据包报头信息到比特流的部分至全解码。

应用类型

·网络规划型：为了识别最好可能的实施，在服务实施前的规划阶段 使用模型或测量系统。

·服务监控型：在服务运营期间使用该模型。

可在参考文献[1]，[2]或[3]中找到视频质量模型的类型的相关信息。

在IPTV的情况下，主要失真由视频压缩和视频数据包丢失造成。在 视频数据包丢失情况下影响所感知的视频质量的因素为：

a)丢失数据包的数量

b)数据包丢失分布(例如，其可就在给定突发性丢失情况下丢失数 据包的平均数量进行描述)以及这种突发的分布。

c)GOP结构，包括

i)GOP长度，即，不要求先前或者另外的帧被解码的帧，所谓的“关 键帧”或“I-帧”之间的距离。一个图片组覆盖一个I-帧和直到视频序列 的下一个I-帧的所有帧。

ii)每个GOP中B与P帧的数量和再分配，这个帧也就是预测(P-) 与双向(B-)帧。

iii)GOP“类型”：开GOP或闭GOP；当GOP打开时，可使用自后 面或前面GOP的参考帧对属于一个GOP的帧进行编码；当GOP关闭时， 只有来自当前GOP的参考帧才可用作对编码当前GOP的参考。

d)由数据包丢失损坏的帧的帧类型。如果丢失发生在I-帧或P-帧， 该数据包丢失就会传播到参考受损帧的所有帧，通常直到下一个(参考) I-帧，而如果丢失发生在B-帧，则丢失不会传播，除了在分级的B-帧编码 的情况下。在分级编码的情况下，一些B-帧也用作其他B-帧的参考帧。 参考B-帧中的丢失由此也会传播到从属的B-帧上。

e)每帧的数据包的数量。该数量取决于比特率和视频的时-空复杂度。 比特率越高，要求更多的数据包来传输帧。视频的时-空复杂度影响数据 包在帧内的分布：基本上，视频的空间复杂度越高，I-帧或P-与B-帧所要 求的数据包越多(如果要求空间／内预测宏块捕获信息)，且视频的时间复 杂度越高，要求越多的数据包传输P-与B-帧。反过来，每帧的数据包的 数量越高，包含在数据包中的像素的对应的数量越低。考虑到一定的丢失 概率，帧包含的数据包越多，在该帧中发生数据包丢失的概率越高，且如 果该帧是参考帧，则该丢失传播的概率也越高。

f)数据包丢失消除，即在解码器上实施的消除数据包丢失的策略。 可根据切片或冻结粗略地对数据包丢失消除进行归类。片被定义为可独立 解码的视频帧的区域。因此，如果它受到数据包丢失的影响-解码器用来 自(时间上或空间上)相邻的正确接收的区域的数据来填充该区域。切片 需要由引入切片报头的编码器来实施，解码器用作同步点。在数据包丢失 和冻结类型数据包丢失消除的情况下，通常重复最后正确接收的视频帧直 到下一个完整I-帧到达，或者另一个可从其预测受影响帧的完整参考帧。 在广播服务中，冻结包括跳过错误的帧。在非广播服务中，甚至在延迟接 收后，丢失的数据包可以会被重新发送并结束(plaVed out)。这可被认为 再缓冲(re_buffering)，且丢失的信息不会被跳过。注意，后一种情况不 在本发明考虑范围内。

g)如果切片被用作数据包丢失消除，该因素为每帧的片的数量(见 图2)。在编码器级处选择每帧的片的数量。在数据包丢失且如果切片用作 数据包丢失消除的情况下，该数量影响数据包丢失的空间范围(spatial  extent)。事实上，如果数据包丢失发生在片中，该数据包丢失会被传播直 至下一片，即，直到解码器基于下一可用片报头可再同步。结果，每帧的 片数量的增加减少了数据包丢失的空间范围。然而，这也增加了片报头的 数量，且由此降低在给定总比特率下的编码的效率。这反映了在编码效率 与数据包丢失的鲁棒性之间存在平衡。

h)由编码器使用的率控制类型，即，恒定-可变比特率编码(constant  versus variable bitrate coding)。具体地，由编码器使用的率控制类型(恒 定或可变比特率编码)与内容的时-空复杂度一起严重影响时-空信息映射 成字节或者，换句话说，强烈影响给定时-空区域要求的数据包的数量。 注意，本发明目标在于恒定和可变比特率编码两种情况，但是由于在高度 可变比特率编码的情况下估计丢失事件的时-空范围的有效性降低，由本 发明中描述的技术用户模型提供的质量预测会偏离真实的感知。

质量估计方法通常支持有关视频信号的编码的质量(压缩，Qcod) 以及传输期间由于数据包丢失而导致的质量(Qtrans)的分开的估计。质 量估计方法通常使用两种方法中的一种来组合有关压缩质量和传输质量 的估计。等式(1)和(2)示出了两种不同的方法，其中，各自的值范围 表示示例性的实施：

Q=Q0-Qcod-Qtrans，Q0，Qx∈[0...100]     (1)

Q=Q0*Qcod*Qtrans，Q0，Qx∈[0...1]     (2)，

这里，Q0表示基础质量(base quality)，或者基础质量的函数。基础 质量在这里指的是在编码、传输和解码之前视频的感知的质量(perceived  quality)。

在文献中，通常从比特率和数据包丢失率中估计因数据包丢失而导致 的质量(Qtrans)，如[4]中所示。对于考虑数据包丢失分布，描述视频序 列内的丢失的再分配的参数，例如如[5]中的突发密度和突发时长或者如[6] 中的一行中的数据包丢失的数量，也要考虑。可选地，已经提出了描述数 据包丢失频率(即，在给定时间周期内数据包丢失事件的数量)的参数， 如[7]中所述。这些参数在网络规划中很有帮助但是在服务监控中显得不 足。例如，它们不能捕获被击中帧(hit frame)的受损的比例，因为它们 没有考虑被数据包丢失击中的帧内的数据包的总数量和丢失数据包的数 量。因此，它们对数据包丢失的真实空间范围是不知的。另外，它们没有 考虑被数据包丢失击中的帧的帧类型，且由此对时间传播和由此的包丢失 时长是不知的。

在[8]中已经提出了描述丢失的时间时长的参数，但该参数仅覆盖作 为数据包丢失消除的冻结。在[10]中已经提出了一种有趣的建议，用来在 应用切片的情况下估计由丢失影响的帧内的区域。在这里，所提出的方法 并没有如本发明所建议的那样应用于质量预测，且仅覆盖本发明所处理的 几种子情况(sub—case)中的一种情况。在[9]中，提出了使用类似于[10] 的方法但是是在不同情况下的方法。它使用描述每帧的丢失的空间范围和 帧类型的参数并且基于这些参数计算所述帧的质量。然而，就用于描述丢 失引起的失真的单个参数而言，没有明确地考虑帧定时和丢失传播。

尽管如此，就感知劣化的量而言，感知足够的用户模型需要使用丢失 描述和质量影响之间的量化映射。在本发明的模型中，假设丢失的空间范 围和时长的组合影响感知的质量。结果，本发明定义了准确清晰地描述丢 失的空间范围和时长的参数以及将该参数映射到占用给定测量窗的视频 序列质量的模型。

发明内容

本发明的方法关注于在切片或冻结被应用作数据包丢失消除的情况 下，表征传输效率Qtrans的术语的质量估计。本发明的方法可以与用于有 关视频流Ocod中压缩的质量估计的不同的方法相结合。利用图8中所示 的流程图示出了当在切片情况下应用用于确定Otrans的方法时所涉及的 步骤。

本发明的方法是具有少量(1ight—weight)参数的基于参数的视频质量 模型，并因此提供了一种适于服务监控的技术方案，所述服务监控例如可 以在诸如机顶盒或家庭网关的终端用户设备上实施。如图1中所示，作为 输入，该模型获取从比特流中提取的参数。原理上，本发明方法所实施的 测量系统可位于网络中的不同位置。然而，探头的定位越靠近用户设备， 所预测的质量越能代表在用户侧感知到的真实质量。这些参数不要求获取 净负荷，且因此不要求比特流的部分解码或全部解码。结果，该方法可用 于对加密数据流的质量预测，其中，在网络中的测量位置上可以不不获取 净负荷。数据包报头的少量语法分析足以获取将被发送到模型的参数。注 意，如果允许更深的语法分析，如通过未加密数据，也可基于部分或全部 解码，单独或与从比特流中提取的其他参数一起使用这些参数。本发明的 方法详细考虑传输处理的参数。在“背景技术”部分列举了一系列因素， 这些因素也适于描述由于数据包丢失而导致的质量影响，因此，就基于参 数的视频质量模型的输入参数而言，也可以被使用。然而，参数的对应列 表很长，这降低了该模型的灵活性，这是因为每次改变编码设定、数据包 丢失分布或GOP结构时必须对参数作出调整，而这提高了产生不正确质 量预测的风险。

通过本发明，引入一个可选参数，这显著减少了将用在质量模型中的 输入参数的数量。该单一参数比可能基于相应的常规使用的参数执行了丢 失的空间范围和时长更加一般的描述。

本发明的目的在于要提供用于在接收器侧评估所传输的视频信号序 列质量的方法和设备，所述视频信号序列在引入数据包丢失的链接上被传 输，且是在切片或冻结被应用作数据包丢失消除的情况下(等式(1)或 (2)中的Qtrans)。本发明使用一个单一参数，其捕获劣化的幅度(the  magnitude of degradation)且被映射至质量。本发明的目的通过权利要求的 特征来获得。

根据第一方面，本发明提供了一种用于在接收器侧评估所传输的视频 信号序列的质量的方法，该方法包括以下步骤：

a)在解码之前捕获所接收的输入视频比特流且将其提供至视频比特 流分析器；

b)在测量时间窗期间，通过比特流分析器从所捕获的输入视频比特 流的数据包报头中提取一个或多个特征；

c)从一个或多个特征，以及可选地从关于例如切片配置的媒体流的 已知的元信息中确定单一参数xwpSEQ，该参数表示由由于数据包丢失而 造成的信号劣化的幅度；

d)将所确定的参数提供至质量估计模块；以及

e)基于表示由于数据包丢失而造成的信号劣化幅度的单一参数 xwpSEQ以及基于视频分辨率信息和所使用的视频编解码器，通过质量估 计模块，来计算由于数据包丢失而造成的质量测量Q_trans。

在步骤c)中确定的单一参数xwpSEQ表示丢失的空间范围和时长。 优选地，该单一参数xwpSEQ基于测量窗中的图片组(GOP)的数量N 和出现在受影响的图片组k的丢失的时一空范围xl_k。

可以基于被击中帧中由于丢失事件而造成的受损像素的比例xl_i、相 对于GOP起始位的丢失位置t_i以及GOP的长度T_k，来计算出现在图 片k中的丢失的时-空范围xl_k。

优选地，基于当前被击中的帧中数据包丢失事件i的所丢失的视频数 据包数量除以当前被击中帧中丢失且被正确接收的数据包的数量，来计算 被击中帧中的受损像素的比例xl_i。

也可基于当前被击中帧中由于丢失事件i而造成的丢失的视频字节的 数量除以当前被击中帧中丢失且被正确接收的字节的数量，来计算当前被 击中帧中的受损像素的比例xl_i。

根据另一个实施方式，基于包含当前帧的数据包的数量、当前被击中 帧中在丢失事件i中丢失的丢失视频数据包的数量、每帧的片的数量和每 片的数据包的估计数量，来计算被击中帧中的受损像素的比例xl_i。

优选地，还基于包含当前帧的数据包的字节的总大小、当前被击中帧 中由于丢失事件i而造成的丢失的视频字节的数量以及每片的数据包或字 节的估计数量，来计算当前被击中帧中的受损像素的比例xl_i。

可选地地，基于包含当前帧的数据包的数量、属于组合的丢失事件ij (在该帧中发生2个或多个丢失事件的情况下)的视频数据包的数量、在 丢失事件ij期间所发现的当前被击中帧中的视频数据包的数量、每帧的片 的数量和每片的数据包的估计数量，来计算被击中帧中受损像素的比例 xl_i。

本方法也包含可选的方案，其中基于连续丢失的视频传输流数据包的 数量、每帧的片的数量以及反映被丢失击中的帧中的丢失传播的校正项， 来计算被击中帧中的受损像素的比例xl_i。

在另一个实施方式中，基于连续丢失的传输流数据包中的视频字节的 数量以及包含在当前被击中帧中的视频字节的总数量，来计算被击中帧中 的受损像素的比例xl_i。

可选地，基于属于组合的丢失事件ij的视频传输流数据包的数量、 在组合的丢失事件ij的丢失部分之间所发现的视频传输流数据包的数量、 每帧的片的数量以及放映被丢失击中的帧中的丢失传播的校正项，来计算 被击中帧中的受损像素的比例xl_i。

可选的实施方式处理每帧使用一个片的情况。其中，优选地，将丢失 事件i的分布xl_i计算为在第一丢失数据包和帧的尾端之间的空间区域。

本方法可在步骤(c)中另外考虑表示视频序列的时-空复杂度的校正 因子，利用这一校正因子校正各丢失事件i对总体参数的贡献xl_i。该校 正因子优选取决于每图片组的所计算的视频的时间复杂度。可选地，所述 校正因子取决于被丢失事件i击中的图片组中的帧的时间位置。另外，该 校正因子可取决于被丢失事件i击中的图片组中的时间位置以及每图片组 的所计算的视频的时间复杂度。

在本发明中，步骤e)可另外考虑具有丢失事件的图片组的数量。

进一步优选地，每丢失事件中捕获在所述各帧中受影响的区域的估计 位置的变量被存储，且所述变量用于校正丢失事件i的贡献xl_i，或根据 步骤c)用于校正所述序列的给定的时间部分对总体参数的贡献。

根据优选实施方式，在冻结被用作数据包丢失消除类型的情况下，根 据步骤c)的参数指的是在所述序列中指代冻结的总加权时间时长，其是 根据本发明的这些方法的任意方法计算的。

根据第二方面，本发明提供用于在接收器侧评估所传输视频信号序列 质量的设备，包括：

视频比特流分析器，在解码之前捕获所接收的输入视频比特流，且被 配置为在测量时间窗期间内从所捕获的输入视频比特流的数据包报头中 提取一个或者多个特征；

用于确定单一参数xwpSEQ的装置，所述装置所述一个或者多个特 征，以及可选地从关于诸如切片配置的媒体流的已知的元信息，来确定表 示由于数据包丢失而造成的信号劣化的幅度的单一参数xwpSEQ。

质量估计模块，被配置为接收所确定的参数，所述质量估计模块被配 置为基于表示由于数据包丢失而造成的信号劣化的幅度的单一参数 xwpSEQ和基于视频分辨率信息与所使用的视频解编码器，来计算由于数 据包丢失而造成的质量测量Q_trans。

上面提到的本发明第一方面的优选实施方式也是本发明第二方面的 优选实施方式。

具体实施方式

1.切片

1.1每GOPK和每序列(xwpSEQ)的丢失劣化的时空范围xl_k

首先描述本发明的切片，随后以切片方法的子情况(sub-case)表 示冻结的方法。

从被击中的帧中持续丢失的数据包的数量、被击中帧中的数据包的数 量、每帧的片的数量以及被击中帧的帧类型来计算丢失的空间范围与时 长。

因此，Qtrans可以被写成如等式(3)中所示。

注意，在下面，所有的计算在处于解码输入水平上的比特流上进行， 由此这些帧遵循编码顺序，而不是显示顺序(见图3)。

Qtrans=f(xwpSEQ)     (3)

其中

f…例如为算法函数

以及

xwpSEQ=Σxl_k/N     (4)(同样见图4对xwpSEQ计算的描 述)

其中

N…为测量窗中的GOP的数量

X1_k…为发生在GOPk中的丢失的时-空范围

以及

xl_k=Σxl_i-Σxl_i*t_i／T_k     (5)

其中

i…为新丢失事件(即不是源于丢失传播)的指数；如果丢失事件发 生在B-帧(在分级编码情况下非参考B-帧)，该丢失不传播，由此在计算 xl_k中忽略该丢失事件。

t_i…为在其中发生新丢失事件的帧(相对于GOP起始)的指数。

T_k…为GOP k的时长或长度，通常根据帧的数量表达。

xl_i…为在被击中帧中由于丢失事件i而造成的受损像素的比例。

假设xl_i为丢失事件i的单独的贡献(individual contribution)，而xl_i_w为先前丢失事件w＜i的贡献。原理上，由于一个GOPk中的几个丢失事件 的可大于1，所以等式(5)中的求和可以步进的方式进行计 算，

$\mathrm{xl}\_k_i=\min (1,\mathrm{xl}\_i_i+\underset{w=1}{\overset{i-1}{\Sigma }}\mathrm{xl}\_i_w)---\left(5a\right)$

其中，xl_k_i为直至GOP k中的当前丢失事件i的累积的相关空间区 域。

在一个可选实施方式中且对于有显著不同的GOP长度的情况，可在 等式(4)中明确考虑每个GOP的时长，从而得到(5a)：

xwpSEQ=Σxl_k*T_k／ΣT_k     (5a2)

这里，T_k为序列的总体时长，例如可用帧的数量来表达。

对于使用分级B-帧的情况，本发明的另一个实施方式是有效的。在 这种情况下，可以假设参考B-帧中的丢失事件传播直至下一个完整的P 帧到达，同时丢失影响相应的B帧之后和之前的B帧。结果，来自每个 丢失事件i的单独贡献xl_i被集中在矢量xl_k中，其中，每条表征每个丢 失事件的空间范围，且各时长被集中在矢量t_k中。

xl_k=(xl_1，xl_2，...，xl_n)’，     (5b)

以及

其中，Tp_i是紧随被丢失击中的参考B-帧之后的的P-帧的GOP k中 的帧位置。这里，假设传输顺序中的帧指数化。

然后，根据等式（5）或（5a）的xl_k的计算包括适量xl_k和t_k的 标量积（skalar product）：

xl_k=1/Tk·(xl_k·t_k)      (5c)

或者按照上面所提到的论点，限制由于帧内新丢失事件i造成的空间 创新错误（spatial innovation error），其中丢失或它的传播以最多整个帧受 影响的这种方式影响该帧，例如见等式（5a）。

1.1.1确定对丢失事件i的时空范围的贡献xl_i

1.1.1.1每数据包一个切片

根据所采用的封包方案，存在用来确定受损像素xl_i的估计比例的 各种不同的方式。

例如，参数xl_i可计算为：

xl_i=nlp_i/np       (6)

其中

nlp_i…为在当前被击中帧中数据包丢失事件i的丢失的视频数据包 的数量。

np…为在当前被击中帧中（丢失+被正确接收的）数据包的数量。

xl_i…为在当前被击中帧中的受损像素的估计比例，其对应于丢失事 件i中丢失的数据包。

该实施方式表示这样一种情况，其中，封包化以一个IP数据包精确 包含一个片（即，在H.264视频编解码器情况下，一个网络抽象层单元 （Network Abstraction Unit，NALU））的方式进行。在这种情况下，片通 常被选择为对应以字节为单位的网络MTU大小。结果，数据包丢失对应 于片丢失，而nlp个数据包的丢失对应nlp个片的丢失。在这种情况下， 受丢失影响的区域被计算为丢失的数据包的数量除以组成帧的数据包的 数量。显然，组成帧的数据包的数量对应于丢失的数据包的数量加上所接 收的数据包的数量。

根据可选的实施方式，参考帧中所丢失的区域可估计成所丢失字节的 估计数量除以给定帧所要求的字节的估计数量，如[10]中所描述：

xl_i=blp_i／bp      (6a)

其中

blp_i…为当前被击中帧中由于丢失事件i而导致的丢失的视频的字 节的数量。

bp…为当前被击中帧中(丢失+被正确接收的)字节的数量。

xl_i…为当前被击中帧中受损像素的估计比例，其对应于随丢失事件 i所丢失的字节。

1．1．1．2每帧的固定数量的片，没有传输流

接下来，将考虑以片包含固定数量像素方式执行信息封包化的情况。 对于基于IP／UDP／RTP的传输的情况，这种情况是片没有被强制映射到 MTU大小。假设在击中当前帧的给定的丢失事件i中，nlp_i数据包成行 丢失。可区分两种情况：a)该数据包的大小大于片的大小，_b)数据包的 大小小于或等于片的大小，因为否则期望信息封包获得大小(数据包)= 最小(MTU，片)的数据包。在情况a)中，可假设每个数据包中包含整 数数量的片，且不计入片碎片。情况a)思想上与前面的描述非常相似， 其中，每个数据包一个片。类似地，在整数数量的片包含在一个包的当前 情况a)中，随丢失事件i所丢失的像素的相对数量对应于数据包的相对 数量nlp_i除以组成整个帧的数据包的数量，见等式(6)和(6a)。

在情况b)中，具有片碎片，等式(6)需要改写成

xl_i=1／np*[(nlp_i-1)+(np／nsc+1)/2]     (6b)

其中

np…为包含当前帧的数据包的数量

nlp_i…为在当前被击中帧中在丢失事件i中所丢失的丢失视频数据 包的数量，如前所述。

nsc…为每帧的片的数量

np／nsc…为每片的数据包的估计数量

该情况在图6中示出。示意图示出了在受具有成行丢失nlp_i数据包 的丢失事件影响的空间区域的比例作为相对于示例性片结构的丢失的位 置的函数。可通过计算平均特性推导出等式(6b)和本专利中相似的其他 等式。

在该情况的可选实施方式中，不是获取数据包的数量，而是如前面情 况中，可使用包含在这些数据包中各字节的数量，见等式(6)和(6a)。 然后：

xl_i＝1／bp*[(blp-1)+(np/nsc+1)／2]     (6c)

其中

bp…为包含当前帧的数据包的以字节为单位的总大小。

blp_i…为在当前被击中帧中由于丢失事件i而导致的所丢失的视频 字节的数量。

np／nsc…为每片的数据包的估计数量。

如果每帧仅使用一个片，就可知道该帧中丢失事件的准确位置。在这 种情况下，xl_i对应于第一丢失数据包和该帧的尾端之间的空间区域：

xl_i＝sap_i/sf    (6d)

其中，sap_i是受丢失影响的表面，而sf为整个帧表面。

显然，对于本领域的技术人员来说，如本专利前面所解释的，基于数 据包大小和／或净负荷大小计算sap_i和sf。

应注意的是，只有当两个连续丢失事件i和j的第一丢失数据包p_i 和p_j被gap_l_ij≥np／nsc分开，即，数据包的数量大于或者等于片所要求 的数据包的估计数量时，这两个丢失事件才被认为是连续的。否则，这两 个丢失事件在这里被当作一个单一的组合丢失事件ij的一部分，该组合丢 失事件ij的由在其之间可发现的nfp_ij数据包的数量表征。在这种情况下， (6b)变成：

xl_i=l／np*{[(nlp_ij-1)+(np/nsc+1)／2]-[nfp_ij*(nfp_ij+1)／2]}    (6e)

其中

np…为包含当前帧的数据包的数量

nlpij…为属于组合丢失事件ij的视频数据包，即，所有丢失的数据 包和在包括2个数据包丢失事件i和j之间的间隙中被发现的数据包(在 当前被击中帧中)，的数量。

nfp_ij…为在当前被击中帧中丢失事件ij内所发现的视频数据包的数 量。这里，组合丢失事件具有形式1...0.0..1，其中，1对应于所丢失的数 据包，且0对应于所发现的数据包。因此，该丢失事件以丢失开始和结束， 而nfp_ij数据包在其间被发现。

nsc…为每帧片的数量。

np／nsc…为每片数据包的估计数量。

显然(6e)也可以视频帧各所丢失和所发现部分的以字节为单位的大 小来表达。

1.1.1.3每帧的固定数量的片，具有传输流

在封包涉及传输流(TS)数据包的情况下，视频数据包对应于具有 视频净负荷的TS数据包。在这种情况下，在各视频帧中，各片通常对应 于固定的空间区域，正如前面情况中所述。这里，同样，可要求一个或者 几个数据包来传输相应的片，这取决于给定帧的视频的空间或时间复杂 度。

如在“背景技术”部分的点g)中所提及的，如果在片中存在丢失事 件，则从对应于丢失的数据包的像素区域直至下一片的整个像素区域被损 坏。

在这种情况下，当存在成行丢失nlp_i个数据包的丢失事件i时，除 了对应于被击中帧内事件i中所丢失数据包数量的受损像素的比例之外， 平均有半个片丢失。这可通过把等式(6)修改成等式(7)反映出来：

xl_i＝nlp_i／np+1／(2*nsc)     (7)

其中

nlp_i…为连续丢失的视频TS数据包的数量

nsc…为每帧的片的数量

1／(2*nsc)…由此为反映被丢失击中片内丢失传播的校正项。

该情况在图7中示出，其中，由给定的丢失nlp_i个数据包的丢失事 件影响的空间区域被示出为该丢失事件在帧上且相对于示例片集合(an  example set of slices)是如何定位的函数。这里，相对于组成帧的数据包 的总体数量表达空间比例，以便整个帧对应于1的比例。当计算受平均值 影响的区域、将示出的曲线在相对于帧的起始位置的丢失事件的起始位置 上进行积分时，遵循等式(7)。对于包含在丢失数据包中的空间区域小于 一个片的情况，选择给定的实例，但是也容易示出的是，包含在丢失数据 包中空间区域大于一个片时，也可以应用同样的关系。

在可选实施方式中，可使用以字节为单位的数据包大小而不是数据包 的数量：

xl_i=blp_i／bp+1／(2*nsc)     (7a)

其中

blp_i…为连续丢失的TS数据包内的视频字节的数量

bp…为包含在当前被击中帧内的视频字节的总数量

如在其他封包化情况中，两个丢失事件i和j的初始点可小于为字节 为单位的一个片或小于除了它们各自之外的TS数据包的数量。在这种情 况下，本发明建议将这两个丢失事件考虑成具有数据包的数量nfp或大小 bfp的一个单一丢失事件，这些数据包可在两系列丢失数据包nlp_i和nlp_j 之间(在blp_i和blp_j之间)被发现。在这种情况下，如前面可比较实施 方式中所述，在两个丢失运行(the two loss runs)之间发现的nfp_i个数 据包将减少各帧中受损像素的比例，其可由(7b)描述：

xl_i=nlp_ij／np+1／(2*nsc)-nfp_ij／(2*np)     (7b)

其中，除了前面的定义外，使得

nlp_ij…为属于组合丢失事件ij的视频TS数据包的数量，包括在它 们之间发现的数据包(这里假设在两个丢失事件i，j之间仅有一个间隔)。

nfp_ij…为在组合丢失事件ji的丢失部分之间所发现的视频TS数据 包的数量。

nsc…为每帧的片的数量

1／(2*nsc)…由此为反映被丢失击中的片内的丢失传播的校正项。

在每帧中仅使用几个，即，例如1个，2个或3个片的特定情况下， 当考虑在属于所述帧的数据包序列上的丢失事件i的位置时，xl_i的计算 可更加准确。这对于每帧一个片的情况特别有意义，其中，跟随在那样的 帧中的丢失的数据包之后的所有像素信息可被认为被劣化。在那样的情况 下，等式(7)变成等式(7c)：

xl_i=ndp_i／np     (7c)

其中

ndp_i…为从该帧中第一丢失数据包直至该帧的尾端的数据包的数 量。

通常，对于传输流情况，如果由丢失事件i而丢失的视频数据包的数 量超过属于所述帧的数据包的假设数量，或者受影响的区域(如假设，例 如，从所丢失字节的估计数量)超过该帧的区域，并且由此该丢失事件延 伸到下一个帧，那么需要对下一个帧的受影响的丢失区域进行相应的考 虑。可使用，例如关于受影响(下面)帧的等式(7)、(7a)、(7b)或(7c) 进行该计算。

在部分1．3．2中描述了明确考虑在帧内的丢失位置的其他方面。

1．2质量模型

现在，对于上述的所有情况，根据本发明，例如使得：

Qtrans=a*log(b*xwpSEQ+1)    (8)

在等式(8)中，系数a和b的值取决于视频分辨率和所使用的视频 编解码器。对于给定的分辨率和视频编解码器，仅具有一组系数的模型覆 盖多种比特流、视频内容类型(就时-空复杂度而言)、GOP结构的选择、 数据包丢失率与分布以及每帧的片的数量。

注意，在最小二乘曲线拟合程序中使用感知测试的评估优选获取所述 系数作为目标值。对于HD分辨率(1920x1080像素)和对应于x264编码 实施的H．264视频解编码器，例如使得a=7．79且b=0．002。

1.3模型改进

1．3．1错误传播期间受丢失影响的区域的特性

如果在GOP k内时间t_i处的参考P-或I-帧上发生一个数据包丢失， 那么该错误会传播知道下一个I-帧。在时间t_i处的原始被击中的帧内和 在直到下一个I-帧的独立帧内，受损像素的数量到目前为止都被认为是恒 定的。就其他方面而言，当发生传播时(见图5)丢失的空间范围被认为 是恒定的。这种假设在大部分的情况下并不准确。事实上，由于在视频内 存在运动，且由于编码处理的性质，丢失的空间范围从一个独立帧改变到 另一个独立帧(见图5(b)和(c))。这种空间范围的扩展(图5(c)) 或缩减(图5(b))取决于运动的量和时间复杂度。如果运动是混乱的， 例如如果图像的不同部分朝不同方向运动，丢失可传播到全部的帧(图5 (c))，但是如果受损对象的运动是一致和迅速的，在下一个I-帧之前受 损对象可能从图片中消失(图5(b))。这方面可通过向在等式(4)和所 有相关等式中的xl_k插入校正因子α_1,k，和／或向等式(5)和所有相关等 式中的xl_i插入校正因子α_2,i来调整，如等式(9a)、(9a2)和(9b)所示：

xwpSEQ=Σα_1,k*xl_k／N      (9a)

或者相关等式(5a)

xwpSEQ=Σα_1,k*xl_k*T_k/ΣT_k     (9a2)

其中

xl_k=Σα_2,i*xl_i-Σα_2，i*xl_i*t_i／T    (9b)

校正因子α_1,k。取决于视频tcomp的时间复杂度。计算每GOP k的时间 复杂度。

每丢失事件xl_i中应用校正因子α_2,i且α_2,i取决于被丢失事件i击中的 帧的时间位置，即，取决于t_i和取决于视频tcomp的时间复杂度。

这两个校正因子因此可被写成等式(10a)和(10b)中的形式。

α₁＝g₁(tcomp)    (10a)

α₂=g₂(t_i，tcomp)    (10b)

其中

tcomp…为GOP的时间复杂度，例如，关于I-、P-和B-帧的帧大小 的函数，

并且其中

t_i…为GOP中帧位置，在GOP中发生新的丢失事件。

由此

α₁…为tcomp的函数

α₂…为t_i与T之间帧位置以及tcomp的函数。

校正因子α_1,k和α_2,i可在前面的阶段(离线)通过下述方法统计获得， 即，对于每个丢失事件以及对于宽范围的视频内容，通过比较使用等式(6) ——或者上面提供的能够计算xl_i的其他等式的任何一个——计算的xl_i 值和受损像素的真实数量来获得。受损像素的真实数量例如通过逐帧比较 具有数据包丢失的编码的视频和没有数据包丢失的编码的视频来进行计 算。对于每个丢失事件，该数量与t_i、tcomp和xl_i的值一起存储。从而 使得在受损像素的实际数目和用于各种tcomp和t_i值的xl_i之间存在映 射，该xl_i需要使用为本领域技术人员所知的试探法(heuristic approaches) 来推导。从而可知，对于每个t_i和tcomp值，xl_i应被减弱或扩展多少。

注意，错误的可见度取决于内容的时-空复杂度。例如，对于低时间 复杂度的内容和在切片用作数据包丢失消除的一部分的情况下，该丢失消 除效果很好，且丢失导致的错误可看不见。当所述错误发生在具有高细节 量的空间区域中时它也可是非可见的。结果，在可选实施方式中，因子α_1,k和α_2,i也可表示基于视频序列的时间和空间复杂度而计算的错误的可见 度。在这种情况下，可使用等式(9a)和(9a2)，且校正因子α_1,k取决于 视频的时-空复杂度stcomp。每GOPk计算该时-空复杂度，且等式(10a) 变成

α₁=g₁(stcomp)    (10a2)

其中

stcomp…为GOP的时-空复杂度，例如关于1-、P-和B-帧的帧大小的 函数。

当使用分级B-帧编码，见，例如等式(562)和(5c)时，本领域的 技术人员可轻松将通过具有稍微不同的丢失的时间积分的等式(9a)- (10a2)表达的特征进行组合。

1．3．2被丢失事件影响的空间区域

使用以上引入的加权因子，可清晰地考虑帧中由丢失事件而引起的劣 化的位置。对于不同的原因，这是有意义的：

I)预期观看者的注意力主要集中在帧的中间。该效果由可见错误的 出现而降低，这可能吸引观看者的注意。然而，发生在该帧的某些错误中 的可见错误可比在该帧其他区域的错误对质量产生更大的影响。这一方面 是众所周知的；本专利所做的发明由以下组成，即，以适当的方式利用上 述引入的因子α₁或α₂，利用如下描述的空间位置的表示，如何能够将该效 果包含在xl_k和xwpSEQ的计算中。

II)当几个丢失事件发生在一个GOP内的相似的空间位置中时，可 能该受影响的空间区域并不对应于来自这些丢失事件的各贡献的累积。相 反，可能影响被组合，且因此所得的GOP k的xl_k比所有丢失事件影响 不同的空间区域时低。因为这种效果与该场景中的时间复杂度相互作用， 即，当劣化位置在场景中的运动周围移动时，这样的效果被更少地表达， 所以存在另外的内容依赖性(content-dependency)。所有这些方面可以通 过适当选择上述引入的加权因子α₂进行处理。

III)当几个GOP示出相似空间位置中的劣化时，正如，例如具有每 帧一个片的视频传输的情况(根据统计，较低部分总会收到更多的影响)， 可假设所导致的劣化将不同于在不同空间区域不同GOP被劣化的情况。 例如，视觉注意(visual attention)将集中在具有丢失的再发生区域，且因 此在该情况下的质量影响将可能更加显著。该效果例如可通过适当选择加 权因子α₁而被模型化。

对于(I)-(III)的所有情况而言，要求追踪帧j中由丢失事件i而 引起的劣化的空间位置以及不同GOP k的累积的空间位置(the  accumulated spatial location)。基于本专利前面部分所述的相同考虑，显然， 就帧中的垂直位置、相对于帧的总大小(或空间范围)的丢失区域的总体 大小以及因此在该帧尾端上不受该丢失影响的区域的大小而言，可以通过 使用从帧j的起始位置的丢失事件i的距离追踪所述位置。

在本发明的一个实施方式中，采用以下方来追踪由于帧和GOP内丢 失而造成的劣化位置：

如上所述，假设xl_i为被丢失事件i影响的区域的空间范围。我们现 在进一步引入从上述数据包大小或数据包数量信息中提取的比例：

xfoundB_i是在帧j的开始处的不受丢失事件i影响的相对空间区域。 注意，xfoundB_i可等于O。

xfoundE_i是在帧j的尾部处的不受丢失事件i影响的相对空间区域。 注意，xfoundE_i可等于O。

sll_i是列矢量，在每行中，其包含关于是否以及，如果期望，到何 种程度该帧的各部分包含丢失事件i的部分的信息。为此，帧j被划分成 M个等大的水平线，其中，M对应于矢量sll_i的维度。

现在，在本发明的一个实施方式中，矢量sll_i的条目(the entries) 可按下面计算：

sB_i是在帧的开始处不受丢失影响的比例，其是依据直线采样 (1ine-sampling)进M个行，且相对于总帧大小来表达。

sE_i是在帧的尾部不受丢失影响的比例，其是依据直线采样进M个 行，且相对于总帧大小来表达。

此外：

sB_i=(floor(xfoundB_i*M))／M    (10c)

sE_i＝(floor(xfoundE_i*M))/M    (10d)

然后，对于sll_i：

$\mathrm{sll}\_i\left(m\right)=\left(\begin{array}{cc}0,& 0\le m\le \mathrm{sB}\_i·M\\ 1/M-(\mathrm{xfoundB}\_i-\mathrm{sB}\_i),& \mathrm{sB}\_i·M<m\le \mathrm{sB}\_i·M+1\\ 1,& \mathrm{sB}\_i·M+1<m\le M-(\mathrm{sE}\_i·M+1)\\ \mathrm{sE}\_i+1/M-\mathrm{xfoundE}\_i,& M-(\mathrm{sE}\_i·M+1)<m\le M-\mathrm{sE}\_i·M\\ 0,& M-\mathrm{sE}\_i·M<m\end{array}\right)---\left(10e\right)$

对于(10e)的更简单的表达是：

$\mathrm{sll}\_i\left(m\right)=\left(\begin{array}{cc}0,& 0\le m\le \mathrm{sB}\_i·M\\ \mathrm{cl},& \mathrm{sB}\_i·M<m\le \mathrm{sB}\_i·M+1\\ 1,& \mathrm{sB}\_i·M+1<m\le M-(\mathrm{sE}\_i·M+1)\\ \mathrm{cl},& M-(\mathrm{sE}\_i·M+1)<m\le M-\mathrm{sE}\_i·M\\ 0,& M-\mathrm{sE}\_i·M<m\end{array}\right)---\left(10f\right)$

其中，c1是经适当选择的常数。

现在，系数α₁和α₂可计算成这些矢量sll_i的函数：

α₁=f(g(sll_i_k))    (10g)

α₂=h(sll_i)    (1Oh)

这里，例如，等式(10h)可涉及给定GOP k的所有sll_i的求和。然 后，通过sll_i描述的M个二进制数(M bins)中值的分布可成为是否影 响给定GOP的不同丢失事件i击中相似或不相似的区域的度量。然后，这 些值的扩展越低，集中在给定区域的丢失就越多，从而产生各事件的较低 权重。

对于等式(10f)而言，对于给定GOP k的求和sll_i_k可在GOP上累 积，这提供对于不同受影响的GOP是否不同或相似受到影响的度量。因 此，GOP的分布可加上更高或更低的权重。

本领域的技术人员将能够容易地将这些方法和另外的加权贡献(就包 含在场景中的运动而言)，或如上所述能够通过适当加权处理的任何其他 方面进行组合。

1．3．3由于受影响的GOP的数量造成的影响

改善所述模型预测的另一个方法就是插入具有丢失事件的GOP的数 量作为输入参数。事实上，如等式(4)中可以看出，到目前为止，该模 型不能将更短和更小丢失事件和具有大空间范围的单个长丢失事件的质 量影响区分开来。我们假设几个小的丢失事件比单个较大丢失事件更能使 质量劣化，但是这种差别取决于丢失事件自己的空间范围。结果，我们在 等式(4)中插入校正因子β，如等式(11)中所示：

xwpSEQ＝Σβ_k*xl_k／N    (11)

这里

β_k=h(Ngl，xl_k)

其中

Ngl…为在测量窗内具有丢失事件GOP的数量。

xl_k…为发生在GOP k中的丢失事件的时-空范围(见等式(5)、(9) 和所有相关的等式)

也可以与包括如在(5a)中给定的不同的长GOP的(4)的形式，从 而得到(11a)：

xwpSEQ=Σβ_k*xl_k*T_k／ΣT_k    (11a)

类似于α，在前述阶段β_k可通过以下方式统计获得：比较一组获取 相同感知质量的视频序列的xwpSEQ值以及为每个xwpSEQ与感知质量值 存储Ngl与xl_k参数。注意，通过实施主观测试已经事先获取了感知质量， 因为本发明可考虑为人类主观感知过程的技术模型。β值被调整以获得使 用等式(11)和感受质量计算的xwpSEQ之间最好的映射。

2．冻结

到目前为止，所描述的方法假设切片是用作数据包丢失消除类型。然 而，如果测量窗有相同长度，那么在冻结用作数据包丢失消除类型的情况 下xwpSEQ参数也是有效的。事实上，如“技术背景”部分点f)中所提 及的，在冻结情况中，如果数据包丢失击中帧，那么最后未受损帧冻结直 到下一个I-帧。以xwpSEQ描述的丢失的空间范围不保持，这与由该参数 覆盖的丢失的时间方面相反。

这可通过在等式(5)中将Σ(xl_i)强制为1而反映，(反映等式5a)， 得出等式(12)：

xl_k=1-t_i／T_k＝(T_k-ti)/T_k    (12)

在等式(12)中，xl_k表示GOP中相对于GOP k的时长的丢失的时 长。

当与(4)或(5a)后任何其他相关等式一起使用(12)时，可同时 考虑等长GOP和不等长GOP的情况。此外，就内容的时-空复杂度而言， 冻结相关参数的校正可按如前述部分所述切片劣化的情况实施。

附图说明

图1示出涉及压缩与传输质量估计的总体构架的结构图；具体地，它 示出在服务监控情况下的压缩(Qcod)与传输(Qtrans)劣化情况下用于 估计所感知的视频质量的总体构架。诸如丢失数据包的数量和帧类型等的 参数从比特流中提取且用于计算xwpSEQ参数和预测由于数据包丢失 Otrans而造成的质量影响。

图2示出在数据包丢失和切片作为数据包丢失消除的情况下每帧的 片的数量的影响；具体地，它示出在每帧3片(中间图片)和每宏块行(右 边)1片的情况下，在给定帧中丢失是如何传播直到下一片的。宏块为16x16 的像素块。取决于一个帧由多少数据包组成和有多少片用于该帧，不同的 区域受到影响。

图3比较了视频流的编码顺序和显示顺序。

图4示出了xwpSEQ参数的计算。它示出在测量窗内的视频帧和在 GOP k中的丢失。

图5示出取决于在被数据包丢失击中的给定GOP中移动类型的丢失 传播的不同变体。它示出(a)不考虑丢失衰减或膨胀、(b)丢失衰减以 及(c)丢失膨胀情况下错误传播的一个实例。

图6示出在用于在一行中丢失的nlp_i＝2个数据包的实例的碎片以及 传输一个碎片需要4个数据包的情况下如何计算丢失事件i的时-空范围 xl_i。注意，对于上部的图片，所述帧的所有片就组成它们的数据包而言 被描述为一个接一个。另外，注意为了示出的目的，假设了对于整个帧来 说每片的数据包数量相同的理想化情况。

图7具体示出了，对于TS情况，丢失事件i的时空范围xl_i的计算。 丢失区域可位于所述帧上的任意位置。这里，该丢失区域表达为相对于整 个帧长的比例。根据丢失的起始位置来表达所述丢失位置。

图8利用流程图总结了本发明的主要步骤。该流程图示出在切片用作 数据包丢失消除情况下用于确定Qtrans的实例的方法。注意，填充灰色的 方框共同形成本专利的基本模式。白色方框反映了可选的另外步骤。

虽然本发明已经以附图和前述的描述示出和描述，但是这样的示出和 描述将被认是说明性的或示例性的，而不是限制性的。应该理解，在下面 权利要求的范围内可由本领域的技术人员作出改变和变形。具体地，本发 明覆盖具有来自上述和下述不同实施方式特征组合的其他实施方式。

另外，在权利要求中，词语“包含”不排除其他部件或步骤，且不定 冠词“一个(a)”或“一个(an)”不排除复数形式。单个单元可实现权 利要求中所提的几个特征的功能。与属性和值组合的术语“基本上”、“大 约”、“近似”等也特别地分别准确定义该属性或该值。任何权利要求中的 参考标号不应解读为限制其范围。

参考文献列表

[1]A．Takahashi，D．Hands，and V.Barriac，“Standardization Activities in  the ITU for a QoE Assessment of IPTV”in IEEE Communication  Magazine，2008．

[2]S．Winker and P.Mohandas，“The Evolution of Video Quality  Measurement：From PSNR to Hybrid Metrics,”in IEEE Trans． Broadcasting，2008．

[3]A．Raake，M．N．Garcia，S．Moeller，J．Berger，F．Kling，P.List， J．Johann，and C．Heidemann，“T-V-MODEL：Parameter-based  prediction of IPTV quality，”in Proc．of ICASSP，2008。

[4]O．Verscheure，P.Frossard，and M．Hamdi“User-Oritented QoS  Analysis in MPEG-2 Video Delivery”，in Real-Time Imgaing5， 305-314(1999)

[5]F．You，W．Zhang，J．xiao，“Packet Loss Pattern and Parametric Video  Quality Model for IPTV”，in Proc．0f Eigth IEEE／ACIS International  Conference on Computer and Information Science，pp．824-828，2009。

[6]M．-N．Garcia and A．Raake，“Parametric Packet-layer Video Quality  Model For IPTV”，in Proc of Tenth International Conference on  Information Science，Signal Processing and their  Applications(ISSPA)2010

[7]K．Yamagishi and T．Hayashi，“Parametric Packet-Layer M0del for  Monitoring Video Quality 0f IPTV Services，”IEEE ICC 2008， CQ04-3，pp．110-114，Beijing，China，2008。

[8]Q．Huynh-Thu，Quan，and B．Pernot，“Method and apparatus for  generation of a video quality parameter”，Patent EP2112835A1

[9]A．Clark，“Method and system for viewer quality estimation of  packet video streams”，US2009／004114A1，WO2009／012302

[1O]P.Frossard，O．Verscheure，“Joint Sourc／FEC Rate Selection for  Quality-optimal MPEG-2Video DeliVery．IEEE Trans．Image Proc．，Vo1． 10，No.12，Dec.2001。