对基于测得的知觉质量特性的视频处理算法的控制

摘要

系统和方法可提供进行视频的实时知觉质量分析，其中该知觉质量分析包括噪声测量、对比度测量和锐度测量中的至少一者。视频处理流水线中的一个或多个后处理模块的一个或多个强度参数可基于该知觉质量分析来设置，从而导致总体视频处理与输入的不断改变的知觉质量相适配。在一个示例中，强度参数包括对比度参数和去噪参数中的至少一者。本发明得到在后处理模块的输出处视觉上增强的视频。

说明书

背景

消费者电子产品平台(诸如智能电视(TV)、机顶盒、蓝光播放器、膝上型 计算机、平板计算机、蜂窝电话等)可以显示来自各种各样的源的视频内容，诸如 职业内容、在线流传送视频内容、基于因特网的内容、以及多个设备上拍摄的家庭 内容，其中视频内容的视觉质量可能在很大范围内变化。尽管视频启用平台可包含 一个或多个视频后处理组件(诸如去噪和对比度增强组件)，但这些组件可能具有 固定的操作点，这些操作点可能没有计及输入源的知觉视频质量中的重大改变。

附图简要描述

本领域内技术人员通过阅读下面的说明书和所附权利要求书并参照以下附图 能清楚知道本发明的实施例的各种优势，在附图中：

图1是根据一实施例的增强视频知觉质量的方法的示例的流程图；

图2是根据一实施例的视频增强装置的示例的框图；

图3是根据一实施例的开环控制表面的示例的标绘；

图4是根据一些实现的启用视频的计算系统的示例的框图；

图5是根据一实施例的片上系统架构的示例的框图；

图6是根据一实施例的具有导航控制器的系统的示例的框图；以及

图7是根据一实施例的具有小尺寸架构的系统的示例的框图。

详细描述

各实施例可包括一种装置，该装置具有对视频进行知觉质量分析，并且基于 知觉质量分析来设置控制各种后处理元件的强度的后处理模块的一个或多个参数 的逻辑。该逻辑还可将视频应用于后处理模块。术语“知觉质量”可以指代如平均 人类观察者可见的视频的质量。

各实施例还可包括一种系统，该系统具有用于生成视频的图像捕捉模块，用 于对视频进行知觉质量分析的后处理模块和逻辑。

该逻辑还可基于知觉质量分析来设置后处理模块的一个或多个强度参数，并 且将视频应用于该后处理模块。知觉质量分析模块可纳入人类视觉处理的模型以预 测视频的知觉质量。

另外，各实施例可包括一种具有一组指令的计算机可读存储介质，该组指令 在由处理器执行的情况下致使计算机进行视频的知觉质量分析。该指令在被执行的 情况下还可致使计算机基于知觉质量分析来设置后处理模块的一个或多个强度参 数，并且将视频应用于该后处理模块。

其他实施例可涉及一种计算机实现的方法，其中进行视频的实时知觉质量分 析，其中该实时视觉质量分析可包括知觉噪声测量、知觉对比度测量和知觉锐度测 量中的一者或多者。对噪声、对比度、锐度等的知觉测量可以测量平均人类观察者 所感知的噪声量、对比度或锐度。他们并非简单地测量图像信号中的噪声量、对比 度或锐度。后处理模块的一个或多个强度参数可基于实时知觉质量分析来设置，其 中一个或多个参数可包括对比度参数和去噪参数中的一者或多者。另外，视频可被 应用于后处理模块。

现在转向图1，示出了增强视频知觉质量的方法10。方法10可实现为一组逻 辑指令，这组逻辑指令被存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可 编程ROM(PROM)、闪存等机器或计算机可读存储介质中，存储在诸如可编程逻辑阵 列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)的可配置逻辑中， 存储在使用诸如专用集成电路(ASIC)、CMOS的电路技术或晶体管-晶体管逻辑(TTL) 技术的固定功能逻辑硬件中，或其任意组合。例如，用于执行在方法10中示出的 操作的计算机程序代码可用一种或多种编程语言的任何组合来编写，包括面向对象 的编程语言，诸如C++或类似的编程语言，以及常规的规程编程语言，诸如“C” 编程语言或类似的编程语言。此外，方法10可使用任意前述电路技术来实现。

所解说的处理框12提供了进行视频的知觉质量分析。具体地，知觉质量分析 可实时地进行，以使得视频可在其正被输出到平台(诸如膝上型计算机、个人数字 助理(PDA)、无线智能电话、媒体播放器、成像设备、移动因特网设备(MID)、 诸如智能电话、智能平板、智能电视等的任何智能设备，或者其任何组合)的显示 器的同时被增强。如将更详细地讨论的，实时知觉质量分析可包括知觉噪声测量、 知觉对比度测量、知觉锐度测量，等等。此外，这些测量可取决于环境而并行地、 串行地、或者并行和串行的组合来进行。控制后处理模块的强度的一个或多个参数 (例如，系数、增益、设置)可基于知觉质量分析在框14被设置，其中这些参数 可包括但不限于对比度参数和去噪参数。框1可提供将视频应用于后处理模块以使 得视频将根据框14中设置的参数而被增强。

图2示出具有后处理模块20和知觉质量分析逻辑22的装置18，其中知觉质 量分析逻辑22可用于实时地改善输入视频24的知觉质量。输入视频24可以从例 如YouTube web服务器、视频编辑软件、相机电话和/或其他图像捕捉设备接收。 在一个示例中，后处理模块20靠近视频流水线的末端。所解说的知觉质量分析逻 辑22包括知觉噪声度量组件26，该组件作出一个或多个噪声测量并且基于噪声测 量来生成局部噪声图28。局部噪声图28可因此包含以逐像素为基础、以逐帧为基 础等等的知觉噪声数据。类似地，对比度度量组件30可以做出一个或多个知觉对 比度测量，并且基于对比度测量生成局部对比度图32，其中局部对比度图32可包 含知觉对比度数据。所解说的知觉质量分析逻辑22还包括知觉锐度度量组件34， 该组件进行一个或多个锐度测量并且生成局部锐度图36。诸如色彩饱和度、阻塞、 重影、抖动、运动补偿适配等其他考量也可用于评估知觉视频质量。

在一个实施例中，噪声度量逻辑可包括以下计算。考虑输入视频中每一像素 位置处的大小为M x M x T的方形窗口。计算在这一位置处对窗口内的像素的平均 值(μ)和标准差(σ)的估计。知觉噪声(N)的估计随后使用以下来导出：

$N=\frac{\mu }{\sigma +\kappa }$

其中κ是添加用来使N稳定的小的常数。对噪声的这一定义符合用于人类视 觉的韦伯一费科纳法则。韦伯一费科纳法则表明强度中的可辨别之差(ΔI)与人类 能够适配的强度水平(I)之比在广泛的强度范围内是恒定的。以上指定的计算还 可在除了像素域之外的其他域中执行，诸如在小波系数子频带、OCT域等等上。 此外，在其上执行噪声估计的窗口大小可基于输入视频的分辨率、屏幕的尺寸、以 及观察者的典型查看距离来适配。最终，这一估计可通过考虑可经由运动补偿处理 获取的时空窗口而延伸到视频。

在像素域中，N的小值指示输入视频中的噪声，而较大的值可以是输入视频 中存在的强边缘或纹理的结果。因此可向像素级噪声值施加阈值以确定知觉噪声。 帧级知觉噪声指示符可作为低于所指定的阈值的噪声值的平均来导出。池化 (pooling)像素级噪声值的其他策略包括平均值和标准差之间的变化或差异的系 数。这些将计及由于帧中的严重质量降级的区域或者帧内知觉质量中的大的变化导 致的所感知的质量降级。

在诸如小波域之类的其他域中，由于将信号和噪声两者分解成与不同频率和/ 或定向相对应的不同子频带，阈值化可能是不必要的。可以使用基于对那些频率和 定向的人类视觉敏感度将跨不同子频带的平均值或者用被指派给不同的子频带的 不同权重的加权求和来获取像素级噪声值。这些像素级噪声值可被组合以形成如上 所述的帧级噪声的估计。

所解说的控制模块38基于知觉质量分析在运行时优化后处理模块20的一个 或多个操作点。控制模块38基于其对信号的解释并且通过将对质量的人类感知考 虑在内来实现控制策略。作为一个示例，控制模块38可接收图28、32、36，并且 分析其中包含的数据以确定要在20中处理视频的去噪和对比度增强模块中使用的 参数。作为一个示例，噪声图28可用于确定后处理流水线中的去噪模块44的最优 设置。事实上，这一分析可局部地或全局地执行。例如，增大的去噪强度通常使视 频的锐度降级。由于噪声在不包含尖锐边缘或纹理的输入视频的更平滑区域中在感 知上更可见，可以在遭受大知觉噪声的局部区域中选择性地应用去噪以消除噪声而 不使边缘或纹理降级。控制模块38还可直接或间接地处理特殊情况，诸如场景改 变(场景改变检测器可以是度量之一，或者控制模块38可间接推断存在场景改变)， 并且在进行下一次分析之前将参数重置为默认值。控制模块38还可使用历史数据。

事实上，知觉质量分析可包括对两个或更多个知觉质量度量的联合分析，以 便确定归因于通过利用两个或更多个知觉质量度量之间的交互/关系的最佳强度参 数。例如，许多对比度增强算法增强噪声并且在试图增大输入视频中的对比度时在 尖锐边缘周围引入环状伪像。控制模块38可执行局部对比度和局部锐度的联合分 析以通过在视频的有噪声或尖锐区域中关闭来选择性地增强对比度。这提供了对比 度增强的双重优势，其中对比度增强是有利的并且消除由于视频中的其他区域中的 增强导致的伪像。此外，这一控制可应用于对应于不同操作模式的视频处理流水线 中存在的任何现有配置之上，诸如处理有噪声视频、处理放大的视频、处理高清晰 度电影等等。控制模块38可检测这些情形并且使用这些现有的配置作为初始化参 数，以及将控制适配到这些现有配置以在结合控制模块38使用时放大它们的功率。

在一个实施例中，噪声度量可用于在每帧的基础上控制输入视频的去噪强度。 每帧控制易于在诸如片上系统设备之类的实时系统中实现。来自场(field)(或渐 进式视频的帧)i的知觉噪声估计(Ni)用于确定输入视频的场(或帧)i或i+1 的去噪模块的操作点。该噪声估计可出于各种各样的原因在输入视频中逐帧地明显 改变，诸如场景改变、视频中出现文本、或者知觉预测模型中的不准确性等等。由 于噪声估计的改变导致的去噪强度的突然改变可能导致视频中令人厌烦的视觉伪 像。为了避免这一情形，噪声估计可在被用于控制之前在时间上移动的窗口内被平 滑化。

设{N_i，i＝1，2，......T}代表来自输入视频的场(或帧)i＝{1，2，......T}的噪声估 计。随后通过首先在M点窗口中对噪声估计进行排序(sort)来为每个场导出经平 滑化的噪声估计S_i。M可基于输入视频的帧速率或平滑化的期望历时来确定。作为 一个示例，M可与对应于0.2秒的帧数目相对应。落在这一经排序数组中间的M/2 值随后使用5点高斯内核来求平均以获得S_i：

T_i＝sort(N_j，j＝i-M/2，i-4，....i+4，i+M/2)

此处，T_i是按照所排序的阶数包含来自围绕场(或帧)i的M点窗口的噪声估 计的M点向量。T_i(0)代表向量中最小的元素，而T_i(M-1)代表最大的元素。 这一向量中的各元素随后使用M/2点高斯内核w来平滑化以获得经平滑化的估计 S_i：

$S_i={\Sigma }_{j=i-M/4}^{i+M/4}w(j+M/4)T_i\left(j\right)$

S_i随后用于确定去噪的操作点。取决于后处理流水线中存在的具体去噪算法， S_i可用于修改滤波强度。作为一个简单示例，许多去噪方法使用低通或顺序统计滤 波器，其标准差可被增大以增大去噪的强度。通过增大噪声水平，可以使用增大的 标准差的内核来增大噪声滤波的强度。内核的标准差可被选择为：

σ_i＝κ(S_i-100)/100若S_i＞N_max＝0其他

此处，κ控制控制的灵敏度。增大κ增大了在噪声估计改变时所执行的噪声滤 波的量。作为默认，κ被设置为1，但可使用流水线控制器模块中的配置控制来控 制。N_max的阈值被选择为开始去噪以防止由于对具有足够知觉质量的输入信号进行 不必要的去噪而导致的视频质量的降级。N_max的合适值需要基于知觉噪声度量的特 性来确定。由于对噪声估计进行平滑化以及控制策略沿着平滑曲线来改变高斯内核 的标准差的事实，归因于自适应控制而不太可能在经处理的视频中引入任何瞬态或 闪烁伪像。

在另一实施例中，控制算法可利用每一个像素处的对比度和锐度测量来确定 用于该像素的合适的对比度增强参数。

控制策略可试图限制输入视频的平滑纹理或平滑改变的纹理中的增强，在这 些区域中对噪声的增强是最可见的。限制这些区域中的增强是合意的，因为这些区 域中的局部对比度增强的益处是有限的。另外，控制策略可限制平滑改变的纹理(诸 如天空或皮肤区域)中的对比度增强，因为通过对这些纹理的对比度增强所创造的 不自然出现会导致降低的视觉质量。控制算法利用对比度测量来检测平滑或缓慢改 变的纹理，因为这些区域通常具有较低的对比度。控制策略针对低于某一阈值对比 度的区域完全关闭增强，并且随着对比度增大高于这一阈值缓慢地上升至最大增 强。

第二，控制策略试图控制沿着尖锐的边缘的增强以避免引入或放大环状伪像。 控制策略使用锐度度量来检测局部边缘区域，并且随着边缘强度增大使增强下降， 直到对于非常强的边缘完全关闭增强。

对比度和锐度测量提供了对输入图像的感知到的局部对比度和局部锐度的像 素级估计。设C(x，y)表示输入图像的像素(x，y)处的对比度测量所估计的局部对比度。 设G(x，y)表示输入图像的每一个像素(x，y)处的锐度的量所估计的局部锐度。重要的 是要确保两个度量在测量像素的相同局部相邻区域的对比度和锐度时是同步的。在 两者不同步的情形中，有必要对其中一个估计进行后处理。

后处理的一个实施例可包括以下。假定锐度度量利用M像素计算来估计锐度。 对比度测量利用L像素窗口，其中L＞M而不丧失一般性。

考虑从围绕每一像素(x，y)的K x K窗口中的无参考度量获得的局部锐度度量 值，其中K＝L-M。该窗口由以下组成：G(x+i，y-j)，其中i＝{-(K-1)/2，...，-(K-1)/2}， j＝{-(K-1)/2，...，-(K-1)/2}。设g＝{g₁，g₂，...，g_T}表示包含这些局部锐度度量值的向量， 其中T＝K²。设g′＝{g′₍₁₎，g′₍₂₎，...g′_(T)}表示包含按升序排序的g的各元素的向量。从而， g′₍₁₎≤g′₍₂₎≤...≤g′_(T)。(x，y)处的局部锐度度量估计使用以下来计算：

$S(x,y)=\frac{1}{K}\underset{m=0}{\overset{K-1}{\Sigma }}{g^{\text{'}}}_{(T+m)}$

从而，锐度值S(x，y)作为围绕每一像素(x，y)的K x K窗口中的锐度度量所提供 的K个最大值的平均值来获取。

后处理操作出于至少两个原因是有利的。第一，由于锐度度量是使用M像素 窗口来计算的，其展现了在边缘的最多M个像素内边缘的位置处的较大的值。为了 避免或缓解边缘周围的环状，需要在围绕边缘的相邻区域并且不仅仅在边缘像素处 关闭或减少增强。这通过后处理阶段来达成。第二，后处理窗口的大小被选择成使 得对比度和锐度度量测量相同相邻区域中的局部信号特征。由于对比度度量使用L x L窗口而锐度度量使用M像素窗口然后使用(L-M)x(L-M)窗口用于后处理，在遭 遇边缘时对比度和锐度度量以同步的方式增大。

设α₁、α₂表示管控沿着对比度测量域的控制策略的常量。类似地，设β₁和β₂表示管控沿着锐度测量域的控制策略的常量。

控制策略结合使用对比度和锐度度量来确定输入图像的每一像素的增强参 数。每一像素的对比度增强参数被定义为：

注意，只要局部对比度低于α₁或者局部锐度高于β₂，就完全关闭对比度增强。 这一策略达成了消除由于在平滑/缓慢改变纹理和强边缘中进行对比度增强而导致 的伪像的两个期望目的。

当局部对比度增大高于α₁时，局部对比度增强从最小增强量缓慢地上升至最 大增强量。从等式中注意到，只要S(x，y)＜β₁，当C(x，y)＝α₁时，而当 C(x，y)＝α₂时，的值可被适当地选择为高，以使得当局部对比度 C(x，y)从＜α₁(对应于无增强)增大到α₁(对应于最小增强)时不会造成视觉伪像。

锐度度量调整增强项以减少在出现边缘时的增强以减少环状伪像。当锐度增 大到高于β₁时，增强量从最大增强量缓慢下降到最小增强量。从等式中注意到， 只要C(x，y)＞α₂时，当S(x，y)＝β₁时，而当S(x，y)＝β₂时，

图3解说了标绘47中所得的控制表面。出于解说的目的，被设置为无论什么情况下

这一控制策略消除了平滑区域或边缘处的视觉伪像，并且改善了输入视频的 对比度，同时平滑控制策略确保了不会通过在每帧基础上改变强度参数而造成闪烁 伪像。

上述方法可再次用于任何其它或任意数目的质量测量。

所解说的后处理模块20包括对比度增强模块40，其可调整输入视频24的对 比度以改善输入视频24的视觉表现。类似地，去噪模块44可降低输入视频24中 的噪声(例如，纠正视频压缩或其它噪声源，诸如阻塞、颗粒度等)以从噪声观点 改善输入视频24的视觉表现。模块40、44可具有取决于控制处理强度的一个或多 个参数的各自的操作点，其中所解说的示例中的增强参数是实时可变的。从而，来 自控制模块38的参数调整信号42可以基于知觉质量分析来设置后处理模块20的 一个或多个参数以便增强输入视频24的知觉质量。具体地，参数调整信号42可设 置对比度增益设置和/或与对比度增强模块40相关联的其它参数，设置与去噪模块 44相关联的去噪增益/设置/参数，等等。结果，从视觉观点来看输出视频46可被 显著改善。

现在转向图4，示出了其中实现实时视频知觉质量分析的启用视频的计算系统 48。计算系统48可以是移动平台的一部分，诸如膝上型计算机、PDA、无线智能电 话、媒体播放器、成像设备、MID、任何智能设备(诸如智能电话、智能平板计算 机等等)、或者其任何组合。计算系统46也可以是诸如个人计算机(PC)、智能 电视、服务器、工作站等的固定平台的一部分。所解说的计算系统48包括一个或 多个CPU(中央处理单元)50、显示设备52、硬盘驱动器54和系统存储器56，系 统存储器56可包括例如双数据率(DDR)同步动态随机存取存储器(SDRAM，例如， DDR3SDRAM JEDEC标准JESD79-3C，2008年4月)模块。系统存储器56的模块可 以并入到单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)、小型 双列直插存储器模块(SODIMM)等等中。

计算系统48可包括图形总线(例如，槽)58，其中包含图形处理单元(GPU) 60和专用图形存储器62的图形卡(未示出)可耦合到(例如，插入到)图形总线 58。例如，图形总线58可包括PCI Express图形(PEG，例如，外围组件互连/PCI Express x16图形150W-ATX规范1.0，PCI特殊兴趣组)总线、加速图形端口(例 如，AGP V3.0接口规范，2002年9月)总线，等等。CPU50可具有集成存储器控 制器(iMC)64，以及一个或多个处理器核(未示出)以执行与主机OS(操作系统) 和/或应用软件相关联的一个或多个驱动程序，其中每一个核可以是带有指令获取 单元、指令解码器、一级(L1)高速缓存、执行单元等等的完全功能的。CPU50 可替换地经由前侧总线与iMC64的芯片外变体(也被称为北桥)通信。所解说的 CPU50经由中枢总线与平台控制器中枢(PCH)66(也被称作南桥)通信。iMC 64/CPU50和PCH66有时候被称为芯片组。

所解说的计算系统48还包括图像捕捉模块68，其可用于获取以供经由显示设 备52进行视觉输出的视频内容。图像捕捉模块68可包括例如相机、便携式摄像机 等。视频内容也可从在CPU50上运行的软件、经由网络控制器(未示出)从平台 外设备(例如，web服务器、远程图像捕捉设备等)获取。由于计算系统48所显 示的视频内容的各种各样的源，内容的知觉质量可能差异显著。

相应地，所解说的GPU60包括知觉质量分析逻辑70，其进行视频的实时知觉 质量分析，并且基于该实时知觉质量分析来设置后处理模块72的一个或多个参数。 已经讨论过的知觉质量分析逻辑22(图2)可容易地替换所解说的知觉质量分析逻 辑70。从而，可用经调整的参数将输入视频应用于后处理模块72，其中所得的输 出视频可具有显著改善的知觉质量水平。

图5示出片上系统(SoC)架构74，其中质量分析和度量76可在视频流水线 的各个阶段处由板上处理器80的视频处理控制逻辑78来进行。具体地，所解说的 架构74包括解码器82，其可解码视频信号并且将经解码的视频信号存储在存储器 84以供去噪模块86检索。去噪模块86可将经噪声纠正的视频信号提供给重新格 式化和调整大小模块88，该模块可进而将经重新格式化的视频信号提供给对比度 模块90。对比度模块90可将经对比度调整的视频信号提供给锐度模块92以供可 能合适的任何锐度调整。所得的信号可被提供给显示控制和组合模块94。所解说 的显示控制和合成模块使用来自锐度模块92的信号和图形输入96来生成显示输出 98(例如，以供查看)以及代码转换器输出100(例如，以供本地存储)。在所解 说的示例中，质量分析和度量76可在解码器模块82、去噪模块86、重新格式化和 调整大小模块88、对比度模块90、锐度模块92、以及显示控制和合成模块94中 的一者或多者处进行。此外，去噪模块86、重新格式化和调整大小模块88、对比 度模块90和锐度模块92的顺序可以互换。另外，视频后处理流水线可包括其它视 频处理模块，诸如帧速率转换、皮肤增强等。

图6解说系统700的一实施例。在各实施例中，系统700可以是媒体系统， 虽然系统700不仅限于此上下文。例如，系统700可以集成到个人计算机(PC)、 膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算 机、掌上电脑、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA的组合、电视 机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动因特网设备 (MID)、消息接发设备、数据通信设备等等。

在各实施例中，系统700包括耦合到显示器720的平台702。平台702可以从 诸如内容服务设备730或内容递送设备740之类的内容设备或其他类似的内容源接 收内容。包括一个或多个导航特征的导航控制器750可以被用来与例如平台702 和/或显示器720进行交互。这些组件中的每一个将在下文中更详细描述。

在各实施例中，平台702可包括芯片组705、处理器710、存储器712、存储 714、图形子系统715、应用716和/或无线电718的任何组合。芯片组705可以在 处理器710、存储器712、存储714、图形子系统715、应用716和/或无线电718 之间提供相互通信。例如，芯片组705可以包括能够与存储714进行相互通信的存 储适配器(未描绘)。

处理器710可以实现为复杂指令系统计算机(CISC)或精简指令集计算机 (RISC)处理器、x86指令集兼容的处理器、多核或任何其他微处理器或中央处理 单元(CPU)。在各实施例中，处理器710可包括双核处理器、双核移动处理器等 等。

存储器712可以实现为易失性存储器设备，诸如，但不仅限于，随机存取存 储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。

存储714可以实现为非易失性存储设备，诸如，但不仅限于，磁盘驱动、光 盘驱动、磁带驱动、内部存储设备、附连存储设备、闪存、电池供电的SDRAM(同 步DRAM)和/或网络可访问的存储设备。在各实施例中，存储714可以包括当例 如包括多个硬盘驱动器时，提高对有价值的数字媒体的存储性能增强的保护的技 术。

图形子系统715可以对诸如静止图像或视频之类的图像执行处理，供显示。 图形子系统715可以是，例如，图形处理单元(GPU)或视觉处理单元(VPU)。 模拟或数字接口可以被用来可通信地耦合图形子系统715和显示器720。例如，接 口可以是高清多媒体接口(HDMI)、显示器端口、无线HDMI和/或无线HD适 应技术中的任一种。图形子系统715可以被集成到处理器710或芯片组705中。图 形子系统715可以是可通信地耦合到芯片组705的独立卡。

此处所描述的图形和/或视频处理技术可以以各种硬件架构来实现。例如，图 形和/或视频功能可以集成在芯片组内。替代地，可以使用单独的图形和/或视频处 理器。作为再一个实施例，图形和/或视频功能可以通过通用处理器(包括多核处 理器)来实现。在又一实施例中，功能可以在消费电子产品中实现。

无线电装置718可以包括能够使用各种合适的无线通信技术传输和接收信号 的一个或多个无线电。这样的技术可以涉及跨一个或多个无线网络的通信。示例性 无线网络包括(但不仅限于)无线局域网(WLAN)、无线个人域网(WPAN)、 无线城域网(WMAN)、蜂窝网络以及卫星网络。在跨这样的网络的通信中，无 线电718可以根据任何版本的一个或多个适用的标准来操作。

在各实施例中，显示器720可包括任何电视机型监视器或显示器。显示器720 可以包括，例如，计算机显示器屏幕、触摸屏显示器、视频监视器、类似于电视机 的设备和/或电视机。显示器720可以是数字和/或模拟的。在各实施例中，显示器 720可以是全息显示器。同样，显示器720还可以是可以接收视觉投影的透明表面。 这样的投影可以传达各种形式的信息、图像和/或对象。例如，这样的投影可以是 对于移动增强的现实(MAR)应用程序的视觉覆盖。在一个或多个软件应用716 的控制下，平台702可以在显示器720上显示用户界面722。在各实施例中，内容 服务设备730可由任何国内、国际和/或独立服务所主持，并因此可经由例如因特 网对平台702访问。内容服务设备730可以耦合到平台702和/或显示器720。平台 702和/或内容服务设备730可以耦合到网络760以往返于网络760进行通信(例如， 发送和/或接收)媒体信息。内容递送设备740还可以耦合到平台702和/或显示器 720。

在各实施例中，内容服务设备730可包括有线电视机顶盒、个人计算机、网 络、电话、互联网启用设备或能够传递数字信息和/或内容的设施，以及能够经由 网络760或直接地在内容提供者和平台702和/显示器720之间单向或双向地交换 内容的任何其它类似设备。可以理解，内容可以通过网络760往返于系统700中的 组件中的任何一个和内容提供商单向地和/或双向地传递。内容的示例可以包括任 何媒体信息，包括，例如，视频、音乐、医学和游戏信息等等。

内容服务设备730接收内容，诸如有线电视节目，包括媒体信息、数字信息 和/或其他内容。内容提供商的示例可以包括任何有线或卫星电视或无线电或因特 网内容提供商。所提供的示例不限制本发明的各实施例。

在各实施例中，平台702可从具有一个或多个导航特征的导航控制器750接 收控制信号。控制器750的导航特征可以被用来例如与用户界面722进行交互。在 一些实施例中，导航控制器750可以是定点设备，它可以是允许用户将空间(例如 连续和多维)数据输入到计算机中的计算机硬件组件(具体地说是人机接口设备)。 诸如图形用户界面(GUI)、电视机和监视器之类的许多系统可使用户使用物理手 势控制并向计算机或电视机提供数据。

控制器750的导航特征的移动可以通过指针、光标、焦点环，或显示在显示 器上的其他可视指示器，在显示器(例如，显示器720)上模仿。例如，在软件应 用716的控制下，位于导航控制器750上的导航特征可以被例如映射到用户界面 722上显示的虚拟导航特征。在各实施例中，控制器750可以不是单独组件，而是 集成到平台702和/或显示器720上。然而，各实施例并不限于这些元件或本文中 示出或描述的背景。

在各实施例中，驱动器(未示出)可包括允许用户在最初引导之后通过触摸按 钮立刻接通和切断类似电视机的平台702(例如当被启用时)的技术。当平台被”切 断”时，程序逻辑可允许平台702将内容流化至媒体适配器或其它内容服务设备730 或内容传递设备740。另外，芯片组705还可以包括，例如，对于5.1环绕声音频 和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可以包括集成的图形 平台的图形驱动器。在各实施例中，图形驱动器可以包括外围组件互连(PCI) Express图形卡。

在各种实施例中，可以集成系统700所示出的组件的任何一个或更多。例如， 可以集成平台702和内容服务设备730，或者也可以集成平台702和内容递送设备 740，或者，例如，也可以集成平台702、内容服务设备730，以及内容递送设备 740。在各种实施例中，平台702和显示器720可以是集成单元。例如，可以集成 显示器720和内容服务设备730，或者也可以集成显示器720和内容递送设备740。 这些示例不限制本发明。

在各种实施例中，系统700可以实现为无线系统、有线系统或两者的组合。 当实现为无线系统时，系统700可以包括适用于通过无线共享介质进行通信的组件 和接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制 逻辑等等。无线共享介质的示例可以包括诸如RF频谱之类的无线频谱的某些部分 等等。当实现为有线系统时，系统700可以包括适用于通过有线通信介质进行通信 的组件和接口，诸如输入/输出(I/O)适配器、将I/O适配器与相应的有线通信介 质连接的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制 器等等。有线通信介质的示例可包括，线路、电缆、金属导线、印刷电路板(PCB)、 后面板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等等。

平台702可以建立一个或多个逻辑或物理信道以传递信息。信息可以包括媒 体信息和控制信息。媒体信息可以是指表示给用户的内容的任何数据。内容的示例 可以包括，例如，来自语音谈话、视频会议、流式视频、电子邮件消息、语音邮件 消息、字母数字符号、图形、图像、视频、文本等等的数据。来自语音谈话的数据 可以是，例如，语音信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息 可以是指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息 可以用来通过系统路由媒体信息，或指示节点以预先确定的方式处理媒体信息。然 而，各实施例不限于图6中所示出的或所描述的上下文中的元件。

如上文所描述的，系统700可以以不同的物理样式或形状因子来体现。图7 示出其中可具现系统700的小形状因数设备800的实施例。在一些实施例中，例如 设备800可被实现为具有无线能力的移动计算设备的一部分。移动计算设备可以是 指具有处理系统和移动电源(诸如，例如，一个或多个电池)的任何设备。

如前所述，移动计算设备的例子可包括个人计算机(PC)、膝上计算机、超薄 笔记本电脑、平板计算机、触摸板、便携式计算机、手持式计算机、掌上计算机、 个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视机、智能设备(例如智 能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、发消息设备、数 据通信设备等。

移动计算设备的示例还可以包括被配置为由人佩带的计算机，诸如腕计算机、 手指计算机、戒指计算机、眼镜计算机、皮带计算机、臂带计算机、鞋计算机、衣 服计算机及其他可佩带的计算机。在各实施例中，例如移动计算设备可被实现为能 够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然可以利用作为示 例实现为智能电话的移动计算设备描述一些实施例，但是，可以理解，其他实施例 也可以使用其他无线移动计算设备来实现。在此上下文中，实施例不受限制。

如图7所示，设备800可以包括外壳802、显示器804、输入/输出(I/O)设 备806以及天线808。设备800还可以包括导航特征812。显示器804可以包括用 于显示适合于移动计算设备的信息的任何合适的显示单元。I/O设备806可以包括 用于向移动计算设备中输入信息的任何合适的I/O设备。I/O设备806的示例可以 包括字母数字键盘、数字键区、触摸板、输入键、按钮、开关、往复式开关、麦克 风、扬声器、语音识别设备以及软件等等。信息还可以通过麦克风输入到设备800 中。这样的信息可以通过语音识别设备来数字化。在此上下文中，实施例不受限制。

各实施例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示 例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、 感应器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数 字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体 器件、芯片、微芯片、芯片组等等。软件的示例可包括软件组件、程序、应用、计 算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件 模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指 令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组 合。判断一个实施例是否使用硬件元件或软件元件来实现可以根据任意数量的因素 而不同，如所希望的计算速率、功率级别、耐热性、处理周期预算、输入数据速率、 输出数据速率、存储器资源、数据总线速度，及其他设计或性能约束。

至少一个实施例的一个或多个方面可以通过存储在机器可读介质上的代表性 的指令来实现，指令表示处理器内的各种逻辑，指令在由机器读取时使机器制造执 行此处所描述的技术的逻辑。被称为“IP核”的这样的表示可以存储在有形的机 器可读介质中，并提供给各种客户或生产设施，以加载到实际制造逻辑或处理器的 制造机器中。

本文描述的奇数可因此提供一种前向反馈系统，该系统确保消费者视频流水 线的实时操作以及对操作流水线的动态更新两者以递送最优的视觉知觉质量和查 看体验。具体地，视频流水线的离散控制系统可动态地适配操作点以便使与视频知 觉质量有关的交互式组件模块的全局配置最优。在串行配置中，知觉质量分析模块 可被置于视频处理流水线之前，并且为后处理流水线确定的参数可用于相同的帧。 在质量分析块的分布式计算的情形中或者在知觉质量分析需要在流水线中的中间 点处执行时，使用给定帧确定的参数可在下一帧上应用以确保实时操作。分布式计 算有时候在降低复杂度方面是有益的，因为知觉质量计算的某些元件可能在后处理 流水线中已经被计算并且可被重新使用。所解说的方法也可与闭环控制相兼容，在 该闭环控制中，知觉质量分析在视频处理流水线的输出处被重新使用以估计输出质 量，其也被控制机制所使用。

本发明的实施例可适用于所有类型的半导体集成电路(“IC”)芯片。这些IC 芯片的示例包括，但不仅限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLA)、 存储器芯片、网络芯片等等。另外，在一些附图中，信号导线是用线表示的。一些 线可以不同以表示更具构成性的信号路径，具有数字标号以表示构成性信号路径的 数目，和/或在一端或多端具有箭头以表示主要信息流向。然而，这不应当被解释 成限制。相反，这些新增的细节可结合一个或多个示例性实施例使用以利于电路的 更容易理解。任何表示的信号线，不管是否具有附加信息，实际上可包括沿多个方 向行进并可用任何适宜类型的信号机制实现的一个或多个信号，所述信号机制例如 是用差分线对、光纤线和/或单端线实现的数字或模拟线。

已给出示例尺寸/模型/值/范围，尽管本发明的实施例不仅限于此。随着制造 技术(例如光刻法)随时间的成熟，可望能制造出更小尺寸的设备。另外，为了解说 和说明的简单，与IC芯片公知的功率/接地连接和其它组件可在附图中示出也可不 示出，并且这样做也是为了不使本发明的实施例的某些方面变得晦涩。此外，配置 可以框图形式示出以避免使本发明的实施例变得晦涩，并且这也鉴于针对这些框图 配置的实现的细节很大程度地依赖于实施例实现在的平台的事实，即这些细节应当 落在本领域内技术人员的眼界内。在阐述具体细节(例如电路)以描述本发明的示例 性实施例的情形下，本领域内技术人员应当清楚没有这些具体细节或对这些具体细 节作出变型也可实施本发明的实施例。说明书因此应当被视为解说性的而非限定性 的。

一些实施例可以，例如，使用机器或有形的计算机可读取的介质或制品来实 现，所述介质或制品可以存储指令或一组指令，如果由机器执行，可以导致机器执 行根据各实施例的方法和/或操作。这样的机器可以包括，例如，任何合适的处理 平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等 等，并可以使用硬件和/或软件的任何合适的组合来实现。机器可读介质或物品可 包括例如任何适合类型的存储器单元、存储器器件、存储器物品、存储器介质、存 储设备、存储物品、存储介质和/或存储单元，例如存储器、可移动的或不可移动 的介质、可擦除或不可擦除的介质、可写入或可反复写入的介质、数字或模拟介质、 硬盘、软盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘 (CD-RW)、光盘、磁介质、磁光介质、可移动存储卡或盘、各种类型的数字多 功能盘(DVD)、带、盒式带等等。指令可包括任何合适类型的代码，如源代码、 已编译的代码、已解释的代码、可执行代码、静态代码、动态代码、加密代码等等， 使用任何合适的高级别的、低级别的、面向对象的、可视的、已编译的和/或解释 性编程语言来实现。

除非特别声明，应该理解，诸如“处理”、“计算”、“运算”、“判断” 等等之类的术语是指计算机或计算系统，或类似的电子计算设备的动作和/或进程， 所述计算系统或类似的电子计算设备操纵和/或转换表示为计算系统的寄存器和/ 或存储器内的物理(如，电子)量的数据，将这些数据转换为类似地表示为计算系 统存储器或寄存器或其他这样的信息存储器、传输或显示设备内的物理量的其他数 据。在此上下文中，实施例不受限制。

术语“耦合的”在本文中可用来指示所研究的组件之间的任何类型关系(直接 或间接)，并可适用于电气连接、机械连接、流体连接、光连接、电磁连接、电机 连接或其它连接。另外，术语“第一”、“第二”等等此处只用于便于讨论，没有 特定时间的或按时间顺序的意义，除非另有陈述。

本领域内技术人员从前面的说明可以理解，本发明的实施例的广泛技术可以 多种形式来实现。因此，尽管已结合其特例描述了本发明的实施例，然而本发明的 实施例的真实范围不受此限，因为本领域内技术人员在研究附图、说明书和下面的 权利要求书之后很容易理解其它的修正形式。