图像序列中闪烁的检测和抑制

摘要

本发明涉及在视频帧序列中检测非期望的短暂变化(闪烁)的方法、设备和计算机程序产品。在一个实施例中，将帧的亮度均值与参考水平相比较，并且将交叉频率与诸如通过混淆的亮度频率相关联的频率的、期望的变化频率相比较。通过引入参考水平周围的延迟区，可以改进交叉计数。在非期望的短暂变化的肯定检测的情况下，还提供了使用累计分布函数的校正方法、设备和计算机程序产品。通过使非饱和像素变亮，或者通过以根据参考累积分布函数随机采样的值来代替饱和像素，减轻了闪烁引起的像素饱和的视觉损害。本发明提供了适于流视频序列的实时处理的实施例。

说明书

技术领域

在此公开的本发明一般涉及视频处理，更准确地，涉及视频帧序列中非 期望的短暂变化的连续检测。具体地，本发明适合于检测通过通信网络进行 流传输的视频帧序列中与混淆相关的假象(aliasing-related artefact)。有利地， 本发明还提供了非期望的短暂变化的结合的检测和抑制的方法和设备。

技术背景

在运动图像的播放期间(也就是说，静止图像(帧)序列在适当时间点 连续呈现)，观众有时会观察到非期望的亮度变化，即“闪烁”(flicker)，其 不会出现在描绘的场景中。如此处所使用的，场景(scene)是在记录运动图 像的成像设备的视野中可见或部分可见的一个空间区域。尽管整个场景在给 定时刻可能不可见，但是其能够通过扫视(span)在一个镜头期间被成功覆 盖。闪烁可能具有快到人眼感觉不到的剧烈振动的光源引起。然而，记录包 括以成像设备的帧速率(frame rate)对这种振动频率进行采样，通过采样处 理，该振动频率可能变为更低的、可见地感受到的频率。图1示出了高频信 号的采样(如圆圈所示)如何被解释为来自低频信号，反之亦然；这种现象 就是混淆(aliasing)。

人们可以区分不同种类的闪烁。在灰度级视频序列中，闪烁是图像信号 的单信道的非故意的(并且通常是周期性的)变化。这种变化可能影响整个 帧或者仅仅子区域，该子区域可能对应于具有特定亮度的空间区域。当运用 彩色视频技术时，振动的白色光源可能以不同于振动的彩色光源的方式来影 响记录的视频序列。正如在接下来的几个段落将会解释的，对图像分量的闪 烁的精确解释取决于所使用的精确彩色视频格式。

首先，如果视频序列以线性原色分量编码，例如RGB，那么在白色光 源的情况下，非期望的振动将存在于所有颜色中。如果振动光源是彩色的， 则将会给每个彩色分量按照光源颜色组成的比例贡献振动条件(term)；例 如，振动的红色光源会主要贡献RGB信号的R分量，而较少贡献G分量和 B分量。

其次，若干普遍彩色视频格式基于三维YCbCr彩色空间。这种视频格 式包括一个亮度信道Y(对像素的亮度分量，或者辉度(brightness)分量编 码)和两个色度信道Cb、Cr(根据与白色的偏离，对像素的色度分量编码)。 亮度分量对应于灰度级视频的单图像信道；因此如果YCbCr彩色视频信号 将通过灰度级接收器重现，那么可以简单地忽略信道Cb、Cr。图像分量(如 关于常量、缩放、偏移等)的准确定义可能在不同的具体视频格式之间变化， 但是一般来说在原色格式和YCbCr格式之间存在明确的转换(有时是线性 转换)。尤其是，所有三原色分量都为亮度做出积极(positive)贡献，例如 经由线性关系Y＝ρR+γG+βB，其中根据标准白色确定系数的相对值ρ＞0， γ＞0，β＞0。因此，不管导致闪烁的光源是白色还是彩色的，闪烁将自身显 现为亮度分量中的变化。另一方面，彩色光源也会导致Cb分量和/或Cr分 量的振动。

再次，还存在基于色调、饱和度和辉度三者的彩色视频格式，特别是 HSL、HSV、HLS、HIS和HSB格式。一般来说，转换到RGB格式或者自 RGB格式的转换伴随着这一类的每种视频格式。闪烁，至少白色闪烁，在 光度/数值/辉度/强度信道(L或者V)中是可检测的，这将不与本公开的其 它地方的亮度相区分。

在前面段落的讨论故意没有将模拟格式与数字格式相区分，因为对于本 公开的目的而言，数字格式可以看作模拟格式的量化版本。同样地，除了线 性版本之外，一些视频格式可以存在于伽马(gamma)压缩或者部分伽马压 缩版本中，例如R’G’B’和Y’CbCr格式。然而，视频格式是否包括这种压缩 对于理解本发明是无关紧要的。

因为观众会觉得闪烁令人烦恼或不快，所以在视频处理领域已经关注对 闪烁进行检测和校正。关于检测，许多目前先进的方法都是基于傅立叶转换 的，其将信号分解为具有包括0在内的不同频率的分量的线性组合。基于不 同频率的相关重要性(正如傅立叶系数所示)，不论闪烁是否出现都能够建 立线性组合。根据这一原则的检测方法如EP1324598中所示；该方法包括图 像信号的平均的离散傅立叶转换。正如信号处理领域的普通技术人员所认识 到的，傅立叶转换涉及的算法有以下缺点：

●它们不能应用于非固定信号，例如由于非等距采样导致帧速率可能 随时间变化的视频信号；

●它们不能解决在信号阱中的非正弦闪烁，因为基频的能量在较高谐 波会部分丢失；以及

●它们可能推算起来很复杂。

其它检测方式可以基于对统计方差的计算。例如，在US2007/036213中 公开的方法将较低阀值条件应用于方差以确定什么时候需要减少闪烁。部分 地，由于方差的增加可能具有除闪烁以外的其它来源，因此众所周知地，这 种检测方法会产生较大百分比的误报。

用于抑制或者消除闪烁的若干可用方法是基于闪烁序列中的每个帧相 对参考帧进行校正。更确切地说，对于将校正的帧生成累积分布函数(CDF)， 或者用另一个名称，累积直方图，并且对于参考帧生成参考CDF。像素值随 后被调整以便校正帧的CDF近似地等于参考帧的CDF。一般来说，参考帧 不必等于(除了由闪烁导致的变亮或者变暗)将校正的帧，但是优选地，应 该对于背景、照明等描绘了相似的场景。US5793886中公开的方法提供了代 表性的示例。为了生成参考CDF，该方法对于序列中的较早帧和较晚帧都计 算CDF，随后根据将校正的帧的位置将CDF内插。

随着消费者对宽带互联网连接的访问的增加，不仅是IP语音技术，还 有视频电话和视频会议在近年来广泛流行。因为音频和视频数据在这里作为 分组流而传输，因此发送和接收双方都需要实时处理数据，而不是作为有限 批处理(finite batch)。讨厌的图像闪烁可能出现在视频电话中，正如出现在 任何种类的运动图像中一样，但是检测和解决闪烁的可用方法(见上)经常 是不合适的。更重要的是，除了上述方法，许多现有方法必须知道在流中的 前面的帧和后面的帧。这些无关联的(non-causal)处理方法无法用于没有 缓冲帧的实时事件，其中对帧进行缓冲延误了数据流的传输。最小缓冲器长 度是视频序列的闪烁部分的最大期望持续时间加上每帧和闪烁部分末端的 一个参考帧的处理(校正)时间。在已经存在用于隐蔽网络抖动的一定延迟 的、目前先进的互联网通信的情况下，大多数用户会发现不可接受的附加延 迟。因此，缓冲将意味着重大缺陷。

虽然本领域中已知用于在直播中检测和/或抑制图像闪烁的装置，但是大 多数这样的设备因为其高复杂度而不能集成到消费产品中。类似地，致力于 在记录期间减少闪烁的方法可能预示着对高级光学硬件的访问，例如自适应 图像传感器和易调整的快门配置。例如视频电话服务的供应商无法设想这样 的硬件特征是可用的，而是不得不从任何服务的用户所操作的设备那里接受 图像数据。最后，某些方法的绝对复杂性使其无法用于视频电话。在正常加 载的个人计算机上，相当精确的基于傅立叶的检测方法可能占用大部分CPU 性能；至少，计算上复杂的方法意味着强迫视频电话系统产生特别的质量降 低的风险，诸如帧速率的下降、图像大小的减小等。

发明内容

考虑到现有技术中检测和抑制非期望的短暂变化的缺陷，本发明的目的 是提供一种检测(以及有利地，抑制)这种变化的可选技术，与现有技术的 缺陷相比，本发明的技术的缺陷较少，特别是在实时执行的时候。

因此，根据第一方面，本发明提供了权利要求1所述的用于在视频帧序 列中检测非期望的短暂变化的方法。根据第二方面，如在权利要求3所阐述 的，提供了用于检测非期望的短暂变化的设备(视频帧接收器)。如在权利 要求16中所限定的，根据本发明的第三方面，提供了用于检测非期望的短 暂变化的计算机程序产品。

本领域技术人员将理解的是，在研究独立权利要求时，根据发明的思想 和实施例的检测包括：

●在固定时间间隔取决于每次帧内的像素的亮度来评估变量。数值形 成变量的时间序列。适当地，在每个帧内的像素子集的基础上执行 评估，这通常提供了足够准确的检测。用于评估变量的像素集在帧 之间可能是不变的。然而，自由选择属于这个集合的像素也可以有 利于避免将可能导致错误检测的分离物(outlier)(具有在数字上远 离其余数据的值的像素)贡献给变量。

●在变量的时间序列的基础上估计全局亮度的变化频率。举例来说， 如果变量与帧的全局亮度成比例，那么变量的时间序列的振动将具 有与连续帧上的全局亮度相同的频率。

●估定全局亮度的变化频率的估计是否接近任何期望的变化频率，也 就是说，全局亮度的变化频率的估计是否与任何这样的期望的变化 频率相差少于预定容差。

如果发现满足了最后的条件，则检测到视频序列中非期望的短暂亮度变化。

当本发明的思想在具体实施为检测算法、检测器等时，提供了通过改变 容差而能够准确地调谐的灵敏度的条件下的鲁棒性，因此检测既不过于宽容 也不过于严苛。根据本发明的检测在计算上是经济的，而且适于被实施为实 时视频处理组件，特别是与处理流式视频数据的、基于互联网的视频电话系 统有关的实时视频处理组件。如果实施方式利用了可能涉及恢复时间序列中 先前计算的值等的、该方法的连续性特征，则可以进一步降低复杂性和诸如 存储器空间的硬件要求。

上述变量可以是对所有像素的亮度给出相等权重的帧均值，或者可以是 加权均值。在本发明的实施例中，如用于检测非期望的短暂亮度变化的设备， 无论变量是否是(加权)均值，用于评估变量的功能部分被称为帧平均器。

上述变量适于估计全局亮度变化频率，而非主要用于估计局部亮度变 化。全局亮度变化可以自身显现为帧序列中随时间的总体辉度波动。与此相 反，局部亮度变化可以看作是帧内的空间辉度波动，例如线变化(line-wise  variation)(线闪烁)。为了估计全局亮度变化的变化频率，如在本公开其它 部分中所讨论的，计算在整个帧或在帧的代表性部分上的辉度平均可能是合 适的。

作为本发明的一个可选特征，通过计数每单位时间内变量的时间序列多 久与参考水平交叉来估计变化频率；交叉数除以序列的持续时间是全局亮度 变化频率的估计。假设交叉计数捕获了帧均值可能的振动行为，则参考水平 的准确值并不是非常重要的。例如，参考水平可以选择为全局均值，也就是 说，在时间序列中最后几个数值上取的平均。有利地，可以通过限定全局均 值周围(分别地，零点周围)的延迟区，而使得时间序列和参考水平的交点 的计数(或者，时间序列减去参考水平的零交叉计数)更加可靠。与第二公 差相比更接近参考水平的时间序列中的值被认为是不可靠的，而其对计数可 能的贡献被忽略。相反，考虑在时间序列中的下一个输入(entry)。这样， 根据本发明的方法和设备对不准确测量的影响不那么敏感，否则不准确的测 量可能导致不正确的检测结果。

作为本发明的、可以单独使用或与其它可选特征相结合使用的另一个可 选特征，帧速率(获取图像的频率)的值以及亮度频率的值被确定。在这两 个频率的基础上确定期望的变化频率。此处，亮度频率与视频序列中可见的 物体或者表面的亮度相关。如果这个亮度是变化的以及(类)周期性的，则 亮度频率不是零。具有周期性变化的亮度的物体的例子包括荧光光源和被这 些荧光光源照亮的物体。作为这种思想的概括，可以使用多个亮度频率。需 要强调的是，要求保护的方法也适用于具有可变帧速率的视频序列。因此， 所述方法应该基于帧速率的实际值确定期望的变化频率，例如在计数零交叉 的间隔上的局部均值帧速率。进一步需要注意的是，所述方法可以等效地以 测量的变化频率作为其起点，并基于此来确定那些已经生成的可能的亮度频 率；然后估定实际亮度频率是否与任意这些亮度频率相差少于容差。正如前 面部分中已经指出的，本发明的目的是，HSL和类似图像格式中的辉度(或 者辉度、或者值、或者强度)信道等同于亮度信道。

期望的变化频率可以计算为从亮度频率f_i相对于帧速率f_s的混淆中得到 的频率分量。然后，对于整数N，通过|f_i-Nf_s|给出所有混淆的频率分量。考 虑到混淆的频率分量在以帧速率播放期间必须是可见的(即，根据尼奎斯特 准则，其必须小于帧速率的一半)，因此N必须满足下面的条件：

$\frac{f_i}{f_s}-\frac{1}{2}<N<\frac{f_i}{f_s}+\frac{1}{2}.---\left(1\right)$

电力频率的整数倍可以用作亮度频率。实际上，大多数可用直流电驱动的荧 光照明设备的强度随频率振动，该频率是它们的驱动电流的频率或者是这个 频率的两倍。这暗示了无需专门测量亮度频率。执行本发明方法的装置事实 上可以以同一个电力频率供电，然后其使得亮度频率(或者多个频率，如果 正在使用干线频率的若干倍)的确定非常简单。

发明人已经识别可用的基于CDF的闪烁抑制方法和设备的若干缺点， 特别是：

●使用用于生成参考CDF的单个帧可能是对错误敏感的方案；举例来 说，参考帧的亮度分布可能因为诸如减褪为黑色等故意变化而偏离 正常的亮度分布。

●在图像闪烁的动作下已经变亮的帧中，许多像素可能饱和，并因此 截断为编码格式的最大可容许值。由于饱和像素的真实值已经在截 断中丢失，因此直接的基于CDF的校正可能导致在先前饱和像素与 校正后下一个最亮水平之间的可见亮度边缘。

●在像素值校正过程中的舍入错误有时可能不利于校正后图像的质 量。

因此，为了改进这些缺陷中的至少一些，本发明的特定实施例提供了在视频 帧序列中非期望的短暂变化的结合的检测和抑制。在非期望的短暂图像变化 的肯定检测的情况下，遵循以下各项：

●选择将校正的帧集；

●对于所选择的帧集中的每个帧，执行以下步骤：

○对于帧集的每个帧中的至少一个图像分量(诸如线性解码或者经 由伽马压缩的亮度或原色)的像素集(用于计算亮度均值的像素 集合)中的实际值生成CDF。

○基于CDF为在较早帧中相同图像分量的值产生参考CDF。

○对于每个像素和所述至少一个图像分量中的每个图像分量确定 校正值，所述校正值使对于所述实际值读取的CDF(在具有小于 或等于实际值的值的未校正帧中随机挑选像素的概率)和对于所 述校正值读取的参考CDF(在具有小于或等于校正值、即现在实 际值的值的校正帧中随机挑选像素的概率)之间的差异最小化。

对于需要检测的每个图像分量，例如，对于图像格式的每个原色，执行以上 的生成CDF、生成参考CDF和代替步骤。(注意的是，不是任何图像格式中 的任何图像分量都适合通过本发明的方法进行校正。举例来说，HSL格式的 色调分量(H)是角测量，对于HSL格式的色调分量H，不清楚CDF是如 何被定义的。尽管根据本发明的检测可以对于光度信道而执行，但是建议在 执行校正之前将每个帧转换成例如YCbCr格式。然后可以将校正的帧转换 回HSL格式)。在上面阐述的检测和校正两者都可以应用于通过将视频序列 中的每个帧限制在固定的子区域中而形成的限定帧序列。将校正的帧集合可 以是根据检测出现闪烁的视频序列的一部分。可以有利地通过诸如加权或非 加权的移动平均(moving average，MA)或者自回归(AR)滤波器的低通 滤波器来提供参考CDF所基于的值。

在数学形式上，数值的代替可以描述如下：像素中的图像分量的真实值 x_curr被校正值x_corr代替，该校正值x_corr是使|F(x_curr)-F_ref(x_corr)|最小化的(可容 许的)值，其中F为帧的CDF，而F_ref是参考CDF。这个公式适用于模拟编 码和数字编码两者，在一些数字格式中，只有整数可容许为像素值。如果任 一像素值都被允许，则校正值可以定义为：

$x_{\mathrm{corr}}=F_{\mathrm{ref}}^{-1}\left(F\left(x_{\mathrm{curr}}\right)\right)---\left(2\right)$

如上所述，根据本发明这个实施例的检测和抑制与现有技术相比具有较 少的缺陷。特别是，基于通过以前帧的CDF的低通滤波获得的值的参考CDF 降低了由于在视频序列中故意的亮度变化而导致的不适当校正的风险。因为 可以在还不知道后续帧的情况下处理帧，所以本发明提供的结合的检测和抑 制满足了因果要求，这对于其应用于诸如在互联网上传输的、实时记录的视 频序列等流式媒体而言是必要的。

作为本发明的可选特征，校正器可以适于通过内插值补充参考CDF的 值。举例来说，假设参考CDF包括值(150，0.60)和(152，0.68)，并且 对应于CDF值(170，0.62)的像素值170将被校正。然后，具有该可选特 征的校正器可以用对应于内插的参考CDF值(150.5，0.62)的150.5代替 170。也可以使用更先进的内插过程，诸如可能包括多于两个点的二次或三 次内插，以产生良好效果。

优选地，为了减少舍入错误并且使得闪烁抑制对错误不那么敏感，在参 考CDF被用于为将校正的帧中的像素确定校正值之前，参考CDF可以被上 采样并平滑化。

作为本发明的另一可选特征，参考CDF可以基于在视频序列的闪烁部 分以前的帧(也就是说，所选择的、将校正的帧集中的最早帧以前的帧)的 平均。因此，闪烁帧没有为参考CDF做出贡献，其因此被预期为更加可靠。

最后的可选特征减轻了与变亮帧中基于CDF的闪烁抑制相关联的可能 不便，该变亮的帧包含饱和像素，即，其值是最大可容许值的像素。对于这 些像素，通过闪烁而变亮在原则上导致大于最大值的值，但是导致信息丢失 的截断(由于图像传感器对图像格式的限制和适应)将该值降低到最大值。 在这种条件下，在这个最大值(对其而言，CDF读数为1)与通过CDF获 得的下一个最高累积概率的参考CDF的倒数值之间存在隐蔽间隔。隐蔽间 隔意味着没有校正值位于其中。接近最大可容许值(对其而言，CDF将会远 小于1)的实际像素值然后将由远小于最大可容许值的校正值所代替，这导 致校正帧的潜在可见边缘。为了使这个边缘更不可见，通过乘以变亮因子来 扩大校正值。

变亮因子可以根据变量的时间序列的变化振幅、特别是亮度的帧均值的 变化振幅来确定。例如，可以连同变化频率的估计来确定变化振幅。可以不 必为每个帧更新变亮因子的值。更大的变化振幅将导致更大的变亮因子。变 亮值不可以超过编码格式的最大可容许值，因此如果需要可以将其截断到最 大可容许值；如果适当选择了变亮因子的话，则除了那些已经是最大像素值 并因此不能被变亮之外的明显例外，几乎不需要截断。需要注意的是，出于 完整性考虑，变亮值可能需要舍入到在编码格式所使用的数值集，例如，整 数。作为变亮的结果，降低了在截断像素(具有最大可容许值)和最亮非截 断像素之间的差异。

附图说明

现在将参照附图进一步说明本发明，在附图中：

图1示出了频率混叠；

图2是表示帧亮度均值的振荡序列的图形；

图3示出了根据本发明的校正方法中代替像素值的步骤；

图4是根据本发明的实施例的、用于对视频图像序列中非期望的短暂变 化进行检测和校正的设备的示意图；

图5是三个累积分布函数的图示；以及

图6是两个逆累积分布函数的图示。

具体实施方式

现在将描述本发明的特定实施例。然而，本发明可以以许多不同形式具 体实施，并且不应被解释为受限于此处阐述的实施例；相反地，通过示例方 式提供这些实施例以使得本公开将是彻底和完整的，并且对本领域普通技术 人员充分地表达本发明的范围。

本发明可以具体实施为具有检测能力的视频帧接收器。该接收器包括用 于基于亮度来评估变量的第一部分(帧平均器)。优选地，变量是每帧中像 素集的亮度值的总和。评估以规则的时间间隔发生，因此获得变量的时间序 列。接收器还包括频率估计器，其适于接收变量的时间序列，并且适于基于 所接收变量的时间序列来估计全局亮度的变化频率。最后，接收器提供有比 较器，其用于确定全局亮度的变化频率的估计是否与任何期望的变化频率相 差少于容差。这个简单的接收器可以通过选自以下描述的功能部分或其变体 中选择的进一步功能部分来扩展。

图4是根据本发明的另一个实施例的、用于对视频帧序列中非期望的短 暂变化进行检测和校正的设备的示意图。一般地，功能部分(表示为图4中 带框的黑体字)不一定指代物理上独立的实体；功能部分中的至少一些可以 组合成多功能部分，或者甚至可以具体实施为计算机可执行指令。还要注意 的是，除非附图中电路线的交点表示为圆点，否则交点并不代表电连接或通 信连接。如水平点划线所示，该设备包括分别表示为位于点划线上方和下方 的、相互合作的检测部分和校正部分。在下面的表1中解释图4中所使用的 符号。

设备的输入信号i1、i2分别代表(带时戳的)视频帧序列和亮度频率。 在检测之后，并且如果有必要在校正之后，输出信号o1对视频帧序列编码。 设备的输入和输出可以经由网络接口或分组交换网关进行。例如，设备可以 被安排为通信网络上传输链路的一部分，从而当视频序列通过流传输时可以 对该视频序列进行实时处理。

通过帧区域选择器FrRS来接收帧序列i1，该FrRS形成一个帧序列s1 和一个帧序列s17，其中s1被限制为用于检测(并可能校正)所选择的区域， s17被限制为对所选择的区域的补充。通过限制设备运行的帧区域，设备的 计算负荷有时可能减少，但不会带来任何不便。例如，对于将宽屏长宽比的 视频拍摄转换为较少拉长的长宽比而言，加框(letterboxing)(即，通过黑 条来遮蔽(screening)图像的顶部和底部)是常见的做法，并且明显的是， 在黑条中不大可能发生闪烁。如果没有这样帧区域限制，那么s1是整个帧 序列并且s17是无效的。

将信号s1馈送到像素选择器PixS，其中，每帧被进一步限制为用于检 测的像素集，该像素集(在这个实施例中)在帧之间是不变的，并且被编码 为信号s2。这个步骤可以看作信号的子采样。这样做的好处是减少将处理的 数据量，因为通常在像素的子集中包含了用于非期望的短暂变化的可靠检测 的足够信息。提出两个示例，像素集可以是随机选择的单个像素的收集 (collection)，或者可以是帧区域中一些枚举的像素中的每一个第n个像素。 在这里，n是整数，并且合适的数值可以在针对不同目的的实施例之间变化。 经过研究和理解本说明书，本领域技术人员将能够通过常规实验确定合适的 n值。

将信号s2转发到亮度滤波器LumF，其允许信号s2的亮度分量s3通过。 帧平均器FrAv计算信号s3的平均的序列。在本公开中，这种一帧内的平均 被称为帧均值，并且帧均值的时间序列被编码为信号s4。换句话说，在这个 实施例中，其值形成时间序列的变量是一帧中像素的亮度均值。此后，通过 移动平均(moving average)或通过自回归滤波器，全局平均器GlAv计算帧 均值的序列s4的全局均值s5。(这里，术语“全局”并不意味着对所有可用 的帧取均值，而仅是对多于一帧取均值。)信号s4和s5被提供给计数器Ctr， 其计算每单位时间内信号s4对于信号s5的交叉数。因此，计数器Ctr使用 全局均值s5作为参考水平。在这个实施例中，计数器Ctr基于移动平均运行， 从而每单位时间内的交叉数是时间间隔内更精确的每单位时间内的交叉数。 这个数量从计数器Ctr输出，作为估计的变化频率s6。如果在视频序列中帧 速率是恒定的，那么时间间隔的范围是简单的帧数(在延迟区中可能遗漏值 之前；见下段)除以帧速率。在可变帧速率的情况下，如果时戳包括在间隔 的第一帧和最后帧的视频格式中，那么时间范围可以通过检索时戳来确定。 该间隔可以与用于计算帧均值的全局均值的间隔一致。

图2是31个帧均值的序列(带圆圈的实线曲线)以及这些帧均值的全 局均值(大约139的坐标值处的水平虚线)的图示。第1号至第20号采样 没有振荡行为但表现出下降趋势，这可能是平均亮度的故意减少(诸如减褪 为黑色或扫视到较暗区域)的结果。帧均值序列肯定与全局均值交叉一次， 但是信号显然不是周期性的。第20号至第31号采样序列与全局均值交叉六 次，并且应该注意的是交叉以大约相同的时间间隔(相隔约2个采样，这意 味着频率是4个采样的时间范围的倒数)发生，并且具有相当稳定的振幅(约 40单位)。对比两组采样，亮度变化似乎存在于第20号至第31号采样中但 不存在于第1号至第20号采样中。帧均值/全局均值交叉的计数通过引入全 局均值周围的延迟区而对测量噪声更加鲁棒。如图2中的两条虚线水平线所 示，例如，这种延迟区可以由与等于10个单位的第二容差相对应的、129 和149之间的坐标值组成。这样做的好处是，不是关于全局均值本身而是关 于延迟区来计数交叉。换句话说，位于延迟区的值不被允许对交叉计数做出 贡献。通过这种方式，取决于延迟区的范围，错误的帧均值(其由于测量误 差而下跌到全局均值的不正确的一侧，从而可能导致交叉计数±2的误差) 不太可能破坏计数器Ctr的输出。

再次参考图4，平行于像素选择器PixS提供的预测器Pred接收信号s1， 预测器Pred从信号s1导出帧速率的实际值f_s。例如，如果提供了连续时戳， 则可以通过研究连续时戳的差异而导出帧速率。预测器Pred还接收指示亮 度频率f_i的信号i2。在本申请的先前部分中讨论了亮度频率；应该注意的是， 其可以是电力频率的数倍。预测器使用公式|f_i-Nf_s|来计算期望的变化频率s7 并将其作为输出释放，其中N是满足以上条件(1)的整数。

比较器Comp接收期望的变化频率s7和(实际)估计的变化频率s6两 者。比较器Comp估定这是否位于预定的容差范围内，容差的选择基于可靠 性(更少的误报)对灵敏度的权重。如果位于预定的容差范围内，则将提供 正布尔(Boolean)信号作为检测结果s8；否则提供负布尔信号作为检测结 果s8。完成检测。

现在将指向在图4中的点划线下方的设备的校正部分。响应于正检测结 果s8，帧选择器FrS适于将由信号s1所代表的帧(仍然限制为用于检测和 校正的帧区域)分离为一个将校正的帧序列s12以及一个将不校正的帧序列 s13。将不校正的帧s13不经受任何进一步的处理，而将校正的帧S12被提 供给校正器Corr。被认为需要校正的不间断帧序列下面将被称为闪烁片段 (flicker episode)。通过基于先前CDF的(例如，低通滤波的，特别是平均 的)值的参考CDF s11并且通过将校正的每帧的实际CDF s10来确定由校正 器Corr执行的处理的一些数量特征。通过接收信号s2(限制为用于检测和 校正的区域、进一步限制为用于检测的像素集的帧)的CDF发生器CDFG 来计算所有CDF。因此，如果用于检测的像素集不是整个帧或帧区域，那么 两个CDF都可以基于子采样数据，虽然计算上很经济的校正步骤适用于每 个整个帧或帧区域。已在发明内容部分中详细描述了通过校正器Corr执行 的校正处理：像素中的图像分量的实际值x_curr由校正值x_corr代替，该校正值 x_corr是使得|F(x_curr)-F_ref(_corr)|最小化的(可容许的)值，其中F为帧的CDF 并且F_ref是基于更早的帧的CDF生成的参考CDF。这个处理通过图3可视 化，对于示例性实际像素值139通过箭头序列示出子步骤：

1.对于像素值139读取实际的CDF(F)，并发现其累积概率(挑选数 值≤139的像素的概率)为0.50；

2.在参考CDF(F_ref)上检索具有这个累积概率的点；以及

3.相应的像素值113是校正值，实际像素值将由该像素值代替。 对于这个示例性实施例，注意的是，对单视频帧缓冲CDF可能是有利的 (expedient)。因此，如果已检测到非期望的短暂变化，那么帧选择器FrS 将可能选择更多最新的帧用于校正，并且如果CDF发生器CDFG的存储器 中缓存了下一最新帧、第三最新帧、第四最新帧等的CDF中的一些，那么 避免了对这些帧中的每一帧重新计算实际CDF的需要。

通过校正器Corr返回的校正的帧s14可以直接与将不校正的帧s13合 并，且被编码为信号s16。编码为信号s16的帧随后与帧s17进行帧的合并 从而形成设备的输出信号o1，该帧s17被限制为对用于校正的帧区域的补充。

然而，在可替换的实施例中，校正的帧s14没有直接与将不校正的帧s13 合并，而是通过饱和补偿器SatC进行进一步处理，以便补偿可能的像素饱 和。在补偿之后，饱和补偿器SatC的输出s15与信号s13结合成信号s16。

以上概述了什么原因导致饱和以及其相关的不便之处。根据本发明，通 过使校正值变亮来矫正(remedy)饱和。参考图5，更具体地，变亮可以表 示为，变亮的参考CDF(由F^*_ref表示)代替参考CDF(由F_ref表示)。在图 5中的示例性情况下，可以从参考CDF推断一半像素具有大于113的值，而 通过变亮的参考CDF，一半像素大于139。因此，按照实际CDF(F)，像素 值173不会被113代替，而是被139代替，这变亮了α＝23％。这样做的好 处可以通过比较参考CDF和变亮的CDF的隐蔽间隔来看出：对于下一最大 亮度值(以8位编码)254来说，F(254)＝0.87。这使f_ref(167)和F^*_ref(205)相 等，由于205＝1.23×167。因此，隐蔽间隔从[168，254]缩小为[206，254]， 并且边缘高度从86下降到48。参照上述公式(2)，代替像素值的处理可以 描述如下：

$x_{\mathrm{corr}}^{*}={\left(F_{\mathrm{ref}}^{*}\right)}^{-1}\left(F\left(x_{\mathrm{curr}}\right)\right)---\left(2^{,}\right)$

其中${\left(F_{\mathrm{ref}}^{*}\right)}^{-1}=\min \{(1+\alpha )F_{\mathrm{ref}}^{-1},\mathrm{ICMAX}\}$并且ICMAX是最大可容许亮度值。在8位 二进制编码的这种示例性情况下，ICMAX＝255。图6是将CDF的倒数和变 亮的CDF的倒数相比较的图表。由于截断到ICMAX，变亮的CDF的倒数的 曲线的最右部分是平的。

变亮因子α可以是通过对代表性采样图像进行例行试验发现的固定量。 变亮因子α也可以基于当前正进行校正的图像分量(诸如原色分量)的变化 幅度，对于将校正的每一帧(或者优选地，对于将校正的每个闪烁片段)来 动态的确定。在近似值被认为满足条件的实施例中，亮度可以用于代替实际 图像分量，以确定变亮因子。例如，变亮因子α可以计算如下：

其中y(t)是在时间t处经校正的、图像分量的缓冲的帧均值，B是存在图像 分量的缓冲的帧均值的时间点的集合，ζ是调谐参数，并且y(t_ref)是缓冲区 中的参考值。例如，参考值可以是最旧的值或中间值。在图2中，B＝[0，31]， min_t∈By(t)＝103并且max_t∈By(t)＝184。使用t_ref＝0和ζ＝1.03，可得到：

$\alpha =\frac{103+1.03\times (184-103)}{144}-1=29\%---\left(4\right)$

对于直至闪烁片段结束的变亮帧使用这个α值，也就是说，只要发生像素值 的校正就使用这个α值。显然，等式(3)根据闪烁期间在最亮帧和最暗帧 之间的差异来确定变亮因子α。这个差异的影响与调谐参数ζ的值成正比。

如前所述，变亮因子α可以根据除了当前经校正的图像分量(诸如亮度) 以外的另一图像分量的帧均值的变化来确定。在图4中所示的设备中，计数 器Ctr为饱和补偿器SatC提供基于经亮度滤波的信号s3的变化振幅s9。如 果认为更合适根据除亮度以外的图像分量的变化幅度来确定变亮因子，那么 可以将信号s2提供给饱和补偿器SatC。

饱和补偿可以整合到对像素值的代替中，例如通过公式(2’)，但是也 可以在此之后采取单独的步骤。在采取单独的步骤的情况下，校正处理可以 通过对如下限定的步骤(通过饱和补偿器SatC执行)进行补偿的等式(2) (通过校正器Corr执行)描述：

$x_{\mathrm{corr}}^{*}=(1+\alpha )x_{\mathrm{corr}}---\left(5\right)$

饱和补偿可以以除了上述方法以外的其他方法实现。如本公开中前面所 述，饱和导致信息丢失，这样不可能基于受影响的视频帧进行重构。更精确 地，丢失的信息涉及不存在闪烁的情况下饱和像素将具有的、隐蔽间隔中的 值。以将一些噪声引入到经校正的图像为代价，饱和像素可以在隐蔽间隔内 随机分配新的值。在最简单的方法中，在隐蔽间隔内对值进行均匀采样，如 图5所示的示例[168，254]。更精确的变体用于生成具有与参考CDF相同分 布的值。回到示例，这将意味着，对间隔F_ref([168，254])＝[0.87，1](这是 隐蔽的累积概率的间隔)中均匀的、与饱和像素一样多的很多随机值进行采 样，然后在它们用于代替实际的饱和像素值之前通过F_ref^-1将它们映射。在统 计期望的情况下，这将确保经校正的图像的CDF与参考CDF一致。

虽然在附图和前面描述中已经详细描述了本发明，但是这种图示和描述 应理解为说明性或示例性的，而不是限制性的；本发明不受所公开的实施例 的限制。应该理解的是，公开的实施例中所包括的一些组件是可选的。例如， 在图4所示的设备包括用于提取帧的子区域、复合信号的分量等的若干装置： 帧区域选择器FrRS、像素选择器PixS、亮度滤波器LumF和帧选择器FrS。 在优选地考虑计算效率的结构简单的实施例中，可以省略这些组件中的一个 或多个(在必要的重新布线后)。同样，在适于处理单色视频数据的设备中， 亮度滤波器LumF将是多余的。

本领域普通技术人员通过研究附图、公开和所附的权利要求，在实践要 求保护的本发明时能够理解并实现公开的实施例的其他变体。实际上，相互 不同的从属权利要求中记载的某些措施并不表示这些措施的组合不具优势。 权利要求中的任何参考标记不应被解释为限制保护范围。