闪烁校正装置、闪烁校正方法和闪烁校正程序

摘要

平均值计算单元100在输入图像信号的有效期间内，为每行计算平均值。三个半帧平均值计算单元104计算从其中移除了对象的明暗的50Hz闪烁信号。差值计算单元105从本帧的行平均值中减去n个半帧前半帧行平均值。接着，通过将差值除以本帧的行平均值，计算从其中移除了对象的明暗的60Hz闪烁信号。闪烁判定单元112在50Hz闪烁成分提取单元108和60Hz闪烁成分提取单元109的提取结果的基础上，判定闪烁是否存在，以及闪烁频率是50Hz还是60Hz。

说明书

技术领域

本发明涉及一种校正成像元件(imaging element)的输出信号中的周期 性变化(以下被称为闪烁)的闪烁校正技术，所述成像元件的变化是由通过 AC电源供电的照明光源导致的。

背景技术

通常，在通过AC电源供电的照明光源(诸如电灯泡、荧光灯、和汞灯) 中，根据以AC电源频率的2倍频率发生的光源亮度的变化而产生明暗交替。 当处于这样的照明下时，通过顺序地开始每行的曝光时间的成像元件、或者 顺序地开始每个点的曝光时间的成像元件而获取对象图像，导致从成像元件 输出的图像信号中的周期性水平条纹，称为闪烁。周期性水平条纹的周期可 以从成像元件的驱动频率和电源频率获得。

例如，由于常见的由50Hz AC电源供电的荧光灯以100Hz重复发光， NTSC系统中的水平扫描(以下被称为行)频率是15.75kHz，因此以每157.5 (＝1/100sec)行而产生明暗交替。此外，由于半帧(field)周期(1/59.94sec) 和照明闪烁周期(1/100sec)之间的最小公倍数是1/20sec，因此每1/20sec (即，大约每3个半帧)形成相同的明暗图案。

此外，由于常见的通过60Hz AC电源供电的荧光灯以120Hz重复发光， 因此以每131.3(＝1/120sec)行而产生明暗交替。此外，由于半帧周期 (1/59.94sec)和照明闪烁周期(1/120sec)之间的偏差是16.67μsec，半帧周 期和闪烁周期每500个半帧彼此一致，并因此在屏幕上出现非常缓慢地移动 的作为水平条纹的闪烁。由这样的照明闪烁导致的图像质量的劣化成为观看 的障碍。

为了克服这样的问题，专利文献1中公开了一种技术，其中为在半帧周 期和闪烁周期之间的随后的一致之间的周期的每1/3个相位，在存储单元中 存储行平均值(line average value)，并且其中通过对存储在存储单元中的平 均值取平均而产生从其中移除闪烁的影响的参照值，并在参照值的基础上执 行闪烁校正。特别地，在被60Hz的闪烁所影响的NTSC系统中，当对象静 止时，执行闪烁校正，并且当对象移动时，不执行闪烁校正，以这样的方式， 实现了几乎不受对象的移动所影响的闪烁降低装置。

[引用列表]

[专利文献]

[专利文献1]日本专利公开No.2009-81684

发明内容

[技术问题]

然而，在传统方法中，在半帧周期和闪烁周期之间的随后的一致之间的 周期的每1/3个相位中刷新存储行平均值的存储单元。特别地，在被60Hz 的闪烁所影响的NTSC系统中，通过获得延迟167个半帧周期的平均值、延 迟334个半帧周期的平均值、和延迟500个半帧周期的平均值这三个平均值， 产生从其中移除闪烁的影响的参照值。由于这个原因，存在的问题是，当在 500个半帧周期期间存在对象的移动时，不能计算出正确的参照值，并且因 此不能检测到闪烁，并且还存在的问题是，甚至当对象静止时，直至首次判 定闪烁是否存在为止，至少要500个半帧周期或者更长。

做出了本发明以解决传统方法的上述问题。本发明的目的是提供闪烁校 正装置、闪烁校正方法、和闪烁校正程序，其中的每个都用于判定闪烁是否 存在，并且在短时间内校正闪烁。

[问题的解决方案]

为此，根据本发明的闪烁校正装置是用于降低通过使用成像元件以 NTSC系统的半帧频率而获取的图像的60Hz闪烁的闪烁校正装置，所述成 像元件是其中顺序地开始每行的曝光时间或者顺序地开始每个点的曝光时 间的成像元件，并且构造为包括：行平均值计算单元，在输入图像信号的有 效期间内为每行计算平均值；存储单元，在一个帧(frame)周期的单元内， 存储由行平均值计算单元获得的平均值；移动检测单元，从由行平均值计算 单元获得的平均值、和存储单元中存储的一个半帧前的半帧(one-field  preceding field)平均值之间的输出变化，来检测移动；差值计算单元，计算 由行平均值计算单元获得的平均值、和存储单元中获得的n个半帧前的半帧 (n：3的整数倍数)平均值之间的差值；除法值计算单元，通过将由行平均 值计算单元获得的平均值除以由差值计算单元获得的差值，计算除法值；闪 烁成分提取单元，从除法值计算单元的结果中提取闪烁频率；闪烁判定单元， 从闪烁成分提取单元和移动检测单元的结果中，判定闪烁是否存在，以及闪 烁频率是否是60Hz；闪烁校正增益计算单元，从闪烁判定单元的结果中， 与闪烁频率同步地计算闪烁校正增益；以及闪烁校正增益乘法单元，将图像 信号乘以由闪烁校正增益计算单元获得的校正增益。

用这种结构，可以高速提取从中移除了对象的明暗等的影响的闪烁成 分，并且因此可以对各种对象执行适当的闪烁校正。

此外，根据本发明的闪烁校正方法是用于降低通过使用成像元件而获取 的图像的闪烁的闪烁校正方法，所述成像元件是其中顺序地开始每行的曝光 时间或者顺序地开始每个点的曝光时间的成像元件，并且构造为包括：行平 均值计算步骤，在输入图像信号的有效期间内，为每行计算平均值；存储步 骤，在一个帧周期的单元内，存储行平均值计算步骤中获得的平均值；移动 检测步骤，从行平均值计算步骤中获得的平均值、和存储步骤中存储的一个 半帧前的半帧平均值之间的输出变化中，检测移动；差值计算步骤，计算行 平均值计算步骤中获得的平均值、和存储步骤中获得的n个半帧前的半帧(n： 3的整数倍数)平均值之间的差值；除法值计算步骤，通过将行平均值计算 步骤中获得的平均值除以由差值计算步骤中获得的差值，计算除法值；闪烁 成分提取步骤，从除法值计算步骤中获得的结果中提取闪烁频率；闪烁判定 步骤，从闪烁成分提取步骤和移动检测步骤中获得的结果中，判定闪烁是否 存在，以及闪烁频率是否是60Hz；闪烁校正增益计算步骤，从闪烁判定步 骤中获得的结果中，与闪烁频率同步地计算闪烁校正增益；以及闪烁校正增 益乘法步骤，将图像信号乘以闪烁校正增益计算步骤中获得的校正增益。

用这种结构，可以高速提取从中移除了对象的明暗等的影响的闪烁成 分，并且因此可以对各种对象执行适当的闪烁校正。

此外，根据本发明的闪烁校正程序是用于降低通过使用成像元件而获取 的图像的闪烁的闪烁校正程序，所述成像元件是其中顺序地开始每行的曝光 时间或者顺序地开始每个点的曝光时间的成像元件，并且是用于使计算机执 行下列步骤的闪烁校正程序，包括：行平均值计算步骤，在输入图像信号的 有效期间内，为每行计算平均值；存储步骤，在一个帧周期的单元内，存储 行平均值计算步骤中获得的平均值；移动检测步骤，从行平均值计算步骤中 获得的平均值、和存储步骤中存储的一个半帧前的半帧平均值之间的输出变 化中，检测移动；差值计算步骤，计算行平均值计算步骤中获得的平均值、 和存储步骤中获得的n个半帧前的半帧(n：3的整数倍数)平均值之间的差 值；除法值计算步骤，通过将行平均值计算步骤中获得的平均值除以由差值 计算步骤中获得的差值，计算除法值；闪烁成分提取步骤，从除法值计算步 骤中获得的结果中提取闪烁频率；闪烁判定步骤，从闪烁成分提取步骤和移 动检测步骤中获得的结果中，判定闪烁是否存在，以及闪烁频率是否是60Hz； 闪烁校正增益计算步骤，从闪烁判定步骤中获得的结果中，与闪烁频率同步 地计算闪烁校正增益；以及闪烁校正增益乘法步骤，将图像信号乘以闪烁校 正增益计算步骤中获得的校正增益。

[发明的有益效果]

本发明提供的优秀效果是，甚至当半帧周期的相位略微偏离于闪烁周期 的相位时，也可以高速执行闪烁校正。

附图说明

图1是示出根据本发明的实施例的闪烁校正装置的构造的框图。

图2示出其中生成闪烁的图像的示例。

图3示出图2中的图像的行平均值。

图4示出三个半帧(three fields)的行平均值。

图5示出通过将本半帧行平均值除以三个半帧的行平均值获得的结果。

图6示出本半帧行平均值和n个半帧前的半帧的行平均值之间的差值。

图7示出通过将差值除以本半帧的行平均值而获得的结果。

[参考标记列表]

100：行平均值计算单元

101：一个半帧前的半帧行平均值存储单元

102：两个半帧前的半帧行平均值存储单元

103：n个半帧前的半帧行平均值存储单元

104：三个半帧平均值计算单元

105：差值计算单元

106：第一除法值计算单元

107：第二除法值计算单元

108：50Hz闪烁成分提取单元

109：60Hz闪烁成分提取单元

110：移动检测单元

111：微计算机

112：闪烁判定单元

113：闪烁校正增益计算单元

114：闪烁校正增益乘法单元

115：延迟单元

具体实施方式

下面，将参考附图描述用于降低通过使用成像元件获取的图像的闪烁的 闪烁校正装置，所述成像元件是其中顺序地开始每行的曝光时间或者顺序地 开始每个点的曝光时间的成像元件。

图1是示出根据本发明的实施例的闪烁校正装置的构造的框图。在图1 中，参考数字100表示行平均值计算单元，参考数字101是一个半帧前的半 帧行平均值存储单元，参考数字102表示两个半帧前的半帧行平均值存储单 元，参考数字103表示n个半帧前的半帧行平均值存储单元，参考数字104 表示三个半帧平均值计算单元，参考数字105表示差值计算单元，参考数字 106表示第一除法值计算单元，参考数字107表示第二除法值计算单元，参 考数字108表示50Hz闪烁成分提取单元，参考数字109表示60Hz闪烁成 分提取单元，参考数字110表示移动检测单元，参考数字111表示微计算机， 参考数字112表示闪烁判定单元，参考数字113表示闪烁校正增益计算单元， 参考数字114表示闪烁校正增益乘法单元，以及参考数字115表示延迟单元。

行平均值计算单元100在输入图像信号的有效期间内，为每行计算平均 值。

一个半帧前的半帧行平均值存储单元101和两个半帧前的半帧行平均值 存储单元102中的每一个可以为一个半帧存储行平均值，并通过将行平均值 延迟一个半帧期间而输出行平均值。同样地，n个半帧前的半帧行平均值存 储单元103可以为一个半帧存储行平均值，并通过将行平均值延迟任意的n 个半帧期间而输出行平均值。

三个半帧平均值计算单元104计算行平均值计算单元100的输出y0、一 个半帧前的半帧行平均值存储单元101的输出y-1、和两个半帧前的半帧行 平均值存储单元102的输出y-2的平均值。即，三个半帧平均值计算单元104 在相同的行位置上，为每一组三个半帧计算行平均值的平均值，并因而产生 从其中移除闪烁的影响的参照值。

第一除法值计算单元106将从行平均值计算单元100中输出的行平均值 除以从三个半帧平均值计算单元104中输出的平均值，并因而获得从其中移 除对象的明暗的闪烁信号。

差值计算单元105从行平均值计算单元100中输出的行平均值中，减去 从n个半帧前的半帧行平均值存储单元103中输出的n个半帧前的半帧行平 均值。

第二除法值计算单元107将从差值计算单元105中输出的差值，除以从 行平均值计算单元100中输出的平均值，并因而获得从其中移除了对象的明 暗的闪烁信号。

50Hz闪烁成分提取单元108将由第一除法值计算单元106计算的闪烁 信号进行频率转换，并因而仅提取50Hz闪烁成分的频率区域。

60Hz闪烁成分提取单元109将由第二除法值计算单元107计算的闪烁 信号进行频率转换，并因而仅提取60Hz闪烁成分的频率区域。

移动检测单元110将从行平均值计算单元100中输出的行平均值和从一 个半帧前的半帧行平均值存储单元101中输出的平均值之间的差值与阈值进 行比较，并因而检测对象的移动。

闪烁判定单元112在移动检测单元110的检测结果、以及50Hz闪烁成 分提取单元108和60Hz闪烁成分提取单元109的结果的基础上，判定闪烁 是否存在，以及闪烁频率是50Hz还是60Hz。

在闪烁判定单元112的结果的基础上，闪烁校正增益生成单元113通过 三角函数的叠加，生成同步于闪烁频率的正弦波。

闪烁校正乘法单元114通过将由延迟单元115延迟和调整的图像信号乘 以闪烁校正增益，降低了输入图像的闪烁。

延迟单元115调整用于输入图像信号的相当于直至生成校正增益为止的 期间的延迟量。

下面将描述根据如上所述构造的本实施例的闪烁校正装置的操作。注 意，显而易见的是，操作的内容是基于用于降低通过使用成像元件获取的图 像的闪烁的闪烁校正方法，所述成像元件是其中顺序地开始每行的曝光时间 或者顺序地开始每个点的曝光时间的成像元件，并且，每个操作(步骤)可 以通过使用计算机来进行。此外，这样的程序是用于降低通过使用成像元件 获取的图像的闪烁的闪烁校正程序，所述成像元件是其中顺序地开始每行的 曝光时间或者顺序地开始每个点的曝光时间的成像元件，并且是用于使计算 机执行下列操作(步骤)中的每一个的闪烁校正程序。

当通过使用其中顺序地开始每行的曝光时间或者顺序地开始每个点的 曝光时间的成像元件而获取的图像信号输入到图1中所示的闪烁校正装置中 时，图像信号输入到行平均值计算单元100和延迟单元115中。行平均值计 算单元100在输入图像信号的有效期间内，为每行计算平均值。计算的平均 值y0输入到一个半帧前的半帧行平均值存储单元101、n个半帧前的半帧行 平均值存储单元103、三个半帧平均值计算单元104、差值计算单元105、第 一除法值计算单元106、第二除法值计算单元107、和移动检测单元110中。

一个半帧前的半帧行平均值存储单元101存储输入的行平均值y0，并输 出延迟了一个半帧期间的平均值y-1。从一个半帧前的半帧行平均值存储单 元101中输出的平均值y-1输入到两个半帧前的半帧行平均值存储单元102、 三个半帧平均值计算单元104、以及移动检测单元110中。两个半帧前的半 帧行平均值存储单元102存储输入的行平均值y-1，并输出延迟了一个半帧 期间的平均值y-2。从而，行平均值y0、y-1和y-2输入到三个半帧平均值计 算单元104中。三个半帧平均值计算单元104在输入的行平均值y0、y-1和 y-2的基础上，对于每个相同的行，计算三个半帧的平均值的平均值，并因 而产生从其中移除闪烁的影响的参照值。

由三个半帧平均值计算单元104计算的平均值输入到第一除法值计算单 元106中。第一除法值计算单元106将从行平均值计算单元100中输出的行 平均值除以从三个半帧平均值计算单元104中输出的平均值，并因而输出从 其中移除了对象的明暗的闪烁信号。

另一方面，差值计算单元105从行平均值计算单元100中输出的行平均 值中，减去从n个半帧前的半帧行平均值存储单元103中输出的n个半帧前 的半帧行平均值，并且将减法结果输入到第二除法值计算单元107中。第二除 法值计算单元107将从差值计算单元105中输出的差值除以从行平均值计算 单元100中输出的平均值，并因而计算从其中移除了对象的明暗的闪烁信号。

将参考附图描述上述操作。

图2示出在由常见的AC电源(fp＝50Hz)供电的荧光灯照明的情况下， 通过使用NTSC系统的成像装置拍摄的图像的示例，其中NTSC系统的垂直 扫描频率(半帧频率)是59.95Hz，而水平扫描频率是15.75kHz。

图3示出图2中的图像的行平均值的曲线图。如图2中所示，行平均值 成为如同由对象的明暗调制的闪烁成分信号的信号。

在n帧中的y-行平均值Ys(Y，n)由来自成像元件的电源频率和驱动频 率之间的关系的下列表达式表达。

[表达式1]

$\mathrm{Ys}(y,n)=\mathrm{Is}\left(y\right)\{1+A·\sin [2\pi 2f_p(\frac{y}{f_h}+\frac{n}{f_v})\left]\right\}$

此处，Is(y)表示y-行的DC成分(对应于对象的明暗)，A表示闪烁的 幅度，f_h表示水平扫描频率，f_v表示垂直扫描频率，并且f_p表示电源频率。

从这个表达式中，可以看出对于y行，水平条纹以f_h/(2×f_p)的行周期出 现，并且对于n帧，每一个半帧相位偏移(2π×2×f_p)/f_v。

即，当f_p＝50Hz时，水平条纹以f_h/(2×f_p)＝15.75kHz/100＝157.5Hz 的行周期出现，并且每一个半帧相位偏移(2π×2×f_p)f_v＝2π×100/59.94Hz≈ 2π×(1+2/3)。这样，从三角函数的特性看出，每三个半帧计算f_p＝50Hz时 的闪烁。

同样地，由于当f_p＝60Hz时，水平条纹以f_h/(2×f_p)＝15.75kHz/120＝ 131.25Hz的行周期出现，并且每一个半帧相位偏移(2π×2×f_p)/f_v＝ 2π×120/59.94Hz≈2π×(2+1/500)。这样，从三角函数的特性看出，每500 个半帧循环一次f_p＝60Hz时的闪烁。

图4示出f_p＝50Hz时的本半帧的行平均值的曲线图、一个半帧前的半 帧的行平均值的曲线图、两个半帧前的半帧的行平均值的曲线图、和平均值 的曲线图，其中的每一个通过对于每一个相同的行取这三个半帧的行平均值 的平均值而获得。如上所述，由于每三个半帧循环一次行平均值，所以可以 通过对每一个相同的行计算三个半帧的行平均值的平均值，而提取从其中移 除闪烁的影响的对象的明暗。

图5示出通过将本半帧的行平均值除以如上获得的三个半帧的行平均值 而获得的结果。如图5中所示，可以提取从其中移除了对象的明暗的闪烁信 号。

图6示出f_p＝60Hz时的本半帧的行平均值的曲线图、n个半帧前的半 帧的行平均值的曲线图、和这两个半帧的行平均值之间的差值的曲线图。

图7示出通过将如上获得的两个半帧的差值除以本半帧的行平均值而获 得的结果。如图7中所示，可以提取从其中移除了对象的明暗的闪烁信号。

将使用表达式描述从其中移除了对象的明暗的闪烁信号的提取。

通过下列表达式表达n1帧中的行平均值和n2帧中的行平均值。

[表达式2]

$\left(\begin{array}{c}\mathrm{Ys}(y,n_1)=\mathrm{Is}\left(y\right)\{1+A·\sin [2\pi 2f_p(\frac{y}{f_h}+\frac{n_1}{f_v})\left]\right\}\\ \mathrm{Ys}(y,n_2)=\mathrm{Is}\left(y\right)\{1+A·\sin [2\pi {2f}_p(\frac{y}{f_h}+\frac{n_2}{f_v})\left]\right\}\end{array}\right)$

如上表达式化简为下列表达式[1]和[2]，并从表达式[1]和[2]中获得下列 ([2]-[1])/[2]。

[表达式3]

$\left(\begin{array}{cccc}\mathrm{Ys}(y,n_1)=\mathrm{Is}\left(y\right)+\mathrm{Is}\left(y\right)·A·\sin {\theta }_1& \left[1\right]& \mathrm{where}& {\theta }_1=2\pi 2f_p(\frac{y}{f_h}+\frac{n_1}{f_v})\\ \mathrm{Ys}(y,n_2)=\mathrm{Is}\left(y\right)+\mathrm{Is}\left(y\right)·A·\sin {\theta }_2& \left[2\right]& \mathrm{where}& {\theta }_2=2\pi {2f}_p(\frac{y}{f_h}+\frac{n_2}{f_v})\end{array}\right)$

([2]-[1])/[2]

$\frac{\mathrm{Ys}(y,n_2)-\mathrm{Ys}(y,n_1)}{\mathrm{Ys}(y,n_2)}=\frac{\mathrm{Is}\left(y\right)·A·\sin {\theta }_2-\mathrm{Is}\left(y\right)·A·\sin {\theta }_1}{\mathrm{Is}\left(y\right)+\mathrm{Is}\left(y\right)·A·\sin {\theta }_2}$

$=\frac{A·\sin {\theta }_2-A·\sin {\theta }_1}{1+A·\sin {\theta }_2}$

$=\frac{A(\sin {\theta }_2-\sin {\theta }_1)}{1+A·\sin {\theta }_2}$

在由常见的荧光灯导致的闪烁中，由于A＜＜1，上述表达式：([2]-[1]) /[2]可以近似为下列表达式，并因而可以提取从其中移除了对象的明暗的影 响的闪烁信号。

[表达式4]

≈A(sinθ₂-sinθ₁)

为了避免50Hz闪烁的影响，n通常设置为诸如9、12、15和18这样的 值，其为3的倍数并且能够保证半帧之间一定量的行平均值差值。因而，可 以提取至少约10帧的60Hz闪烁信号。

从第一除法值计算单元106输出的闪烁信号输入到50Hz闪烁成分提取 单元108中。50Hz闪烁成分提取单元108将输入的闪烁信号进行频率转换， 从而仅提取50Hz闪烁成分的频率区域。由50Hz闪烁成分提取单元108提 取的闪烁成分输入到闪烁判定单元112中。

此外，从第二除法值计算单元107中输出的闪烁信号输入到60Hz闪烁 成分提取单元109中。60Hz闪烁成分提取单元109将输入的闪烁信号进行 频率转换，从而仅提取60Hz闪烁成分的频率区域。由60Hz闪烁成分提取 单元109提取的闪烁成分输入到闪烁判定单元112中。

移动检测单元110将从行平均值计算单元100中输出的行平均值、和一 个半帧前的半帧行平均值存储单元101中输出的平均值之间的差值与阈值进 行比较，使得对象的移动存在或不存在被输入到闪烁判定单元112中。

在移动检测单元110的检测结果、以及50Hz闪烁成分提取单元108和 60Hz闪烁成分提取单元109的结果的基础上，闪烁判定单元112根据移动 的存在或不存在而调整闪烁成分，并且判定闪烁是否存在、以及是闪烁频率 是50Hz还是60Hz。因而，基于判定结果的闪烁成分输入到闪烁校正增益生 成单元113中。

在闪烁判定单元112的结果的基础上，闪烁校正增益生成单元113通过 三角函数的叠加，生成同步于闪烁频率的正弦波，并将生成的正弦波输入到 闪烁校正乘法单元。

闪烁校正乘法单元114将由延迟单元115延迟和调整的图像信号乘以闪 烁校正增益。受到闪烁校正的信号从闪烁校正乘法单元114中输出。

如上所述，用根据本实施例的闪烁校正装置，可以提供装置、方法和程 序，甚至当半帧周期的相位略微偏离于闪烁周期的相位时，其中的每一个也 可以高速地检测闪烁频率并执行调整。

[工业实用性]

如上所述，甚至当半帧周期的相位略微偏离于闪烁周期的相位时，根据 本发明的用于闪烁校正的装置、方法和程序也可以高速地检测闪烁频率并执 行调整。因此，根据本发明的用于闪烁校正的装置、方法和程序在其中拍摄 位置不固定、并且其中需要用于不同频率的闪烁校正的诸如电影摄像机、车 载摄像机、和便携式摄像机的摄像系统的领域中是有用的。