对CCD图像传感器输出的图像信号执行数字处理的方法

摘要

本发明提供了用于对从具有CMYG滤色片阵列的CCD图像传感器所输出的图像信号执行数字处理的方法，该方法包括：通过使用颜色插值，将每10比特的数字CMYG信号转换为每10比特的第一YCbCr信号；通过使用插值，将每10比特的第一YCbCr信号转换为每8比特的RGB信号；对每8比特的RGB信号执行色彩校正并且将每8比特的经色彩校正的RGB信号按照遵从ITU-601格式的格式转换为每8比特的第二YCbCr信号；对每8比特的第二YCbCr信号进行编码并且将每8比特的经编码的第二YCbr信号转换为模拟视频信号，并且使用每8比特的RGB信号和每8比特的第二YCbCr信号调节自动曝光和自动白平衡。

说明书

技术领域

本发明涉及用于对CCD图像传感器输出的图像信号执行数字处理的方法。

背景技术

通常，数码相机或者便携式摄像机使用CCD(电荷耦合装置)图像传感器或者CMOS成像装置来代替胶卷。CCD图像传感器包括光敏元件和设置在光敏元件上的滤色片阵列。光敏元件仅检测捕捉图像的亮度。因此，不得不将滤色片阵列设置在光敏元件上以获得亮度和色彩值来表征捕捉图像。

主要存在两种滤色片。一种为包括RGB滤色片的原色滤色片，另一种为包括CMYG滤色片的补色滤色片。

CMYG滤色片阵列比RGB滤色片阵列更准确地检测捕捉图像的色彩。因此，CMYG滤色片阵列广泛用于便携式摄像机。

用于CCTV(闭路电视)的图像处理设备的DSP(数字信号处理器)板对通过CCD相机所捕捉的图像执行数字图像处理，包括：颜色插值、γ校正、自动曝光和自动白平衡。在进行图像处理以后，在屏幕上再现捕捉的图像。

图像处理设备中的CCD相机包括CCD图像传感器，其具有可用于NTSC/PAL(全国电视系统委员会制式/逐行倒相制式)系统的CMYG色彩阵列(CMYG color array)。通过A/D转换器将从CCD图像传感器输出的模拟图像信号转换为数字图像信号。

如图2所示，将从CMYG滤色片阵列所获得的Cy、Ye、Mg、以及G值存储在捕捉图像的像素中。以传输捕捉图像中的奇数行像素、随后是捕捉图像中的偶数行像素的隔行扫描方法来输出值Cy、Ye、Mg、以及G作为信号。

图3中示出了DSP板的模块，其对捕捉图像执行数字图像处理。

A/D转换器将从具有CMYG滤色片阵列的CCD图像传感器所输出的模拟图像信号转换为10比特的信号(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)。如图3所示，将10比特的信号(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)输入缺陷信号校正单元1。缺陷信号校正单元1校正有缺陷的信号(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)。此后，亮度处理单元2和色彩处理单元3分别从信号(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)中提取亮度Y信号及Cb和Cr信号。此后，γ校正单元4和γ校正单元5对从亮度处理单元2和色彩处理单元3输出的亮度Y信号及Cb和Cr信号执行γ校正处理。此后，编码单元6以NTSC/PAL格式对亮度Y信号及Cb和Cr信号进行编码。最后，DAC将经编码的信号转换为模拟信号。

定时信号生成单元8根据亮度Y信号的幅值来生成调节电动快门的定时的驱动信号。将该驱动信号发送至CCD图像传感器。接口单元9具有用于外部连接的内部集成电路。

AE/AWB调节单元7使用Cb和Cr信号来调节针对亮度的自动曝光(AE)和针对色彩的自动白平衡(AWB)。

通过改变Cb和Cr值来调节自动白平衡。在传统方法中，当Cb和Cr信号中的每个均为8比特时，不得不将Cb和Cr值设置为128。即，自动白平衡是通过当Cb和Cr值小于128时增大其值、而当Cb和Cr值大于128时减小其值来适当调节的。

通过改变亮度Y值来调节自动曝光。即，通过使亮度Y值更接近目标值来调节自动曝光。

发明内容

在传统方法中，使用Cb和Cr值来调节自动曝光和自动白平衡。因此，当亮度Y值太高或者太低时，或者当R、G、以及B值之间的差值太大时，不能适当调节自动曝光和自动白平衡。这导致彩色图像噪声和低分辨率。

因此，本发明的一个目的是对从YCbCr信号转换的RGB信号执行数字图像处理。

本发明的另一目的是使用RGB信号和YCbCr信号这两者来调节自动曝光和自动白平衡。

本发明的另一目的是为了通用而将RGB信号转换回ITU-601格式的YCbCr信号。

根据本发明的一个方面，提供了用于对从具有CMYG滤色片阵列的CCD图像传感器输出的图像信号执行数字处理的方法，该方法包括：通过使用颜色插值将10比特的数字CMYG信号转换为10比特的第一YCbCr信号；通过使用插值将10比特的第一YCbCr信号转换为8比特的RGB信号；对8比特的RGB信号执行色彩校正并且将8比特经色彩校正的RGB信号按照遵从格式ITU-601的格式转换为8比特的第二YCbCr信号；对8比特的第二YCbCr信号进行编码并且将8比特经编码的第二YCbCr信号转换为模拟视频信号；并且使用8比特的RGB信号和8比特的第二YCbCr信号调节自动曝光和自动白平衡。

自动白平衡的调节可以包括：接收8比特的RGB信号和8比特的第二YCbCr信号；当Y值处于目标范围时选择相应的RGB信号；当Cb和Cr值之间的差值处于目标范围内时选择相应的RGB信号；以及使R、G、以及B值分别收敛于通过对所选择的RGB信号的R、G、以及B值求平均所计算出来的平均R、G、以及B值。

调节自动白平衡可以通过当R、G、以及B值小于所选择的RGB信号的平均R、G、以及B值时，可以分别增大R、G、以及B值；当R、G、以及B值大于所选择的RGB信号的平均R、G、以及B值时，通过分别减小R、G、以及B值。

自动曝光的调节可以包括：接收8比特的RGB信号和8比特的第二YCbCr信号；当RGB值处于目标范围内时选择相应的Y信号并且将所选择的Y信号的Y值调节至目标值。

调节自动曝光可以通过当Y值小于目标值时增大Y值；当Y值大于目标值时减小Y值。

根据本发明，使用插值对从10比特的第一YCbCr信号转换的8比特的RGB信号执行数字图像处理。这使得在彩色图像质量上得到改善。

此外，使用8比特的RGB信号以及从8比特的RGB信号所转换的YCbCr信号这两者可以改善数字图像处理的效率并且能够容易地调节自动曝光和自动白平衡。

为了通用的目的，可以将RGB信号转换回ITU-601格式的YCbCr信号。

附图说明

图1为传统的图像处理设备的框图；

图2为辅助说明使用颜色插值对从具有CMYG色彩阵列的CCD图像传感器所输出的图像信号执行数字处理的传统方法的色彩编码示图；

图3为根据传统方法执行数字处理的DSP板的模块的框图；

图4为根据本发明执行数字处理的DSP板的模块的框图；

图5为示出将RGB信号转换为ITU-601格式的YCbCr信号的示图；

图6为示出调节自动白平衡的步骤的流程图；以及

图7为示出调节自动曝光的步骤的流程图。

具体实施方式

现在，将给出本发明的优选实施例的详细描述，在附图中示出了实例。

在用于CCTV(闭路电视)的图像处理设备中的DSP(数字信号处理器)板对通过CCD相机所捕捉的图像执行数学图像处理，包括：颜色插值、γ校正、自动曝光和自动白平衡。在进行图像处理以后，在屏幕上再现所捕捉的图像。

图像处理设备中的CCD相机包括：CCD图像传感器，具有可用于NTSC/PAL(全国电视系统委员会制式/逐行倒相制式)系统的CMYG色彩阵列。通过A/D转换器将从CCD图像传感器所输出的模拟图像信号转换为数字图像信号。将从CMYG滤色片阵列所获得的Cy、Ye、Mg、以及G值存储在捕捉图像的像素中。按照传输捕捉图像中的奇数行像素、随后是捕捉图像中的偶数行像素的隔行扫描方式来输出Cy、Ye、Mg、以及G值作为信号。

图4为根据本发明执行数字处理的DSP板的模块的框图。

参照图4，DSP板对10比特的CMYG信号(由A/D转换器将从CCD图像传感器输出的模拟图像信号转换而来)执行包括γ校正、自动曝光、以及自动白平衡的操作。定时信号生成单元18生成525HL/625HL的垂直同步信号、驱动CCD图像传感器的信号、用于A/D转换器的输入信号、以及用于DSP的垂直信号和水平信号。

A/D转换器将从用于CCTV的CCD图像传感器中按照隔行扫描方式输出的模拟图像信号转换为(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信号。将(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信号输入自动校正单元11。自动校正单元11对于捕捉图像中的缺陷像素来校正有缺陷的(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信号。

此后，将(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信号输入颜色插值单元12。颜色插值单元12通过应用颜色插值将(Mg+Cy)、(Ye+G)、(Mg+Cy)、以及(Ye+G)信号转换为10比特的YCbCr信号。这时，颜色插值单元12将数据临时存储在存储器中以便于稍后使用。Y值为((Mg+Ye)+(G+Cy))，Cb值为((Mg+Cy)-(G+Ye))，Cr值为((Mg+Ye)-(G+Cy))。存储器对于提高颜色插值的效率是必要的。通过采用有关邻近像素的数据来获得(Mg+Ye)和(G+Cy)值。

第一信号转换单元13将10比特的YCbCr信号转换为8比特的RGB信号。通过应用包括线性插值的各种插值来转换该信号。

将8比特的RGB信号同时输入到色彩校正单元14和AE/AWB调节单元17。每个滤色片的频率未反映出人对色彩的敏感性。因此，色彩校正单元14对8比特的RGB信号执行色彩校正以更好地表现彩色图像。因为RGB色彩值可能包括其他色彩，所以通过使用色彩矩阵来校正色彩。

第二信号转换单元15将经色彩校正的RGB信号转换为IUT-601格式的YCbCr信号。γ校正单元16对YCbCr信号执行γ校正。

在图5中，示出了第二信号转换单元15，其将经色彩校正的RGB信号转换为ITU-601格式的YCbCr信号。

如图5所示，在8比特的RGB信号的情况下，在模式0和模式1中，将Y值定义为具有16～235的范围并且将Cb和Cr值定义为具有16～240的范围。定义其范围以将经色彩校正的RGB信号转换为ITU-601格式的YCbCr信号。

γ校正单元16对YCbCr信号执行γ校正。亮度处理单元20对经γ校正的YCbCr信号执行亮度重新计算(roll-back)操作，即减小明亮区域的增益而保持黑暗区域的增益。数字效果单元21执行图像增强并且将OSD(屏幕上显示)元素添加至图像上，以显示诸如声音、频道、以及时间的信息。编码单元22以NTSC/PAL格式对YCbCr信号进行编码。DAC将经编码的YCbCr信号转换为模拟视频信号。

定时信号生成单元18将驱动信号发送至CCD图像传感器，并且生成用于驱动A/D和用于调节A/D的Op Amp增益的信号。接口单元19具有用于外部连接的内部集成电路。

AE/AWB调节单元17同时接收来自第一信号转换单元13的8比特的RGB信号和来自第二信号转换单元15的ITU格式的8比特的YCbCr信号。将8比特的RGB信号和8比特的YCbCr信号用于自动曝光和自动白平衡。

参照图6和图7，现在将描述自动曝光和自动白平衡的调节。

CCD图像传感器并不等同于人眼中的传感器。例如，实际上，人类总是感知白色物体的颜色为白色。然而，CCD图像传感器感知的白色物体的颜色会随着光源的频率而改变。实际上，白平衡调节单元通过调节R/G/B的增益使CCD图像传感器能够感知白色物体的颜色为白色。

AE/AWB调节单元17基于ITU-601格式的YCbCr信号的Y、Cb、以及Cr值来选择RGB信号，以调节自动曝光和自动白平衡。

参照图6，现在描述AE/AWB调节单元17执行的自动白平衡的调节。设置Y值的目标范围及Cb与Cr值之间的差值的目标范围(S11和S12)。分别从第一信号转换单元1和第二信号转换单元13接收8比特的RGB信号和ITU-601格式的8比特的第二YGbCr信号(S13)。

确定Y值是否处于目标范围内(S14)。当Y值不处于目标范围内时，则不选择相应的RGB信号(S16)。即，当Y值过高或者过低(例如：Y＝255，或者Y＝0)时，不选择相应的RGB信号。

确定Cb与Cr值之间的差值是否处于目标范围内(S15)。当Cb与Cr值之间的差值不处于目标范围内时，则不选择相应的RGB信号(S16)。即，当Cb与Cr值之间的差值过高或者过低时，不选择相应的RGB信号。

当Cb与Cr值之间的差值处于目标范围内时，选择相应的RGB信号(S17)。分别对经选择的RGB信号的R、G、以及B值求平均以获得平均的R、G、以及B值(S18)。分别将R、G、以及B值增大或者减小至平均R、G、以及B值(S19)。

自动曝光根据环境光水平通过调节曝光时间和增益来实现光线的最佳动态范围。

AE/AWB调节器17基于ITU-601格式的YCbCr信号和RGB信号这两者来接收Y信号以调节自动曝光。

参照图7，描述了AE/AWB调节单元17执行的自动曝光调节。设置Y的目标值和RGB值的目标范围(S21和S22)。分别从第一信号转换单元13和第二信号转换单元15接收RGB信号和ITU-601格式的YCbCr信号(S23)。

分别确定R、G、以及B值之间的差值是否处于目标范围内(S24)。当R、G、以及B值之间的差值不处于目标范围内时，则不选择相应的Y信号(S25)。即，当R、G、以及B值之间的差值过高或者过低时(例如，当R为255，G为0，以及B为0时)，不选择相应的RGB信号。

当R、G、以及B值之间的差值处于目标范围内时，则选择相应的Y值(S26)。当Y信号的Y值小于或者大于目标Y值时，将Y信号的Y值分别增大或者减小至目标Y值(27)。

对于本领域的技术人员而言显而易见的是，在不背离本发明的精神和范围内，可以在本发明中进行各种修改和改进。因此，如果该发明的修改和改进在所附权利要求和其等同物的范围内，则本发明旨在覆盖该发明的修改和改进。