黑阶调整装置及黑阶调整方法

摘要

本发明提供一种黑阶调整方法，用于具有像素阵列的互补金属氧化物半导体(CMOS)影像传感器，所述像素阵列包括多个暗行及多个活动行。所述黑阶调整方法包括下列步骤：计算来自所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数部分；依据所述整数部分计算黑阶控制偏移值；依据所述小数部分产生混色遮罩；将所述混色遮罩应用至所述多个活动行的多个像素；以及将所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述多个像素以产生多个结果像素。

说明书

技术领域

本发明涉及黑阶控制(black level control)，特别是涉及在CMOS影像传 感器中的一种黑阶控制装置及方法，其可通过混色(dithering)来进行黑阶控 制处理。

背景技术

图1显示传统的CMOS影像传感器像素阵列(CMOS image sensor pixel  array)。CMOS影像传感器像素阵列100可包括暗行(dark row)110及活动行 (active row)120，如图1所示。在CMOS影像传感器像素阵列100中的像素 (例如：R/B/Gr/Gb)会以贝尔图样(Bayer Pattern)的方式进行排列。暗行 110会被完全遮蔽而不会接收到任何光线，而活动行120会用以接收光线或 其入射影像。暗行110主要在CMOS影像传感器中的模拟前端中用以调整 像素值以输出适合的黑阶。所谓的黑阶控制/取消(BLC)处理可利用暗行的输 出像素值以降低由CMOS影像传感器及不完美的模拟电路设计的噪声所导 致的偏差及偏移。

一般而言，在CMOS影像传感器中照下一张影像可包括下列步骤：重 设并读取(曝光处理)暗行中的像素；输出暗行的像素以进行黑阶控制处理； 校正模拟电路并调整偏移值至合适的输出黑阶值以进行黑阶控制处理；在 暗行的末端固定黑阶控制处理的设定；重设并读取活动行的像素；依据所 固定在暗行中的设定以对活动行的像素值进行黑阶控制处理。

除此之外，一般用于补偿偏差值的方法是先计算暗行的平均像素值， 并接着将活动行的平均像素值减去暗行的平均像素值。在黑阶控制处理中 在数字电路中的平均像素值的计算，因为有限精确度的缘故，无法避免会 有数值错误。在彩色传感器中，在颜色通道中所无法避免的数值错误会导 致显著的色彩颜色偏移，特别是当影像信号处理器采用高通道增益在不同 的色彩通道的像素上。先前技术会使用低成本的除法器以计算暗行的平均 值。然而，无法避免的数值错误是无法被忽视的，且会导致色彩/亮度的闪 动，特别是当后端的影像信号处理器使用大通道增益以进行影像处理。

发明内容

本发明提供一种黑阶调整方法，用于具有像素阵列的互补金属氧化物 半导体(CMOS)影像传感器，像素阵列包括多个暗行及多个活动行。所述黑 阶调整方法包括下列步骤：计算来自所述多个暗行的多个像素的平均值， 其中所述平均值包括整数部分及小数部分；依据所述整数部分计算黑阶控 制偏移值；依据所述小数部分产生混色遮罩；将所述混色遮罩应用至所述 多个活动行的多个像素；以及将所计算的所述黑阶控制偏移值加至来自所 述多个活动行中已混色后的所述等像素以产生多个结果像素。

本发明还提供一种黑阶调整装置，用于具有像素阵列的互补金属氧化 物半导体(CMOS)影像传感器，所述像素阵列包括多个暗行及多个活动行， 所述黑阶调整装置包括：运算单元，耦接至所述多个暗行，用以计算来自 所述多个暗行的多个像素的平均值，其中所述平均值包括整数部分及小数 部分，且所述运算单元还依据所述整数部分计算黑阶控制偏移值；遮罩产 生单元，耦接至所述运算单元，用以依据所述小数部分产生混色遮罩；混 色处理单元，耦接至所述遮罩产生单元及所述多个活动行，用以应用所述 混色遮罩至来自所述多个活动行的多个像素；以及偏移计算单元，用以将 所计算的所述黑阶控制偏移值加至来自所述多个活动行中已混色后的所述 多个像素以产生多个结果像素。

附图说明

图1显示传统的CMOS影像传感器像素阵列。

图2显示依据本发明实施例中在CMOS传感器中的黑阶调整装置的方块 图。

图3显示依据本发明实施例的运算单元210的方块图。

图4A-图4E显示依据本发明实施例中用于遮罩产生单元220的阀值图及 混色遮罩的示意图。

图5显示依据本发明实施例中应用混色遮罩至来自活动行的像素的示 意图。

图6A-图6C显示用于传统黑阶控制处理的四舍五入法(rounding)的模拟 图。

图7A-图7C显示依据本发明实施例中用于黑阶调整装置中的混色处理 的模拟图。

图8显示依据本发明实施例中用于具有像素阵列的CMOS传感器中的 黑阶调整方法的流程图。

【符号说明】

100～CMOS影像传感器像素阵列；

110～暗行；

120～活动行；

10～CMOS影像传感器；

20～像素阵列；

200～黑阶调整装置；

210～运算单元；

211～累加器；

212～除法器；

213～减法单元；

220～遮罩产生单元；

230～混色处理单元；

240～偏移计算单元；

250～暗行；

260～活动行；

BLC_target～预定黑阶值；

BLC_offset～黑阶控制偏移值；

Pd、Pa～像素；

Pa_blc～结果像素；

fraction～小数部分；

dithering mask～混色遮罩；

dithered pixels～混色后的像素；

M～阀值图；

Mdtr～中间混色遮罩；

D～混色遮罩；

i、j～坐标；

DN～数位数值；

Blk₀₀、Blk₀₁、Blk₁₀、Blk₁₁～方块。

具体实施方式

为使本发明上述目的、特征和优点能更明显易懂，下文特举优选实施 例，并配合附图，作详细说明如下。

图2显示依据本发明实施例中在CMOS传感器中的黑阶调整装置的方 块图。CMOS传感器10包括黑阶调整装置200及像素阵列20，像素阵列 20包括暗行250及活动行260。在实施例中，黑阶调整装置200可包括运 算单元210、遮罩产生单元220、混色处理单元(dithering process unit)230、 以及偏移计算单元240。如图2所示，Pd及Pa分别表示来自暗行250及活 动行260中所取得的像素，而BLC_target表示在黑阶控制处理中的预定黑 阶值。运算单元210耦接至像素阵列20的暗行250以计算暗行250的像素 的平均值，其中平均值以整数及小数的形式表示。在实用上，不想要有超 出特定范围(例如10～250)的输出黑阶值，因此会设定使用者定义黑阶值 (注：BLC_target)。运算单元210还可将预定黑阶值BLC_target(注：使用者 定义的黑阶值)减去整数值以计算黑阶控制偏移值BLC_offset。除此之外， 使用者定义的输出黑阶值是选择性的，且可通过将BLC_target的数值设定 为0以将其忽略。遮罩产生单元220耦接至运算单元210，其用以依据所述 小数值以产生混色遮罩(dithering mask)。混色处理单元230耦接至遮罩产生 单元220及像素阵列20的活动行260，其用以接收来自遮罩产生单元220 的混色遮罩，并将混色遮罩用于来自活动行260的像素。偏移计算单元240 用以将所计算的黑阶控制偏移值加至混色后的像素以产生结果像素 Pa_blc(注：调整过后的活动行的像素用于后续处理)。

图3显示依据本发明实施例的运算单元210的方块图。请同时参考图2 及图3，在实施例中，运算单元210包括累加器211、除法器212及减法单 元213。如图3所示，累加器211用以接收来自暗行的像素Pd并计算所有 像素Pd的加总值(注：累加值)。除法器212将加总值除以所接收的像素Pd 的总数量以计算平均值，其中平均值包括整数部分及小数部分。除法器212 输出小数部分至遮罩产生单元220以产生混色遮罩。减法单元213用以将 预定黑阶值减去整数部分以计算黑阶控制偏移值BLC_offset(注：可为正数 或负数)。需注意的是所计算的BLC偏移值作为参考黑阶，且可利用参考黑 阶以调整来自活动行的像素值，可在当使用通道增益至不同的色彩通道(注： 在贝尔图样中的B,Gb,R及Gr等等)时，用以维持颜色的一致性。

图4A-图4E显示依据本发明实施例中用于遮罩产生单元220的阀值图 及混色遮罩的示意图。在实施例中，遮罩产生单元220可接收由运算单元 210所产生的小数部分，并依据小数部分及阀值图M以产生中间混色遮罩 (intermediate dithering mask)，其中阀值图M如图4A所示。举例来说，给 定小数部分A为7(注：二进制的0111)，当在阀值图M中的元素小于小数 部分，则遮罩产生单元220会设定在中间混色遮罩Mdtr中的相关元素为16。 否则，遮罩产生单元220会设定在中间混色遮罩Mdtr中的相关元素为0。 在阀值图M中小于小数部分的元素会被标示，如图4B所示，且相关的中 间混色遮罩Mdtr如图4C所示。遮罩产生单元220还可将中间混色遮罩Mdtr 除以16以产生混色遮罩D。换言之，遮罩产生单元220会归一化(normalize) 中间混色遮罩以产生混色遮罩D，如图4D所示。另一方面来说，中间混色 遮罩是可以忽略的。换言之，遮罩产生单元220可比较来自暗行250的像 素与在阀值图M中的各个相关像素。若像素小于相关元素，遮罩产生单元 220会直接设定在混色遮罩D中的相关元素为1。否则，遮罩产生单元220 会直接设定在混色遮罩D中的相关元素为0。需注意的是在阀值图M中的 元素的顺序并不限定于本发明的形式。举例来说，每4个连续数字(例如0-3、 4-7、8-11及12-15)可对称地排列在阀值图中的不同矩阵，如图4E所示。

图5显示依据本发明实施例中应用混色遮罩至来自活动行的像素的示 意图，其中i及j分别表示B像素的水平及垂直坐标。因此，混色处理单元 230可接收来自遮罩产生单元220的混色遮罩，并应用(apply)混色遮罩至活 动行260的像素。更进一步而言，使用混色遮罩表示混色处理单元230将 活动行260的像素减去在混色遮罩中的相关数值(元素)。如图5所示，混色 处理单元230可将在方块Blk00、Blk01、Blk10及Blk11中的B像素减去 在混色遮罩中的相关数值。接着，在处理图像中的所有方块后可得到调整 后的图像。需注意的是混色处理单元230可进行类似的混色处理(注：使用 混色遮罩)至来自其它色彩通道(例如：R/Gb/Gr)的像素。

图6A-图6C显示用于传统黑阶控制处理的四舍五入法(rounding)的模拟 图。图7A-图7C显示依据本发明实施例中用于黑阶调整装置中的混色处理 的模拟图。撷取在各色彩通道中的暗行的像素。图6A及图7A显示在各色 彩通道在30张影像中的的黑阶值。图6B及图7B显示在各色彩通道在30 张影像中的黑阶值的变异数(variance)。图6C及图7C显示在B及R色彩通 道的差值及其变异数。在先前技术中，在运算单元210中用于黑阶控制处 理的除法器213设计为定点运算(fixed-point operation)，并可在除法器所得 到的平均值中的小数部分使用四舍五入法(或舍去法)。因此，在黑阶控制处 理(注：取消偏移值)后的数值错误可达到1DN，如图6B所示，其中DN表 示「数字数值」(注：基础单位)。

举例来说，当各像素的精度为8位时，数字数值(注：DN)可为256。因 为各色彩通道(例如：R/B/Gr/Gb)的黑阶控制处理是独立进行的，各个色彩 通道均会有数值错误。因此，在两个色彩通道(例如：R及B通道)之间的差 值可达到2DN(±1DN)，如图6C所示，这些差值会导致明显的色彩颜色偏 移，或是色彩/亮度闪动。在本发明中，可使用所揭示的混色处理，将各色 彩通道中的数值错误(注：其变异数)降低至大约0.4DN，如图7C所示，且 因此在各两个色彩通道之间的差值可降低至0.8DN。

图8显示依据本发明实施例中用于具有像素阵列的CMOS传感器中的 黑阶调整方法的流程图。请同时参考图2及图8，像素阵列20包括暗行250 及活动行260。在步骤S810，运算单元210可计算来自暗行250的多个像 素的平均值，其中平均值包括整数部分及小数部分。在步骤S820，运算单 元210还可依据整数部分以计算黑阶控制偏移值(注：BLC_offset)。更进一 步而言，运算单元210可将预定黑阶值BLC_target减去整数部分以产生黑 阶控制偏移值。在步骤S830，遮罩产生单元220依据小数部分产生混色遮 罩。在步骤S840，混色处理单元230可使用混色遮罩(注：执行混色处理) 至来自活动行260的多个像素。在步骤S850，偏移计算单元240将所计算 的黑阶控制偏移值加至混色后的像素以产生多个结果像素Pa_blc(注：调整 后的活动行的像素)

本发明虽以优选实施例公开如上，然其并非用以限定本发明的范围， 任何本领域普通技术人员，在不脱离本发明的精神和范围内，当可做些许 的修改与变型，因此本发明的保护范围当视权利要求的范围为准。