首页> 中国专利> 信号修正方法及其电路及图像信号修正方法及其电路

信号修正方法及其电路及图像信号修正方法及其电路

摘要

提供一种信号修正方法及其电路。在此信号修正方法中,使用多个可调整默认值钳位多个输入信号的值,据以产生多个对应的钳位信号。接着,依据至少二个或多个预设修正矩阵系数相乘所得的矩阵系数,对上述产生的钳位信号进行矩阵的乘法运算,据以输出运算结果。然后,依据多个对应的预设临界值钳位上述的运算结果,据以产生修正后的信号。

著录项

  • 公开/公告号CN101330564A

    专利类型发明专利

  • 公开/公告日2008-12-24

    原文格式PDF

  • 申请/专利权人 联詠科技股份有限公司;

    申请/专利号CN200710112212.9

  • 发明设计人 江铭峰;

    申请日2007-06-21

  • 分类号H04N1/60;H04N9/64;

  • 代理机构北京市柳沈律师事务所;

  • 代理人葛宝成

  • 地址 中国台湾新竹科学工业园区

  • 入库时间 2023-12-17 21:10:54

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2016-08-10

    未缴年费专利权终止 IPC(主分类):H04N1/60 授权公告日:20100609 终止日期:20150621 申请日:20070621

    专利权的终止

  • 2010-06-09

    授权

    授权

  • 2009-02-18

    实质审查的生效

    实质审查的生效

  • 2008-12-24

    公开

    公开

说明书

技术领域

本发明涉及一种用以修正信号的乘法器运算方法及其电路,且特别是涉及一种合并乘法器运算方法及其电路,可正确输出修正后的信号,以及运用该信号修正方法的图像信号修正方法及其电路。

背景技术

在数字图像信号的处理上,依照算法实做成的图像处理集成电路(Integrated Circuits,IC)中,常会利用乘法器(Multiplier)来进行信号的乘法运算。举例来说,一般在数字相机(Digital Camera)内的图像处理集成电路中,数字图像信号都会经过几个图像信号的处理流程,如图1所示。

请参照图1,主要是说明图像处理集成电路内部的处理流程示意图。当数字相机中,属于传感器模拟前端(Sensor Analog Front End)的模拟/数字转换器将图像传感器所输出的感测信号由模拟转为数字的红色绿色与蓝色(R、G、B)三原色信号后,接着便由图像处理集成电路进行图像的处理。例如图1所示的白平衡增益(White Balance Gain)修正程序102、传感器光电特性校正(Inverse Optical Electronic Conversion Function)程序104、滤色阵列内插(Color Filter Array Interpolation)106、色彩校正(ColorCorrection)108、色域转换(Color Space Transform)110以及伽马校正(GammaCorrection)112,最后得到需要的图像信号Im,其中,色域转换110就是将R、G、B三原色信号转换为一个亮度信号Y以及二个彩度信号Cb、Cr。

一般而言,根据不同的算法,上述处理流程的前后顺序关系会有所不同,项目也可能有所增减。然而,在上述处理程序中,例如白平衡增益修正102、色彩校正108、或是色域转换110等等,这些处理程序都需要乘法器进行乘法运算。但由于各家厂商为了节省图像处理集成电路的成本,会将前后级的乘法器做合并,例如将白平衡增益修正102与色彩校正108处理程序所使用到的乘法器进行合并,如图2所示,或将色彩校正108与色域转换110处理程序所使用到的乘法器进行合并,如图3所示,甚至是将白平衡增益修正102、色彩校正108以及色域转换110三者所使用到的乘法器都进行合并,如图4所示。图2、图3、图4皆为处理程序的乘法器合并示意图。

然而,若只有单纯地将前后级所使用到的乘法器进行合并而没有配套的做法,会造成许多问题。其中最主要的问题在于,若有超过值域的数值(不合理的数值)输入整个表达式子里,那么最后得到运算的结果产生溢出的情况,也就是出现错误的数值。在实际的现象上,可观察到这些错误的数值,会使得图像的高亮度区出现异常颜色,导致整个图像的品质下降,此情况将在底下详细说明。

请参照图5,是说明一般的乘法电路。一般的乘法电路是乘法器502根据输入信号IN与另一信号A二者的值进行乘法运算,并藉由输出钳位电路504限制输出结果OUT的值域。而此输出钳位电路504通常根据输出结果OUT的位数而有着固定的最大钳位值。举例来说,若输出OUT的位数为8位(bits),那么最大钳位值就为255;若输出OUT的位数为10位,则最大钳位值就为1023。然而当乘法器合并之后,若还是采取图5所示的旧乘法电路,而没有做对应的修正,便会产生非预期的数值。

以下以8位的输出位数以及自平衡增益修正与色彩校正二者做实际的例子来说明。若考虑在上述二者的乘法器尚未进行合并的状况下进行白平衡增益修正,就数学表达式而言:

RGBo1=Rgain000Ggain000Bgain×RGBi---(1)

假设(Ri,Gi,Bi)=(230,240,190),而白平衡增益修正矩阵中的R信号增益系数Rgain、G信号增益系数Ggain以及B信号增益系数Bgain分别为1.5、1以及1.25,那么经过白平衡增益修正之后的输出(Ro1,Go1,Bo1)=(345,240,237.5)。然后再经过输出钳位电路进行值域的限制,最后得到(Ro1,Go1,Bo1)=(255,240,237.5)。接着,再利用所得到的数值(255,240,237.5)进行色彩校正:

RGBo2=rrrgrbgrgggbbrbgbb×RGBo1---(2)

考虑如下的色彩校正系数:

rrrgrbgrgggbbrbgbb=1.3-0.2-0.10.11.4-0.5-0.2-0.3-1.5---(3)

于是,可以得到(Ro2,Go2,Bo2)=(259.75,242.75,233.75),然后再经过输出钳位电路进行值域的限制,最后得到正常输出数值(Ro2,Go2,Bo2)=(255,242.75,233.75)。

但若是将白平衡增益修正与色彩校正二者直接合并的话,会得到合并矩阵:

RGBo2=rrrgrbgrgggbbrbgbb×Rgain000Ggain000Bgain×RGBi---(4)

其中

rrrgrbgrgggbbrbgbb×Rgain000Ggain000Bgain=1.95-0.2-0.1250.151.4-0.625-0.3-0.31.875---(5)

而现有直接合并乘法器的硬件实现方式如图6所示,而所使用的图像修正参数则如方程式(5)的矩阵参数所示。请参照图6,为现有的合并乘法器架构,包括多组的乘法器、加法器与输出钳位电路的组合。例如图6中的602表示为乘法器,604表示为加法器,606表示为输出钳位电路。假设输入信号(Ri,Gi,Bi)同样为(230,240,190),经过方程式(5)的矩阵运算后,得到结果为(376.75,251.75,215.25),然后再经过输出钳位电路进行值域的限制,最后得到(Ro2,Go2,Bo2)=(255,251.75,215.25),然此为不正确的值,正确的输出值应为(255,242.75,233.75)。

同样的状况,若假设(Ri,Gi,Bi)为高亮度的(255,255,255),经过方程式(5)的矩阵运算后,得到的结果为(414.375,235.875,325.125),然后再经过输出钳位电路进行值域的限制,最后得到(Ro2,Go2,Bo2)=(255,235.875,255)。然而此数值会使得实际上的图像呈现偏紫色,因此最后得到的(255,235.875,255)为不正确的颜色数值,正确的输出值应为(255,255,255)。

因此,在合并乘法器以降低硬件成本的前题下,如何输出正确的数值,进而确保正确的画面颜色,是此领域的业者所努力的目标。

发明内容

本发明提出一种合并乘法器运算方法及其电路,可在降低硬件成本的前题下,仍可获得正确的运算结果。

本发明提出一种合并乘法器运算方法及其电路,若运用在图像处理的运算中,可正确输出修正后的图像信号。

本发明提出一种合并乘法器运算方法及其电路,可避免图像的高亮度区经过合并运算后产生异常颜色的现象。

本发明的信号修正方法中,适用于合并乘法运算操作,其中,合并的乘法运算操作至少包括多个乘法运算参数,而将上述乘法运算参数预先合并相乘后得到一合并乘法运算参数。此信号修正方法包括进行一预先钳位步骤,用以根据多个可调整默认值钳位多个输入信号的值,据以产生对应的多个钳位信号。根据合并乘法运算参数,分别对上述钳位信号进行一合并乘法运算步骤,据以输出多个运算结果。依据对应的多个预设临界值,对上述运算结果分别进行钳位操作,输出的结果为修正后的输入信号。

本发明提出的信号修正电路,包括输入钳位装置、合并乘法装置与输出钳位装置。此输入钳位装置用以接收多个输入信号,并依据多个对应的可调整默认值,分别钳位上述输入信号的值,据以输出多个钳位信号。而合并乘法装置用以依据一合并乘法运算参数对上述钳位信号进行一合并乘法运算,据以输出多个运算结果,其中,所述合并乘法运算操作至少使用多个乘法运算参数,而将乘法运算参数预先合并相乘后得到合并乘法运算参数。而输出钳位装置用以依据多个预设临界值分别钳位上述运算结果的值,据以输出修正后的输入信号。

上述的信号修正方法与电路,若是运用在图像信号修正方法与电路中,则所述乘法运算参数为一矩阵系数,并包括一色彩校正矩阵系数与一白平衡增益矩阵。此合并乘法运算参数包括色彩校正矩阵系数乘上白平衡增益矩阵系数而得。

当所述图像输入信号包括三原色的R、G、B信号时,此白平衡增益矩阵系数中包括一R信号增益系数、一G信号增益系数以及一B信号增益系数。而所述可调整默认值包括对应于图像输入信号所能表示的最大值,分别除以R信号增益系数、G信号增益系数以及B信号增益系数而得的三个可调整默认值。

上述的图像信号修正方法与电路中,所述乘法运算参数包括一色彩校正矩阵系数与一色域转换矩阵系数,其中,所述乘法运算参数为色域转换矩阵系数乘上色彩校正矩阵系数而得。

上述的图像信号修正方法与电路中,所述乘法运算参数包括一白平衡增益矩阵系数、一色彩校正矩阵系数以及一色域转换矩阵系数,其中,所述乘法运算参数为色域转换矩阵系数依序乘上色彩校正矩阵系数与白平衡增益矩阵系数而得。

上述的图像信号修正方法与电路中,所述预设临界值为对应于图像输入信号所能表示的最大值。

为让本发明的上述和其它目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合附图,作详细说明如下。

附图说明

图1为图像处理集成电路内部的处理流程示意图。

图2、图3、图4为处理程序的乘法器合并示意图。

图5为一般的乘法电路。

图6为现有的合并乘法器架构。

图7为依照本发明一实施例的图像信号修正方法的流程图。

图8为依照本发明一实施例的图像信号修正电路的电路图。

图9为依照本发明另一实施例的图像信号修正电路。

附图符号说明

102:白平衡增益修正

104:传感器光电特性校正

106:滤色阵列内插

108:色彩校正

110:色域转换

112:伽马校正

502、602、832:乘法器

504、606、842、844、846:输出钳位电路

604、834:加法器

702-706:步骤

810:输入钳位装置

812、814、816:钳位电路

818、820、822:寄存器

830:合并矩阵乘法装置

840:输出钳位装置

A、B、Bi、Bo1、Bo1,、Bo2、Cb、Cr、G、Gi、Go1、Go1,、Go2、R、Ri、Ro1、Ro1,、Ro2、Im、IN、In1-Inn、Out1-Outn:信号

OUT:输出

910:输入钳位装置

930:合并矩阵乘法装置

940:输出钳位装置。

具体实施方式

本发明提出一种合并乘法器运算方法及其电路,可在降低硬件成本的前题下,仍可获得正确的运算结果。上述合并乘法运算操作中合并的乘法运算操作至少包括多个乘法运算参数,而将上述乘法运算参数预先合并相乘后得到合并乘法运算参数,并根据这些合并乘法运算参数进行合并乘法运算,如此可以降低硬件的成本,另外,更可经由合并乘法运算后能保有正确的数值。

若将本发明所提出合并乘法器运算方法及其电路应用于图像信号修正方法中。而这些乘法运算参数可以是例如色彩校正矩阵系数与白平衡增益矩阵。此合并乘法运算参数可以是合并色彩校正系数乘上白平衡增益系数而得,或是合并色域转换矩阵系数乘上色彩校正矩阵系数而得,或是合并色域转换系数依序乘上色彩校正系数与白平衡增益系数而得。

本发明的图像信号修正方法与图像信号修正电路中,合并乘法器可以降低硬件的成本,另外,更可经由合并乘法运算后能保有正确的数值,进而确保画面颜色的正确。

本发明提出的合并乘法器运算电路,包括输入钳位装置、合并矩阵乘法装置与输出钳位装置。此输入钳位装置根据多个可调整默认值,对多个输入信号分别进行钳位的操作。此可调整默认值即是为了合并乘法运算避免错误的预先钳位作业。而合并乘法装置用以依据一合并乘法运算参数对上述钳位信号进行一合并乘法运算,据以输出多个运算结果,其中,所述合并乘法运算操作至少使用多个乘法运算参数,而将乘法运算参数预先合并相乘后得到合并乘法运算参数。而输出钳位装置用以依据多个预设临界值分别钳位上述运算结果的值,据以输出修正后的输入信号。

为详细说明本发明所提出的合并乘法器运算方法及其电路,底下将以图像信号修正方法做一实际具体实施例的介绍,然并,此实施例并非用以限制本发明所提出的合并乘法器运算方法及电路可运用的范畴。举凡任何需要基于降低成本的考虑,必须合并乘法器运算方法及其电路,皆可运用本发明所提出的方法与电路,除了可以降低硬件的成本之外,另外,更可经由合并乘法运算后能保有正确的数值。

图7为依照本发明较佳实施例的合并乘法器运算方法及其电路,运用在图像信号修正方法流程示意图。在此流程中,首先,依据N个可调整默认值,钳位N个图像输入信号的值,据以产生N个钳位信号,其中,N为正整数(步骤702)。接着,依据至少二个预设修正矩阵系数相乘所得的N×N矩阵系数对上述N个钳位信号进行矩阵的乘法运算,据以输出N个运算结果(步骤704)。然后,依据N个预设临界值钳位该N个运算结果的值,据以产生N个输出信号(步骤706)。

为了更清楚说明本发明以及与现有技术对照,以下先假设图像输入信号为三个原色信号(即N=3),分别为红色(R)信号、绿色(G)信号以及蓝色(B)信号,且以8位的输出位数为例,并以白平衡增益修正与色彩校正二者做实际的例子说明。在这些假设的前题下,为了达到图7所述方法的目的,可对应地设计一个图像信号修正电路,如图8所示。

图8为依照本发明一较佳实施例的合并乘法器运算方法及其电路,运用在图像信号修正电路的电路图。请参照图8,其包括输入钳位装置810、合并矩阵乘法装置830、及输出钳位装置840。输入钳位装置810用以接收上述的R信号、G信号以及B信号,分别以Ri、Gi以及Bi代表之。此输入钳位装置810会依据三个可调整默认值对应地钳位上述三个图像输入信号的值,据以输出三个钳位信号,分别为Ro1、Go1以及Bo1。合并矩阵乘法装置830用以依据色彩校正矩阵系数乘以白平衡增益矩阵系数所得的3×3矩阵系数,对上述三个钳位信号进行矩阵的乘法运算,并据以输出三个运算结果,分别为Ro1’、Go1’以及Bo1’。输出钳位装置840用以依据三个预设临界值钳位上述三个运算结果的值,据以输出三个输出信号,分别为Ro2、Go2以及Bo2

在输入钳位装置810中包括有钳位电路812、814、816,以及寄存器818、820、822。钳位电路812、814、816分别接收信号Ri、Gi以及Bi,并各自依据一个可调整默认值来钳位所接收的图像输入信号的值,以分别输出钳位信号Ro1、Go1以及Bo1。而寄存器818、820、822则用以分别寄存钳位电路812、814、816所需的可调整默认值。在合并矩阵乘法装置830中,包括以矩阵阵列方式设计的多组乘法器与加法器,为方便说明,在此仅以乘法器832、加法器834说明之。而输出钳位装置840中则包括对应于三个合并矩阵乘法装置830输出值的三个输出钳位电路842、844以及846。

本发明提出一种合并乘法器运算的电路,如图8的安排与设计,包括输入钳位装置810、合并矩阵乘法装置830及输出钳位装置840等等,其所组成的组件与数量,皆可依照所需要计算的图像输入信号而调整,并不限于此实施例。

假设白平衡增益修正矩阵中的R信号增益系数Rgain、G信号增益系数Ggain以及B信号增益系数Bgain分别为1.5、1以及1.25,那么上述的三个可调整默认值就是依照输出信号的位数(8位)所能表示的最大值分别除以R信号增益系数、G信号增益系数以及B信号增益系数而得,也就是分别将255/1.5、255/1以及255/1.25,最后得到170、255以及204等三个可调整默认值。而可调整默认值170、255以及204会分别寄存在寄存器818、820以及822中,以分别提供给钳位电路812、814以及816使用。

当然,R信号增益系数Rgain、G信号增益系数Ggain以及B信号增益系数Bgain会随着数字像机的摄影模式而有所不同。例如在夜间摄影模式中的R信号增益系数Rgain、G信号增益系数Ggain以及B信号增益系数Bgain可能分别为1.5、1以及1.25,但在近距离摄影模式中的R信号增益系数Rgain、G信号增益系数Ggain以及B信号增益系数Bgain可能又是其它的三个系数值。因此,寄存器818、820以及822中所寄存的数值可随着数字像机的摄影模式而有所不同。

现在考虑(Ri,Gi,Bi)=(230,240,190),在个别经过钳位电路812、814以及816进行值域的钳位之后,可以得到钳位信号(Ro1,Go1,Bo1)为(170,240,190)。接着再考虑如下的色彩校正系数:

rrrgrbgrgggbbrbgbb=1.3-0.2-0.10.11.4-0.5-0.2-0.3-1.5---(6)

因此白平衡增益修正与色彩校正二者的合并矩阵可表示为:

rrrgrbgrgggbbrbgbb×Rgain000Ggain000Bgain=1.95-0.2-0.1250.151.4-0.625-0.3-0.31.875---(7)

接着合并矩阵乘法装置830依据方程式(7)所得的合并矩阵对钳位信号(170,240,190)进行矩阵的乘法运算,以得到运算结果Ro1’、Go1’以及Bo1’,如下式所示:

RGBo1=1.95-0.2-0.1250.151.4-0.625-0.3-0.31.875×170240190---(8)

而运算结果(Ro1’,Go1’,Bo1’)=(259.75,242.75,254.25)。最后,输出钳位装置840中的三个输出钳位电路842、844以及846皆依据预设临界值而分别对运算结果Ro1’、Go1’以及Bo1’进行值域的钳位,以得到输出信号(Ro2,Go2,Bo2)。而预设临界值就是输出信号Ro2,、Go2,、Bo2各自的位数所能表示的最大值(即255),因此可以得到(Ro2,Go2,Bo2)=(255,242.75,254.25),此为正确的值。

现在考虑若是图像输入信号(Ri,Gi,Bi)为高亮度的情况,此时(Ri,Gi,Bi)为(255,255,255),那么在个别经过钳位电路812、814以及816进行值域的钳位之后,可以得到钳位信号(Ro1,Go1,Bo1)=(170,255,204)。再经过合并矩阵乘法装置830依据方程式(7)所得的合并矩阵对钳位信号(170,255,204)进行矩阵的乘法运算,可得到运算结果(Ro1’,Go1’,Bo1’)=(255,255,255)。最后,输出钳位装置840对运算结果(Ro1’,Go1’,Bo1’)进行值域的钳位,以得到输出信号(Ro2,Go2,Bo2)。而输出信号(Ro2,Go2,Bo2)=(255,255,255),此为正确的值。因此,藉由图7与图8的例子可知,本发明的确可以输出正确的数值,能够避免图像品质的降低。

基于图7与图8所述实施例的精神,合并矩阵乘法装置830所能运用的预设修正矩阵系数当然也可以包括色彩校正矩阵系数与色域转换矩阵系数,而二者合并的矩阵系数就为色域转换矩阵系数乘上色彩校正矩阵系数而得。同理,合并矩阵乘法装置830所能运用的预设修正矩阵系数亦可以包括白平衡增益矩阵系数、色彩校正矩阵系数以及色域转换矩阵系数,而上述三者合并的矩阵系数为色域转换矩阵系数依序乘上色彩校正矩阵系数与白平衡增益矩阵系数而得。然而,必须注意的是,在合并矩阵乘法装置830所运用的预设修正矩阵系数有所变更的情况之下,输入钳位装置810中所运用到的所述可调整默认值也应做对应地变更。

图7与图8所述的实施例只是用以解说,并非用以限制本发明。由于图像输入信号也可能不是三原色信号,而是其它的图像输入信号,因此藉由图7与图8所述实施例的教示,可将图像输入信号设定为N个,而图像信号修正电路可以稍做修正,如图9所示。

图9为依照本发明所提出合并乘法器运算方法及其电路,运用在另一图像信号修正电路的示意图。此图中的In1-Inn表示为图像输入信号,Out1-Outn表示为输出信号。请参照图9,其包括对应于图像输入信号的输入钳位装置910、合并矩阵乘法装置920、及输出钳位装置940。此输入钳位装置910用以接收上述的In1-Inn信号,并具有n对的钳位电路与寄存器。合并矩阵乘法装置930为具有n×n矩阵系数的合并运算单元,用以依据合并运算所预先设定的矩阵系数,例如色彩校正矩阵系数乘以白平衡增益矩阵系数所得的n×n矩阵系数,对上述n个钳位信号进行矩阵的乘法运算,并据以输出n个运算结果。输出钳位装置940具有n个输出钳位电路,用以依据n个预设临界值钳位上述n个运算结果的值,据以输出n个输出信号。

值得一提的是,虽然在上述实施例中已经对图像信号修正电路描绘出了一个可能的型态,但熟知此技术者应知,各厂商对于其中的输入钳位装置的设计方式都不一样,因此本发明的应用当不限制于这个可能的型态。换言之,只要是利用输入钳位装置依据N个可调整默认值来对应地钳位上述N个图像输入信号的值,因而可避免不正常的数值跑进合并矩阵乘法装置进行运算,就已经是符合了本发明的精神所在。

本发明因在合并矩阵乘法装置接收N个图像输入信号之前,便先利用输入钳位装置依据N个可调整默认值来对应地钳位上述N个图像输入信号的值,因此可避免不正常的数值跑进合并矩阵乘法装置进行运算。如此一来,本发明便可以输出正确的数值,进而避免图像的高亮度区出现异常颜色而降低了图像的品质。

虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明,任何熟习此技艺者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,因此本发明的保护范围当视本发明的申请专利范围所界定者为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号