应用于去马赛克算法方向插值的实现装置及方法

摘要

本发明公开了一种应用于去马赛克算法方向插值的实现装置及方法。包括列缓存单元，用于提取数据信息进行插值数据计算和插值方向计算；方向运算单元，与上述列缓存单元相连，用于对列缓存单元内的数据进行插值方向运算，判断出的插值方向作为本单元输出；插值单元，与上述列缓存单元相连，与上述方向运算单元相连，用于计算水平，竖直，平均三种插值数据，并缓存在本单元的缓存中，当来自方向运算单元的信号使能后，插值单元直接输出目标像素的插值结果。本发明在实现去马赛克算法的步骤中，对目标像素的插值方向进行了多重判别，保证了性能，优化了硬件数据处理流程，保证了输出速率，降低了硬件开销。

说明书

技术领域

本发明属于图像处理技术领域，更具体的，涉及图像传感器中的去马赛克 算法关键模块的实现装置。

背景技术

单片CMOS或CCD图像传感器可将光学影像转为数字信号，广泛地应用于 数码相机、手机、平板电脑等电子设备中。其每个感光单元仅仅可捕获一种特 定波长的光，例如红（R）、绿（G）、蓝（B）中的一种，即其捕获的图像为非 全彩色图像。通过将彩色滤波阵列（Color Filter Array,CFA）加在图像传感器上， 使得单片CMOS或CCD图像传感器阵列上的每个点感光出不同的颜色，从而获 得特定格式的图像，每个点丢失的其他两种颜色分量需要后期插值来重建以获 得完整的全彩色图像，该重建插值的过程即去马赛克（Demosaicing）。

这样做法的好处在于，如果直接采样三个颜色，会缺乏足够的时间和足够 的硬件空间来进行处理，尤其是由于CMOS和CCD经常被用在的嵌入式领域， 从而工程技术中普遍采取对R，G，B三个颜色通道分别采样的方式进行操作， 在利用去马赛克技术，进行对单一通道中采样丢失的颜色信息进行恢复，进行 颜色重建，最后得到全彩的图像，最大程度上还原真实的图片效果。

Bayer滤波器得到后的图像常被缓存起来，串行的输入到运算单元，进行数 据的恢复。由于Bayer滤波器的特点，每行都以RGRG及GBGB的方式进行排 列，绿色像素点的信息占50%，因此绿色像素信息最丰富，最容易恢复，从而 恢复绿色信息的效果就决定了这幅图像恢复的效果。

而剩余的两种颜色信息，可以根据绿色信息更准确的进行推测，从而进行 恢复。

恢复的过程即去马赛克算法，包括很多种常用的算法，如边缘方向性插值 算法、基于频域的算法、基于小波理论的算法和非启发式算法等等。

这些算法最常用，并最易于硬件实现的就是边缘方向插值算法，其算法核 心在于判别颜色边沿走向，从而对不同的边缘采取不同的算法。而判别过程需 要大量的计算过程和迭代过程，如何在硬件上更好的实现这些算法，是近些年 学者和工程师研究的重点。

对方向的判断存在多种算法，但总体思路大致相同，即，经过对相邻像素 的计算得到初步权重，之后再对权重进行比对决定目标像素是利用何种插值方 式。

在对方向判别好之后，就会根据已经判别出的插值方式对最终该点G的数 据进行恢复，恢复的结果为：

$g_{\mathrm{ij}}=\left(\begin{array}{cc}\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}}{4}& {\mathrm{\Delta H}}_{i,j}<{\mathrm{\Delta V}}_{i,j}\\ \frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{{2R}_{i,j}-R_{i-2,j}-R_{i+2,j}}{4}& {\mathrm{\Delta H}}_{i,j}>{\mathrm{\Delta V}}_{i,j}\\ \frac{G_{i,j-1}+G_{i,j+1}+G_{i-1,j}+G_{i+1,j}}{4}+\frac{{4R}_{i,j}-R_{i,j-2}-R_{i,j+2}-R_{i-2,j}-R_{i+2,j}}{8}& {\mathrm{\Delta H}}_{i,j}={\mathrm{\Delta V}}_{i,j}\end{array}\right)$

g_ij为所恢复的最终结果。之后再以类似的步骤对R和B单色像素进行恢复。

发明内容

为了克服现有技术的不足，本发明提供了一种应用于去马赛克算法方向插 值的实现装置及方法。

一种应用于去马赛克算法方向插值的实现装置，它包括：

列缓存单元，用于提取数据信息进行插值数据计算和插值方向计算；

方向运算单元，与上述列缓存单元相连，用于对列缓存单元内的数据进行 插值方向运算，判断出的插值方向作为本单元输出；

插值单元，与上述列缓存单元相连，与上述方向运算单元相连，用于计算 水平，竖直，平均三种插值数据，并缓存在本单元的缓存中，当来自方向运算 单元的信号使能后，插值单元直接输出目标像素的插值结果。

所述的方向运算单元，包括：

a)方向运算器，用于计算列缓存单元该周期内特定算子C2的方向判别结果；

b)n个方向缓存器，用于缓存算子的初步插值方向判别结果，n为自然数；

c)方向判别器，用于计算目标像素的最终插值方向。

所述的方向运算单元，连接方式包括：

a)方向运算器，与输入相连；

b)方向缓存器1，与方向运算器相连；

c)方向缓存器2，与方向缓存器1相连；

d)以此类推，方向缓存器n与方向缓存器n-1相连；

e)方向判别器，与方向运算器相连，与方向缓存器1相连，与方向缓存器2 相连，以此类推，与方向缓存器n相连。

所述的插值单元包括：

a)插值运算器，用于对以目标像素为中心的点进行水平，竖直，平均三种插 值计算；

b)插值缓存器，与插值运算器相连，与方向运算单元相连，用于把插值运算 器的结果进行缓存，并在方向运算单元的选择下输出最终的插值结果。

一种所述的装置的实现方法，所述的列缓存单元的水平宽度与竖直高度判 别方法如下：

a)如需得到目标像素该颜色的插值方向，则首先需要对围绕目标像素的其他 像素进行分类，分为多个矩形方格并计算每个方格的插值方向，再对已获取的 所有方格的插值方向进一步计算得到目标像素的插值方向，被分出的用于初步 计算的每个单独方格，称为算子；

b)以步骤a)获得的以目标像素为中心获得最终插值方向所需的所有算子组成 一个拓扑结构T1，以步骤a)获得的以目标像素左侧第二个像素为中心得最终插 值方向所需的所有算子组成一个拓扑结构T2；

c)T1与T2进行图形上的比较，得到两种算子：重合算子拓扑C0与非重合算 子拓扑C1；

d)取非重合算子拓扑C1中属于目标像素的算子，记为C2，计算能够包围C2 中所有像素的最小水平宽度和竖直高度，即为列缓存单元的水平宽度和竖直高 度；

e)取C2，由右向左依次比对，能够覆盖T1结构所需C2的个数总和，记为 n+1。

本发明的有益效果：

本发明在实现去马赛克算法的步骤中，对目标像素的插值方向进行了多重 判别，保证了性能，优化了硬件数据处理流程，保证了输出速率，降低了硬件 开销。

附图说明

图1一种去马赛克算法方向插值的实现装置的结构示意图。

图2去马赛克算法方向插值的实现装置流程示意图；

图3目标像素的算子拓扑结构T1；

图4算子拓扑结构C2生成方法示意图；

图5方向运算单元的拓扑拆分示意图；

图6方向运算单元的运算方式示意图。

具体实施方式

为达到本发明的上述功能，使得本发明的特征和优点能够更加明显易懂， 下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还 可通过其它拓扑与算子计算方式给予呈现，因此本发明不受下面公开的具体实 施方式的限制。

本发明提供的一种去马赛克算法方向插值的硬件装置，如图1所示，包括： 列缓存单元，方向运算单元，插值单元。

本发明的应用背景如图2所示，硬件装置的输入为Bayer输入图像列单元。

Bayer输入图像列单元为本发明的前置单元，其结构简单，被广为应用，其 获取方法为：Bayer原始图像，输入到固定宽度的缓存器内，串行输入，并行输 出到列缓存单元，Bayer输入图像列单元每一个周期更新一次，缓存器水平宽度 与竖直高度规定如下：

a)水平宽度为全幅图像的宽度；

b)竖直高度为列缓存单元竖直高度。

本发明数据流程为：Bayer输入图像列单元为本装置的输入数据，该数据输 入到列缓存单元内；列缓存单元的数据被两个单元的数据同时提取：方向运算 单元，和插值单元；方向运算单元数据输出到插值单元中；插值单元中的数据 通过方向运算单元输出的信号做选择，得到目标像素的最终插值结果。

列缓存单元，与上述Bayer输入图像列单元相连，用于提取规定行列大小格 式的列数据信息，由于目标像素的特征为每隔一个像素点成周期变化，因此列 缓存单元每两个周期更新一次，列缓存单元的水平宽度与竖直高度判别规则如 下：

a)如需得到目标像素该颜色的插值方向，则首先需要对围绕目标像素的其他 像素进行分类，分为多个矩形方格并计算每个方格的插值方向(方格与方格之间 可以重合)，再对已获取的所有方格的插值方向进行近一步计算得到目标像素的 插值方向，被分出的多个用于初步计算的方格，称为算子；

b)以目标像素为中心获得最终插值方向所需的所有算子可以组成一个拓扑 结构T1，以目标像素左侧第二个像素为中心得最终插值方向所需的所有算子可 以组成一个拓扑结构T2；

c)T1与T2进行图形上的比较，得到两种算子：重合算子拓扑C0与非重合 算子拓扑C1；

d)取非重合算子拓扑C1中属于目标像素的算子，记为C2，计算能够包围 C2中所有像素的最小水平宽度和竖直高度，即为列缓存单元的水平宽度和竖直 高度；

e)取C2，由右向左依次比对，能够覆盖T1结构所需C2的个数总和，记为 n+1。

方向运算单元，与上述列缓存单元相连，用于计算列缓存单元内算子的初 步插值方向，缓存，计算目标像素插值方向，本单元输出目标像素插值方向， 每两个周期更新一次，本单元包括：

a)方向运算器，用于计算列缓存单元该周期内特定算子的初步插值方向判别 结果；

b)n个方向缓存器，用于缓存初步插值方向判别结果；

c)方向判别器，用于计算目标像素最终插值方向。

方向运算单元，其特征如下，连接方式包括：

a)方向缓存器1，与方向运算器相连；

b)方向缓存器2，与方向缓存器1相连；

c)以此类推，方向缓存器n与方向缓存器n-1相连；

d)方向判别器，与方向运算器相连，与方向缓存器1相连，与方向缓存器2 相连，以此类推，与方向缓存器n相连。

插值单元包括：

a)插值运算器，用于对以目标像素为中心的点进行水平，竖直，平均三种插 值计算；

b)插值缓存器，与插值运算器相连，与方向运算单元相连，用于把插值运算 器的结果进行缓存，并在方向运算单元的选择下输出最终的插值结果。

实施例

图3为本算法目标像素算子的拓扑结构T1的一个实例(每一个圆圈代表一 个算子)，根据图4(每一个圆圈代表一个算子)所描述的方法所示，取靠左两个像 素拓扑T2，把T1拓扑结构与T2拓扑结构相互比对，得到重合的算子C0和非 重合的算子C1，取非重合算子里，属于T1单元的结构，记为C2，即为列缓存 单元的水平宽度和竖直高度的决定因素：能够包含C2的最小矩形的水平宽度和 竖直高度的即为列缓存单元的大小。

如图5所示，把C2与T1由右向左进行逐次比对，能覆盖所有T1拓扑最少 的C2次数为4次，因此n取3，即本案例中的方向运算单元中方向缓存器需要 3个。

本案例详细结构如图2所示，源数据输入到Bayer输入图像列单元中，并经 过每周期的数据输出，输出到进入列缓存单元中。

列缓存单元中的数据被两个单元提取：方向运算单元和插值单元。

方向运算单元内的运算方式如图6所示：输入到方向运算单元的数据被直 接输入到方向运算器内，进行C2结构的拓扑计算；方向运算器的结果，输出到 方向缓存器1内；在同时，上一周期方向缓存器1内的数据，在本周起输出到 方向缓存器2内，上一周期方向缓存器2内的数据，在本周起输出到方向缓存 器3内。

方向判别器对方向运算器，方向缓存器1，方向缓存器2，方向缓存器3内 的数据进行计算，得到目标像素的最终插值方向。

与此同时进行的是方向判别器，方向判别器中的数据由方向运算器，方向 缓存器1，方向缓存器2，方向缓存器3内的数据共同决定。以上模块的所有数 据进行求和运算，在水平和竖直方向分别求和后，得到水平插值总和与竖直插 值总和，如果水平插值总和与竖直插值总和相同，则平均插值，否则，按照总 和大的方向进行插值。

插值单元分为插值运算器与插值缓存器，上述方向判别器的输出与插值单 元中的插值缓存器相连接，对其中缓存的水平，竖直和平均插值的数据进行选 择，输出其最终结果，方法如下：

插值单元直接从列缓存单元中提取数据输入到插值运算器内进行所有方向 的插值运算，插值运算器实现功能为：

$g_{\mathrm{ij}}=\left(\begin{array}{cc}\frac{G_{i,j-1}+G_{i,j+1}}{2}+\frac{{2R}_{i,j}-R_{i,j-2}-R_{i,j+2}}{4}& \left(1\right)\\ \frac{G_{i-1,j}+G_{i+1,j}}{2}+\frac{{2R}_{i,j}-R_{i-2,j}-R_{i+2,j}}{4}& \left(2\right)\\ \frac{G_{i,j-1}+G_{i,j+1}+G_{i-1,j}+G_{i+1,j}}{4}+\frac{{4R}_{i,j}-R_{i,j-2}-R_{i,j+2}-R_{i-2,j}-R_{i+2,j}}{8}& \left(3\right)\end{array}\right)$

本案例以绿颜色说明，之外的蓝色与红色同理可得。

gij表示目标像素，下标i,j表示以第i行，第j列，本案例只取相对位置， 即(i,j)点为中心，其他数据都围绕该点做上下左右移动。

从时序角度上看，由于插值单元目标像素点的结果相对于方向运算单元提 前两个周期，因此需要对插值单元内计算好的数据进行缓存：把插值运算器的 计算结果缓存在插值单元的插值缓存器内。

最后的输出结果，是在方向运算单元方向判别器的输出结果的选择下，选 取已经缓存好的插值缓存器中的数据，选择或水平，或竖直，或平均的插值方 向，作为整体结构的最终输出。

此设计可以保证每两个周期输出一次有效数据。