彩色图像传感器及获取彩色数字图像的方法

摘要

本发明涉及一种彩色图像传感器及获取彩色数字图像的方法，尤其涉及一种彩色滤色元阵列；彩色图像传感器包括图像传感器和彩色滤色片，所述的彩色滤色片覆盖于所述图像传感器表面上，所述图像传感器由多个传感元排列为传感元阵列而构成；所述彩色滤色片由多个彩色滤色元排列为彩色滤色元阵列而构成；一个彩色滤色元对应一个传感元，输出彩色图像中的一个像素。获取彩色数字图像的方法，通过特定的公式计算获得任意彩色滤色元的像素值。彩色滤色元阵列中的一个彩色滤色元输出彩色图像中的一个像素。本发明极大地提高了传感器的利用率；可以从多个彩色滤色元重构出同一位置的RGB三色值，提高了颜色还原的准确性。

说明书

技术领域

本发明涉及一种传感器及获取图像的方法，尤其涉及一种彩色图像传感器及获取彩色数字图像的方法，特别是涉及一种彩色滤色元阵列。基于该彩色滤色元阵列的彩色图像传感器可用于各种数码相机、数码摄像机等数字图像、视频设备。

背景技术

数字彩色图像传感器是数码相机、数码摄像机等数字图像设备中的最关键的部件，用于将镜头聚焦的光学图像转换为数字彩色图像。彩色数字图像设备根据其内部的图像传感器的数量可以分为两种：(1)单图像传感器彩色数字图像设备，包括大部分的数码摄像机和数码相机，其特点是这些数字彩色图像设备内只有一个图像传感器(CCD或CMOS图像传感器)，该图像传感器将照射到传感器上的可见光的亮度转换为电信号，并在后续的处理中数字化，产生灰度(黑白)图像。为了获取自然界中的颜色信息产生彩色图像，通常采用在图像传感器的表面需要覆盖一层彩色滤色片的方法，由彩色滤色片和图像传感器两部分共同组成彩色图像传感器。(2)多图像传感器的彩色数字图像设备，如3CCD的数码摄像机，3CMOS的数码摄像机等，其设备内部有一个分光器，将外界射入的可见光分为红、绿、蓝三束，分别由三个独立的图像传感器(CCD或CMOS图像传感器)来接收，并量化为彩色数字图像；另外，彩色数字图像设备中，还有一种采用X3(日本Sigma公司专利)彩色图像传感器，该传感器采用三层三色结构，即三层重叠的图像传感器，分别为蓝色、绿色、红色透明图像传感器。外界入射的光线中蓝色部分先被第一层蓝色图像传感器吸收和数字化，第二层绿色图像传感器吸收入射光中的绿色部分并数字化，第三层的红色图像传感器吸收其余的光线并数字化，从而产生彩色数字图像。

如上所述，数字图像传感器的作用是将照射到传感器上的可见光的亮度数字化，产生灰度(黑白)图像。由于一幅数字图像是由多个像素排列而成的像素阵列，相应地，图像传感器是由多个传感元排列成的传感元阵列，其中每个传感元独立地对接收到的光的强度(亮度)进行数字化，产生数字图像中的一个像素。

彩色图像传感器是在图像传感器的表面覆盖彩色滤色片，使得图像传感器能够对可见光中不同颜色的光强(亮度)进行数字化，产生彩色图像。彩色图像传感器中的图像传感器，和上述的灰度图像传感器一样，是由多个传感元排列而成的传感元阵列；彩色图像传感器中的彩色滤色片是由彩色滤色元组重复排列而成彩色滤色元组阵列。每个彩色滤色元组和一个彩色图像中的像素相对应。因此，和灰度图像传感器不同，彩色图像传感器中传感元的数量远大于彩色图像中像素的数量。

彩色滤色元组中一般有三种或四种颜色，如红色滤色元、绿色滤色元、蓝色滤色元等。一个彩色滤色元组对应于彩色数字图像中的一个像素，其输出值为数字图像中一个像素的三色值。因此，彩色图像传感器中的彩色滤色片是由重复排列的滤色元组所组成，其中一个彩色滤色元组输出一个像素的红绿蓝三色值，两者一一对应。

现有技术的彩色滤色元组下表所示：

综上所述，现有技术的彩色滤色元组有如下二个特点：

1)一个彩色滤色元组内具有2x2，2x4，4x4等三色或四色滤色元；

2)彩色滤色元组内的滤色元具有确定的排列方式，且该排列方式受专利保护。

下面以一百万像素的彩色数字图像传感器为例，说明彩色数字图像传感器和彩色滤色元组、滤色元和传感器元三者之间的关系。

假设有一个一百万像素的数码相机，即相机内的彩色数字图像传感器输出一百万像素(1,000x1,000像素)的彩色数字图像；且假设该图像传感器采用三色Bayer滤色元组，如图1所示，则该传感器上具有：

一百万个Bayer滤色元组，输出一百万个像素，其中每个彩色滤色元组输出一个像素；

四百万个(2,000x 2,000)滤色元组成的滤色元阵列。其中有一百万个红色滤色元，一百万个蓝色滤色元，二百万个绿色滤色元；

四百万个(2,000x 2,000)传感元组成的传感元阵列，其上覆盖着滤色元阵列，两者之间一一对应。每四个传感元输出一个像素。

综上所述，现有的彩色图像传感器主要存在如下问题：一是四个传感元输出一个像素，传感元的利用率低，存在严重的浪费现象；二是四个传感元处于不同的位置，即同一个像素中RGB三色值不是来自于同一个位置，存在微小的差异，因此，不能正确反映自然界中真实的颜色。

发明内容

本发明的发明目的是根据人眼中视网膜的结构，提供一种彩色图像传感器及获取彩色数字图像的方法，尤其是提供一种彩色滤色元阵列(陶氏滤色元阵列)，一个彩色滤色元对应一个传感元输出一个彩色像素，极大地提高了传感器的利用率；可以从多个彩色滤色元重构出同一位置的RGB三色值，提高了颜色还原的准确性。

为解决上述技术问题，本发明采用的技术方案是：

一种彩色图像传感器，包括图像传感器和彩色滤色片，所述的彩色滤色片覆盖于所述图像传感器表面上，所述图像传感器由多个传感元排列为传感元阵列而构成；所述彩色滤色片由多个彩色滤色元排列为彩色滤色元阵列而构成，所述彩色滤色元阵列至少包括三种颜色的彩色滤色元，一个彩色滤色元对应一个传感元，输出彩色图像中的一个像素。

优选的，所述彩色滤色元阵列至少包括红色滤色元、绿色滤色元和蓝色滤色元。

优选的，所述彩色滤色元阵列中的彩色滤色元随机排列，形成随机码书。

优选的，所述彩色滤色元阵列中的其中一种颜色的彩色滤色元按照规则排列，其它颜色的彩色滤色元则随机排列，形成准随机码书。

一种彩色图像传感器获取彩色数字图像的方法，其特征在于，根据码书和以下彩色滤色元阵列计算方法，计算获得所述彩色滤色元阵列中任意一个彩色滤色元所对应的数字图像中一个像素的红绿蓝三色值：

彩色滤色元阵列的计算方法：

第一，彩色滤色元共有n(n＞＝3)种不同颜色的滤色元，分别为C₁，C₂，...，C_n。

第二，颜色系数Λ_Ri，Λ_Gi，Λ_Bi(0＜＝Λ＜＝1)表示滤色元的颜色C₁，C₂，...，C_n中含有红绿蓝三色成份，即：

Λ_RiC_i＝R

Λ_GiC_i＝G

Λ_BiC_i＝B

其中i表示滤色元阵列中滤色元的种类，即i＝1，2，3，…，n。若n＝3，则有：

$>\Lambda =\left(\begin{array}{c}\left(\begin{array}{ccc}1& 0& 0\end{array}\right)\\ \left(\begin{array}{ccc}0& 1& 0\end{array}\right)\\ \left(\begin{array}{ccc}0& 0& 1\end{array}\right)\end{array}\right)$>

第三，设在彩色滤色元阵列中各种颜色的滤色元所占的比例分别为Ω₁，Ω₂，Ω₃，...，Ω_n，则有：

Ω₁+Ω₂+Ω₃+...+Ω_n＝1。

第四，在彩色滤色元阵列中各种颜色的彩色滤色元按照规则Ψ排列形成彩色滤色元阵列，该滤色元阵列中所有彩色滤色元的排列方式，称为滤色元阵列的码书(Codebook)，有多种形式，如所有滤色元随机排列，准随机排列，或重复排列。

第五，根据滤色元阵列的码书，滤色元阵列中任一位置，其彩色滤色元的颜色为其邻域滤色元集定义为：设是滤色元附近的一个彩色滤色元，其颜色是和之间的距离为则有其中表示即滤色元本身。定义所有(D为一常数)的滤色元组成的集合为的邻域滤色元集共有M个滤色元，其中表示集合中各种滤色元子集，分别有M_C1，M_C2，M_C3，...，M_Cn个彩色滤色元，则有：M＝M_C1+M_C2+M_C3+...+M_Cn。

第六，根据滤色元阵列中滤色元和之间的距离定义距离系数如下：

其中函数有多种形式，如距离平方的倒数，指数函数，或常数。

第七，根据码书，滤色元阵列中任一位置所对应的传感元获取的信号值为其颜色为其邻域中任一位置所对应的传感元获取的信号值为其颜色为则相应的彩色数字图像中，滤色元所对应位置的像素的RGB三色值可以由如下公式计算得到：

其中算法f_R，f_G，f_B有多种形式，如加法。

一种用于彩色图像传感器的彩色滤色元阵列，所述彩色滤色元阵列至少包括三种颜色的彩色滤色元，一个彩色滤色元输出彩色图像中的一个像素。

优选的，所述彩色滤色元阵列至少包括红色滤色元、绿色滤色元和蓝色滤色元等。

优选的，所述彩色滤色元阵列中的彩色滤色元随机排列，形成随机码书。

优选的，所述彩色滤色元阵列中的其中一种颜色的彩色滤色元按照规则排列，其它颜色的彩色滤色元则随机排列，形成准随机码书。

本发明提供的一种彩色图像传感器及获取彩色数字图像的方法，尤其是一种彩色滤色元阵列，由彩色滤色元排列而成，不存在滤色元组，即一个滤色元输出一个像素；滤色元阵列中有三种或三种以上的彩色滤色元，因此，存在这些彩色滤色元如何排列的问题；一个彩色滤色元输出一个像素的三色值，但是一个彩色滤色元只能得到三色值中的一个值，因此，另外两个值需要从当前这个彩色滤色元周围的彩色滤色元中通过某种算法计算得到；其本质是滤色元之间互相帮忙，即输出滤色元A的三色值时，其周围的滤色元B、C、D帮忙计算；输出滤色元B的三色值时，其周围的A、C、E来帮忙计算。每个滤色元的值都得到了多次的重复利用。

本发明的彩色滤色元陈列具有如下特征：

1、本发明的彩色滤色元阵列由彩色滤色元按照某种比例以某种规则排列组成，没有滤色元组，也不是由滤色元组重复排列形成滤色元组阵列；

2、所述的彩色滤色元包括三种或多于三种颜色的滤色元，各种颜色的滤色元之间的比例，可以是各种颜色相等量，也可以是各颜色之间存在不同的比例；

3、所述的多种颜色的彩色滤色元排列形成彩色滤色元陈列的排列规则，可以是某种重复结构，也可以是各滤色元按照一定的比例，随机排列；

4、所述的彩色滤色元阵列中，每个彩色滤色元输出彩色图像中的一个像素，彩色滤色元、传感元、像素三者一一对应。

5、图9显示了两种彩色图像传感器和数字彩色图像获取方法的不同。从图中可以看出，本发明提出的方法包括滤色元阵列和数字图像重构算法两部分。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为现有技术彩色数字图像传感器结构示意图；

图中101为Bayer滤色元阵列、102为传感元阵列。

图2为本发明彩色数字图像传感器示意图；

图中201为本发明的陶氏滤色元阵列；202为传感器元阵列

图3为本发明的陶氏滤色元阵列的示意图。

图4为本发明的陶氏滤色元阵列的示意图；

其中图401为滤色元

图5为本发明的陶氏滤色元阵列的示意图。

图6为本发明的陶氏滤色元阵列的示意图。

图7为图4中401之邻域滤色元集例一；

图中的数字用于标注不同的滤色元。

图8为图4中401之邻域滤色元集例二；

图中的数字用于标注不同的滤色元。

图9a为现有技术数字图像获取原理图。

图9b为本发明提出的数字图像获取原理图。

具体实施方式

实施例1

如图2所示，一种彩色图像传感器，包括图像传感器和彩色滤色片，所述的彩色滤色片覆盖于所述图像传感器表面上，所述图像传感器由多个传感元排列为传感元阵列而构成；所述彩色滤色片由多个彩色滤色元排列为彩色滤色元阵列而构成；所述彩色滤色元阵列至少包括三种颜色的彩色滤色元；一个彩色滤色元对应一个传感元，输出彩色图像中的一个像素。优选的，所述彩色滤色元阵列包括红色滤色元、绿色滤色元和蓝色滤色元，如图2、图3、图4和图5所示。所述彩色滤色元阵列中的彩色滤色元随机排列，如图2所示。所述彩色滤色元阵列中的其中一种颜色彩色滤色元按照规则排列，其它颜色的彩色滤色元则随机排列，如图4、图5和图6所示。

实施例2

一种利用上述彩色图像传感器获取彩色数字图像的方法，通过以下方式计算获得任意彩色滤色元的像素值

颜色视觉研究表明，多种颜色感光单元的组合，均可产生红绿蓝三色彩色图像。本发明提出彩色滤色元阵列的计算方法：

(1)彩色滤色元共有n(n＞＝3)种不同颜色的滤色元，分别为C₁，C₂，...，C_n；

(2)颜色系数Λ_Ri，Λ_Gi，Λ_Bi(0＜＝Λ＜＝1)表示滤色元的颜色C₁，C₂，...，C_n中含有红绿蓝三色成份，即：

Λ_RiC_i＝R

Λ_GiC_i＝G

Λ_BiC_i＝B

其中i表示滤色元阵列中滤色元的种类，即i＝1，2，3，…，n。若n＝3，则有：

$>\Lambda =\left(\begin{array}{c}\left(\begin{array}{ccc}1& 0& 0\end{array}\right)\\ \left(\begin{array}{ccc}0& 1& 0\end{array}\right)\\ \left(\begin{array}{ccc}0& 0& 1\end{array}\right)\end{array}\right)$>

(3)设在彩色滤色元阵列中各种颜色的滤色元所占的比例分别为Ω₁，Ω₂，Ω₃，...，Ω_n，则有：

Ω₁+Ω₂+Ω₃+...+Ω_n＝1；

(4)在彩色滤色元阵列中各种颜色的彩色滤色元按照规则Ψ排列形成彩色滤色元阵列，该滤色元阵列中所有彩色滤色元的排列方式，称为滤色元阵列的码书(Codebook)，有多种形式，如所有滤色元随机排列，准随机排列，以及重复排列等。

(5)根据滤色元阵列的码书，滤色元阵列中任一位置，其彩色滤色元的颜色为其邻域滤色元集定义为：设是滤色元附近的一个彩色滤色元，其颜色是和之间的距离为则有其中表示即滤色元本身。定义所有(D为一常数)的滤色元组成的集合为的邻域滤色元集共有M个滤色元，其中表示集合中各种滤色元子集，分别有M_C1，M_C2，M_C3，...，M_Cn个彩色滤色元，则有：M＝M_C1+M_C2+M_C3+...+M_Cn；

(6)根据滤色元阵列中滤色元和之间的距离定义距离系数如下：

其中函数有多种形式，如距离平方的倒数，指数函数，以及常数等。

(7)根据码书，滤色元阵列中任一位置所对应的传感元获取的信号值为其颜色为其邻域中任一位置所对应的传感元获取的信号值为其颜色为则相应的彩色数字图像中，滤色元所对应位置的像素值可以由如下公式计算得到：

其中算法f_R，f_G，f_B有多种形式，如加法等。

彩色滤色元阵列模型一：

图2展示了一个本发明提出的彩色滤色元阵列彩色数字图像传感器，其中的彩色滤色元陈列由红绿蓝三色滤色元根据一定的比例随机排列而成。

彩色滤色元阵列模型二：

人类视网膜研究表明，视网膜中红绿蓝三色感光细胞的比例可变。图3展示了一个本发明提出的彩色滤色元阵列，其中的彩色滤色元陈列中蓝色滤色元占1/9，绿色和红色滤色元各占4/9，各彩色滤色元按照均匀排列规则排列。

彩色滤色元阵列模型三：

人类视网膜研究表明，视网膜中红绿蓝三色感光细胞的比例可变。图4展示了一个本发明提出的彩色滤色元阵列，其中的彩色滤色元陈列中蓝色滤色元占1/9，绿色和红色滤色元各占4/9，各彩色滤色元按照准随机排列规则排列，即蓝色滤色元在滤色元阵列中规则排列，红色和绿色滤色元在滤色元阵列中随机排列。

彩色滤色元阵列模型四：

计算机视觉研究表明，红绿蓝三色感光单元的比例接近时，产生的彩色图像中颜色分辨率较高。图5展示了一个本发明提出的彩色滤色元阵列，其中的彩色滤色元陈列中蓝色滤色元占2/9，绿色和红色滤色元各占3.5/9，各彩色滤色元按照准随机排列规则排列，即蓝色滤色元在滤色元阵列中规则排列，红色和绿色滤色元在滤色元阵列中随机排列。

彩色滤色元阵列模型五：

计算机视觉研究表明，红绿蓝青四色感光单元的比例接近时，产生的彩色图像中颜色的还原好，图像分辨率高。图6展示了一个本发明提出的彩色滤色元阵列，其中的彩色滤色元陈列中蓝色滤色元占1/9，青色滤色元占1/9，绿色和红色滤色元各占3.5/9，各彩色滤色元按照准随机排列规则排列，即蓝色滤色元在滤色元阵列中规则排列，红色、绿色、青色滤色元在滤色元阵列中随机排列。

基于上述彩色滤色元阵列模型，由彩色滤色元阵列产生彩色图像的算法如下：

根据滤色元阵列的码书，滤色元阵列中任一位置，其彩色滤色元的颜色为其邻域滤色元集定义为：设是滤色元附近的一个彩色滤色元，其颜色是和之间的距离为则有其中表示即滤色元本身。定义所有(D为一常数)的滤色元组成的集合为的邻域滤色元集共有M个滤色元，其中表示集合中各种滤色元子集，分别有M_C1，M_C2，M_C3，...，M_Cn个彩色滤色元，则有：M＝M_C1+M_C2+M_C3+...+M_Cn；

根据滤色元阵列中滤色元和之间的距离定义距离系数如下：

其中函数有多种形式，如距离平方的倒数，指数函数，以及常数等。

根据码书，滤色元阵列中任一位置所对应的传感元获取的信号值为其颜色为其邻域中任一位置所对应的传感元获取的信号值为其颜色为则相应的彩色数字图像中，滤色元所对应位置的像素值可以由如下公式计算得到：

其中算法f_R，f_G，f_B有多种形式，如加法等。

算法实例一：下面以彩色滤色元阵列模型四为例，举例说明上述计算方法：

以图4中401所指的滤色元为取其邻域滤色元集如图7所示，且取：

Λ＝1；

则可计算得到彩色图像中像素对应于的像素的颜色值为：

$>\left(\begin{array}{c}{R}_X=\frac{1}{4}\Sigma R_y\\ G_X=\frac{1}{4}\Sigma G_y\\ B_X=B_y\end{array}\right)$>

式中R_y、G_y、B_y分别表示领域集合中红绿蓝三色的滤色元集，即

算法实例二：下面以彩色滤色元阵列模型四为例，举例说明上述计算方法：

以图4中401所指的滤色元为取其邻域滤色元集如图8所示，根据滤色元和之间的距离，分别取：

$>\left(\begin{array}{c}{w}_0=4\\ w_1=2\\ w_2=1\end{array}\right)$>

上式中，则则则即权重随距离的增加指数下降。则可计算得到彩色图像中像素对应于的像素的颜色值为：

$>\left(\begin{array}{c}{R}_X=\frac{1}{12}\Sigma \left(W_{\mathrm{xy}}{R}_y\right)\\ G_X=\frac{1}{10}\Sigma \left(W_{\mathrm{xy}}{G}_y\right)\\ B_X=B_y\end{array}\right)$>

式中R_y、G_y、B_y分别表示领域集合中红绿蓝三色的滤色元集，即

实施例3

一种用于彩色图像传感器的彩色滤色元阵列，所述彩色滤色元阵列至少包括三种颜色的彩色滤色元，所述彩色滤色元阵列中的一个彩色滤色元输出彩色图像中的一个像素。优选的，所述彩色滤色元阵列包括红色滤色元、绿色滤色元和蓝色滤色元，如图2、图3、图4和图5所示。优选的，所述彩色滤色元阵列中的彩色滤色元随机排列，如图2所示。更优选的，所述彩色滤色元阵列中的其中一个彩色滤色元按照规则排列，其它的彩色滤色元则随机排列，如图4、图5和图6所示。

上述实施例并非具体实施方式的穷举，还可有其他的实施例，上述实施例目的在于说明本发明，而非限制本发明的保护范围，所有由本发明简单变化而来的应用均落在本发明的保护范围内。