使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备

摘要

本发明提供一种用于彩色平面内插的方法及设备，其视边缘方向及像素是否位于图像的边缘处而定不同地内插像素的色彩值。在彩色图案中存在的色彩的每一者的内插期间使用边缘检测有助于减少在已知去马赛克技术中大量存在的某些损失图像清晰度的缺点。

说明书

技术领域

本发明涉及用于由图像传感器捕获的图像的去马赛克(demosacing)。

背景技术

图像传感器也称为成像器，开发于二十世纪60年代晚期及二十世纪70年代早期，主要用于电视图像获取、传输及显示。成像器吸收特定波长的入射辐射(例如，光子、x射线或类似物)，并产生对应于所吸收的辐射的电信号。存在若干不同类型的基于半导体的成像器，包括电荷耦合装置(CCD)、光电二极管阵列、电荷注入装置(CID)、混合式焦平面阵列及CMOS成像器。

这些成像器通常由含有光电传感器的像素阵列组成，其中每一像素均在图像聚焦于所述阵列上时产生对应于照射在所述元件上的光的强度的信号。接着可存储这些信号(例如)以将对应图像显示于监视器上或以其它方式用于提供关于光学图像的信息。光电传感器通常是光电晶体管、光电导体或光电二极管。因此，由每一像素产生的信号的量值与照射在光电传感器上的光的量成比例。

为了允许光电传感器捕获彩色图像，光电传感器必须能够(例如，在使用拜耳图案时)单独地检测红色(R)光子、绿色(G)光子及蓝色(B)光子。因此，每一像素必须仅对一种色彩或光谱带敏感。为此，通常将彩色滤光片阵列(CFA)放置于像素之前，以使得每一像素均测量其相关联的滤光片的色彩的光。因此，彩色图像传感器的每一像素均根据特定图案(例如拜耳图案)而用红、绿或蓝滤光片覆盖。

对于大多数低成本CMOS或CCD图像传感器而言，彩色滤光片与传感器整合。彩色滤光片图案的常见实例是第3,971,065号美国专利(其揭示内容以引用的方式并入本文中)中所说明的平铺彩色滤光片阵列，且通常被称为“拜耳图案”彩色滤光片。

如图1中所示，拜耳图案100是反复的红(R)、绿(G)及蓝(B)滤光片的阵列，其导致滤光片下的像素分别为红、蓝及绿像素。在拜耳图案100中，红、绿及蓝像素经排列以使得交替的红与绿像素位于阵列的第一行105上，且交替的蓝与绿像素位于下一行110上。这些交替的行在阵列中反复出现。因此，当图像传感器被逐线读出时，第一线的像素序列为GRGRGR等，且接着交替的线序列为BGBGBG等。此输出被称为顺序RGB或sRGB。

在拜耳图案100中，根据人类视觉系统的敏锐度而调整所有三个原色的取样率。亦即，以较大数目的传感器来感测人类眼睛对其最敏感且易做出反应的绿色，而以较少数目的传感器来感测人类视觉对其具有较小分辨率的蓝色及红色。这就是为什么在拜耳图案中，绿色敏感元件每隔一个阵列位置出现一次，而红色敏感元件及蓝色敏感元件每四个阵列位置出现一次。

如图2中所示，在固态图像传感器中，拜耳图案化的滤光片可形成于像素传感器205的阵列200上方。具体而言，像素传感器205的阵列200形成于半导体衬底210上。每一像素传感器205均具有感光元件215，其可为任何光子到电荷转换装置，例如光电门、光电导体或光电二极管。彩色滤光片阵列220可形成于阵列200中的上部金属层225上方，通过各种金属化及绝缘层(例如含有绝缘体金属化图案的层间介电层(ILD)235及钝化层230)而与光电传感器215隔开。金属层225可为不透明的且用于遮蔽像素的不感光的区域。凸透镜240形成于彩色滤光片220上方。在操作中，入射光由透镜240聚焦，穿过滤光片220并到达感光元件215。

对于拜耳图案滤光片而言，红、绿及蓝色的值是每一像素所必需的。由于每一像素传感器单元仅感测一种色彩，因此剩余两种色彩的值通过从感测缺失色彩的相邻像素的内插来计算。此彩色平面内插称为去马赛克。举例而言，参看图1，像素传感器单元115与绿滤光片相关联，绿滤光片致使像素传感器单元115感测绿光，并产生仅代表绿光的信号。为了获得用于像素传感器单元115的红和蓝光的量的近似值，可分别从相邻的红像素传感器单元120及125及相邻的蓝像素传感器单元130及135内插一值。如果未正确地执行去马赛克，则所得图像可能会遭受夹带有高度可见的彩色假像的危害。

在《IEEE图像处理学报》(IEEE Transactions on image Processing)，2002年9月第9号，第II卷中发表且由巴哈帝K.古特克(Bahadir K.Gunturk)、朱赛尔·阿腾巴萨克(Yucel Altunbasak)及罗赛尔M.莫赛里奥(Russell M.Mersereau)所著的标题为“使用交替投影的彩色平面内插”(“Color Plane Interpolation Using Alternating Projections”)的文章(其揭示内容以引用的方式并入本文中)比较了几种去马赛克技术。如所述，这些去马赛克技术中的每一者均具有其各自的优点和缺点。

如所述，对于每一像素而言，用于第一色彩的值是基于被感测的色彩(即，由像素的传感器205感测的光)，且剩余的两种色彩的值是基于来自对应的相邻像素的感测值的内插值。感测值中的每一者均代表像素的中心处的色彩值。内插色彩值中的每一者同样均代表像素的中心处的值。内插信号的品质固有地比原始感测的信号的品质低。举例而言，一像素的中心处的内插红色值将与同一像素的中心处的感测的红色值不同。

通常仅重构缺失色彩分量的去马赛克方法可能会导致假像，例如所谓的拉链效应(zipper effect)及随机色点。另外，在对噪声进行滤波与模糊尖锐边缘之间存在折衷。当内插位于边缘的像素时，使用周围像素值而内插像素趋向于使图像模糊。此外，这还导致边缘处的图像的清晰度降低。此主要归因于跨越包含于图像内的边缘的像素的平均。去马赛克方法使像素平均，从而使得边缘处的像素不具有边缘像素所需的清晰度。因此，期望并需要彩色平面内插，其提供在计算内插值时检测并考虑到图像边缘的改进的去马赛克技术。

发明内容

本发明提供一种用于彩色平面内插的方法及设备，其视边缘方向及像素是否位于图像内的边缘处而定不同地内插像素的色彩值。在呈现于彩色图案中的色彩的每一者的内插期间使用边缘检测有助于减少在已知去马赛克技术中大量存在的某些损失图像清晰度的缺点。

附图说明

通过下文参看附图提供的对示范性实施例的详细描述，将更容易明白本发明的前述及其它优点和特征，其中：

图1是常规彩色滤光片阵列的俯视图；

图2是具有彩色滤光片阵列的像素阵列的一部分的横截面图；

图3A-B是本发明的示范性内插方案中所使用的5×5像素核心的示范性俯视图；

图4是根据本发明的示范性实施例而使用的3×3核心的方框图；

图5是具有根据本发明的示范性实施例而构造的像素阵列的CMOS成像器集成电路(IC)的方框图；

图6是具有根据本发明的CMOS成像器的处理器系统的说明；且

图7是说明本发明的一个实施例的过程的流程图。

具体实施方式

在以下详细描述中，参考形成本发明的一部分的附图，且附图中以说明的方式展示了可实践本发明的特定实施例。为了使所属领域的技术人员能够实践本发明，充分详细地描述这些实施例，且应了解，可利用其它实施例，且可在不脱离本发明的精神及范围的前提下作出结构、逻辑及电的变化。

术语“像素”指代含有用于将光辐射转换为电信号的光电传感器及晶体管的图元单位单元。出于说明的目的，在图及本文的描述中说明代表性像素，且通常成像器中的所有像素的制造将以类似的方式同时进行。因此，不应以限制性意义来理解以下的详细描述，且本发明的范围由随附权利要求书界定。

应了解，出于仅描述本发明的一个实例的唯一目的而参考根据本发明的CMOS成像器。应容易了解，本发明并非限于CMOS成像器，而是也应用于CCD及其它在像素上方利用彩色滤光片的成像器。另外，使用标准三色拜耳图案来描述本发明。应了解，本发明并非限于标准三色拜耳图案，而是可应用于使用不同色彩或使用多于或少于三种色彩的色彩空间。

图3A、3B为本发明实施例的成像器的部分像素阵列300的俯视图。具体而言，图3A、3B说明本发明中所使用的5×5核心(下文将更详细地论述)。如先前所提及，每一像素(例如，像素23)均感测单个色彩。因此，每一绿(G)像素提供绿色的感测值。类似地，每一蓝(B)像素提供蓝色的感测值，且每一红(R)像素提供红色的感测值。对于特定色彩的每一像素而言，内插剩余色彩的每一者的值以重构彩色图像。另外，如下文所论述，感测的像素值也可由内插值代替。红、绿及蓝色值的内插消除了因使用色彩中的一者的感测值及剩余两种色彩的内插值而导致的不平衡(其在现有技术系统中普遍存在)。

如图3A、3B中所示，对于正被处理的特定像素45而言，在以下内插计算中使用周围像素的5×5核心，不过在很多内插计算中，仅需要3×3核心中的像素。然而，本发明也可利用其它核心尺寸。

通常，对于每一选定像素而言，首先在5×5核心内界定3×3内插核心，且接着计算核心内的像素的色彩值。接着，判定边缘方向。视像素色彩及边缘方向而定，可重新计算3×3核心的一些值。接着，使用所述3×3核心判定对于选定像素而言是否存在边缘。接着，基于边缘是否存在及像素色彩而计算最终像素内插值。基于所处理的像素是否位于图像边缘以及像素的所感测色彩而将不同的内插参数应用于内插过程。

从图7流程图可更清楚地了解本发明的内插过程，图7流程图说明整个内插过程。在步骤701中，选择像素以供处理。在全部描述中，图3A、3B中所说明且作为图4中的中心像素的代表性像素45始终用作被处理的示范性像素。接着在步骤703中，界定围绕选定像素的3×3核心(例如图3A及3B中的像素34、35、36、44、45、46、54、55及56)。在步骤705中，判定像素45是否为经感测的绿像素。如果像素45是绿色，则在步骤707中，使用来自3×3核心内的像素的实际感测的像素值，根据下文的等式组(1)来计算3×3核心的绿色值。图4说明针对3×3核心内的像素的计算出的绿色值g11、g12、g13、g21、g22、g23、g31、g32、g33在3×3核心内的位置。使用图3A中所说明的绿色像素25、34、36、45、47、54、56及65的实际值来计算3×3核心。使用以下等式来计算3×3核心：

其中“P”为像素值，且“xy”为图3A-B中所示的像素编号。如图3A-B中所示，“x”描述行，且“y”描述列。如果像素45为红或蓝(如图3B中所示)，则在步骤709中，根据以下等式组(2)，使用绿色像素24、26、33、35、37、44、46、53、55、57、64及65的值来计算3×3核心。接着使用以下等式来计算3×3绿色核心：

在此示范性实施例中，使用周围绿色像素的实际感测值的中值内插来内插相同的核心值。在此示范性实施例中，3×3内插核心为绿色，因为如先前所提及，在拜耳CFA中，绿色像素在图像中最普遍且有影响。图4中所说明的3×3核心中的像素的值g11、g12、g13、g21、g22、g23、g31、g32、g33为图3A及3B中所说明的3×3核心中的像素的绿色值的计算结果。在边缘检测期间且在修正项的计算中，将使用绿色核心。所属领域的技术人员将了解，可使用其它像素色彩来计算3×3内插核心或核心可具有不同的尺寸。

接着在图7中所说明的步骤711中，使用经计算的3×3绿色核心来判定边缘方向。在步骤711中计算四个边缘方向的值。图4中所说明的虚线2、5、8及11为针对其而进行边缘方向计算的四个方向。剩余的虚线仅为示范性的，用于在计算四个边缘方向值时使用。在下文的等式组(3)中计算每一虚线的总和：

针对方向线2、5、8及11中的每一者计算边缘方向值DIRx，其中“DIR”为值，且“x”为方向线编号。使用以下等式组(4)来计算四个边缘方向值：

将具有最大DIR值的方向判定为边缘方向且在步骤711中判定。

接着在图7中所说明的步骤713中，判定经历处理的像素45是否为绿色。如果在步骤713中，像素45并非为绿色，则在步骤714中，判定边缘方向是否在线2的方向中(水平的)。如果边缘方向为水平的，则重新计算g22以考虑到所述边缘方向，如图3B中所说明。使用等式g22＝(g21+g23)/2来重新计算g22的值。如果在步骤714中，边缘方向并非为水平的，则在步骤715中，接着判定边缘方向是否在线5的方向中(垂直的)。如果判定所述方向在垂直方向中，则使用等式g22＝(g12+g32)/2来重新计算g22的像素值。然而，如果在步骤715中，边缘方向并非为垂直的，则在步骤719中，g22的值保持不变。如果在步骤713中判定像素为绿色，则g22的值保持不变。

接着，为了判定对于所处理的像素45而言是否存在边缘，可对于用于计算内插值的所有像素，计算相同色彩像素对之间的差值。在步骤723中，如果所处理的像素45为绿色，则在步骤725中根据下文的等式组(5)来计算差值：

如果在步骤723中判定所处理的像素45并非为绿色，则在步骤727中根据下文的等式组(6)来计算差值：

在步骤729中，使用等式(7)来判定所计算的差值中的最大差值是否大于预定边缘阈值：

MAX(D₁...D₇)＞边缘阈值。            (7)

如果最大差值小于阈值，则识别为不存在边缘(步骤731)，然而，如果最大差值大于阈值，则识别为存在边缘(步骤733)。可将边缘阈值设置为应用特定的或基于用户的偏好而设置。

如果在步骤729中未检测出边缘，则再次判定所处理的像素45是否为绿色。如果所处理的像素45为绿色，则在步骤739中，使用第八(8)组等式来计算像素45的内插红色、绿色及蓝色值。第八(8)组内插等式为：

其中R₄₅、G₄₅及B₄₅为所处理的像素45的红、绿及蓝色内插值。注意，尽管像素45为绿色像素，但使用P₄₅的实际感测值以及围绕P₄₅的其它绿色像素的实际值来内插所述值。

如果在步骤735中判定所处理的像素45并非为绿色，则在步骤741中，判定所处理的像素45是否为蓝色。如果所处理的像素45为蓝色，则在步骤747中使用第九(9)组等式来计算像素45的红、绿及蓝色值。第九组内插等式为：

其中R₄₅、G₄₅及B₄₅为像素45的红、绿及蓝色内插值。如果在步骤741中，所处理的像素45并非为蓝色，则像素45为红色，且在步骤749中使用第十(10)组等式来计算像素45的红、绿及蓝色值。第十组内插等式为：

其中R₄₅、G₄₅及B₄₅为像素45的红、绿及蓝色内插值。

如果在步骤729中检测出边缘且在步骤737中所处理的像素45为绿，则使用第十一(11)组等式来计算像素45的红、绿及蓝色值的内插值。第十一组内插等式为：

其中R₄₅、G₄₅及B₄₅为像素45的红、绿及蓝色内插值且DELTA_blue及DELTA_red为修正项。基于在步骤711中判定的边缘所处的方向来计算DELTA_blue及DELTA_red的值。如果边缘方向处于水平线2方向中，则DELTA_blue＝g22-(g21+g23)/2且DELTA_red＝0，且如果判定边缘方向处于垂直线5方向中，则DELTA_blue＝0且DELTA_red＝g22-(g12+g32)/2。最后，如果判定边缘方向处于对角方向11或8中，则DELTA_blue＝g22-(g21+g23)/2且DELTA_red＝g22-(g12+g32)/2。

如果在步骤737中判定所处理的像素45并非为绿，则在步骤745中，判定所处理的像素45是否为蓝色。如果所处理的像素45为蓝色，则第十二(12)组等式为在步骤751中用于计算红、绿及蓝色内插值的等式。第十二组内插等式为：

其中R₄₅、G₄₅及B₄₅为像素45的红、绿及蓝色内插值，且使用等式DELTA_red＝g22-(g11+g13+g31+g33)/4来计算DELTA_red的值。如果在步骤745中，所处理的像素45并非为蓝色，则在步骤753中，使用第十三(13)组等式来计算红色所处理像素45的红、绿及蓝色值。第十三组内插等式为：

其中R₄₅、G₄₅及B₄₅为像素45的红、绿及蓝色内插值，且使用等式DELTA_blue＝g22-(g11+g13+g31+g33)/4来计算DELTA_blue的值。红及蓝色像素的DELTA修正值是基于边缘方向及绿色3×3内插核心。

如所述，本发明提供一种用于彩色平面内插的新的且新颖的系统及方法，其中不仅基于所获得的感测值且基于所处理的像素是否处于图像图像处来计算绿、红及蓝色的内插值。根据本发明，通过内插所述色彩中的每一者的值来去除感测值与内插值之间的不平衡。另外，利用边缘检测及修正项来使图像边缘的模糊最小化。

图5说明具有像素阵列505的CMOS成像器集成电路(IC)500的方框图，像素阵列505含有多个按行及列排列的像素，包括区域510，所述区域510具有(例如)按拜耳图案排列的两个绿色像素(G)、一个蓝色像素(B)及一个红色像素(R)。阵列505中每一行的像素均由行选择线515同时接通，且每一列的像素由相应列选择线520选择性地输出。

行线515由行驱动器525响应于行地址解码器530而被选择性地激活。列选择线520由列选择器535响应于列地址解码器540而被选择性地激活。像素阵列505由计时与控制电路545操作，所述计时与控制电路545控制地址解码器530、540，以选择适当的行线及列线以进行像素信号读出。

通常包括像素重设信号(V_rst)及像素图像信号(V_sig)的像素列信号由与列选择器535相关联的取样与保持电路550读取。对于每一像素而言，由微分放大器555产生差分信号(V_rst-V_sig)，其经放大并由模拟数字转换器570(ADC)数字化。模拟数字转换器570向图像处理器575供应数字化像素信号，图像处理器575执行本发明的处理方法700。或者，图像处理器575可用如从模拟数字转换器570所接收的原始格式来输出图像文件，其可根据本发明由不同的处理器来接收并处理所述图像文件。

在图6中大体上在600处说明了包括具有像素阵列的成像器装置605的典型处理器系统，在所述像素阵列中根据本发明而内插像素信号。成像器装置605从由像素阵列供应的信号产生输出图像。处理器系统示范性说明接收CMOS成像器装置的输出的系统。此系统可包括但不限于计算机系统、相机系统、扫描仪、机器视觉系统、医学传感器系统(例如药丸传感器)及自动诊断系统及其它成像系统，其全部可利用本发明。或者，如果成像器装置605中的图像处理器575提供改进的图像信号，则本发明可在处理系统600中执行。

举例而言，处理器系统600(例如计算机系统)通常包含中央处理单元(CPU)610(例如微处理器)，其经由总线620与输入/输出(I/O)装置615通信。成像器装置605也经由总线620或其它通信链路与系统通信。基于处理器的系统600还包括随机存取存储器(RAM)625，且可包括抽取式存储器630(例如快闪存储器)，其也经由总线620与CPU 610通信。成像装置600可与具有或不具有存储装置的处理器(例如CPU、数字信号处理器或微处理器)组合于单个集成电路上或可与处理器在不同的芯片上。

本发明并非限于上文所述的实施例。举例而言，实施处理方法的程序可存储于载体媒体上，所述载体媒体可包括RAM、软盘、数据传输、压缩光盘等，且接着由接收并根据本发明处理图像文件的相关联的处理器执行，或者可在电路中实施所述处理方法，或者是以上两种情况的组合。另外，本发明可实施为用于现存软件应用程序的插件或其可独立使用。本发明并非限于本文所指定的载体媒体，且可使用此项技术中已知的任何载体媒体来实施本发明。

应了解，内插像素的绿、红及蓝色的值的其它方法也在本发明的范围内，且本发明并非限于上文所述的等式或修正项的使用。具体而言，(例如)可在计算内插值时替代本文所论述的像素或除本文所论述的像素之外使用其它周围像素。由此，应仅将上文的描述及图式视为说明实现本发明的特征及优点的示范性实施例。凡属于随附权利要求书的精神及范围内的对本发明的任何修改均应被视为本发明的一部分。因此，不应将本发明视为受前面的描述及图式限制，本发明仅受随附权利要求书的范围的限制。