影像感测装置与缺陷像素检测与补偿方法

摘要

本发明提供一种影像感测装置与缺陷像素检测与补偿方法，本发明的少量行缓冲器需求的影像感测装置，其中一逻辑电路根据感测元件阵列感测的第n行感测数据、以及多条行缓冲器所储存的数据，寻出第n行感测数据的缺陷像素候选所在，以于该感测元件阵列提供第(n+p)行感测数据时，根据第(n+p)行感测数据以及上述多条行缓冲器所储存的数据，复核该第n行感测数据上的缺陷像素候选，以进行补偿。该感测元件阵列提供第n行感测数据时，上述多条行缓冲器储存第(n-p)行感测数据至第(n-1)行感测数据。该感测元件阵列提供该第(n+p)行感测数据时，上述多条行缓冲器储存第n行感测数据至第(n+p-1)行感测数据。

说明书

技术领域

本发明涉及一种影像感测装置以及感测元件阵列缺陷像素检测与补偿方 法，特别是涉及一种行缓冲器(linebuffer)的数量缩减。

背景技术

影像感测用的感测元件阵列(sensorarray，如CMOS阵列)可能存有感 测效果不佳的缺陷像素(defectpixel)-例如，暗点或亮点。

本技术领域一项重要课题为正确地检测出感测元件阵列上的缺陷像素、并 且妥善进行补偿。

发明内容

本发明揭示一种少量行缓冲器需求的影像感测装置以及感测元件阵列缺 陷像素检测与补偿方法。

根据本发明一种实施方式所实现的一影像感测装置包括多条行缓冲器以 及一逻辑电路。该逻辑电路根据一感测元件阵列所感测的一第n行感测数据、 以及上述多条行缓冲器所储存的数据，寻出该第n行感测数据的缺陷像素候选 所在，以于该感测元件阵列提供一第(n+p)行感测数据时，根据该第(n+p)行感 测数据以及上述多条行缓冲器所储存的数据，复核该第n行感测数据上的缺陷 像素候选，以进行补偿。该感测元件阵列提供该第n行感测数据时，上述多条 行缓冲器储存一第(n-p)行感测数据至一第(n-1)行感测数据。该感测元件阵列提 供该第(n+p)行感测数据时，上述多条行缓冲器储存该第n行感测数据至一第 (n+p-1)行感测数据。

相较于传统技术，以上两阶段式缺陷像素评估方式使得行缓冲器数量减少 一半以上。本发明一种实施方式将上述感测元件阵列与上述少量的行缓冲器以 及该逻辑电路包装于同一封装内。

根据本发明一种实施方式所实现的一种感测元件阵列缺陷像素检测与补 偿方法，包括以下步骤：根据一感测元件阵列所感测的一第n行感测数据、以 及多条行缓冲器所储存的数据，寻出该第n行感测数据的缺陷像素候选所在； 以及，于该感测元件阵列提供一第(n+p)行感测数据时，根据该第(n+p)行感测 数据以及上述多条行缓冲器所储存的数据，复核该第n行感测数据上的缺陷像 素候选，以进行补偿。该感测元件阵列提供该第n行感测数据时，上述多条行 缓冲器储存一第(n-p)行感测数据至一第(n-1)行感测数据。该感测元件阵列提供 该第(n+p)行感测数据时，上述多条行缓冲器储存该第n行感测数据至一第 (n+p-1)行感测数据。

以下特举实施例，并配合所附附图，详细说明本发明内容。

附图说明

图1根据本发明一种实施方式示出一种影像感测装置100，包括采用两阶 段缺陷像素评估继而进行补偿的一缺陷像素检测补偿器102；

图2A为流程图，根据本发明一种实施方式示出该缺陷像素粗评模块108 的操作；

图2B为流程图，根据本发明一种实施方式示出该缺陷像素细评模块110 的操作；

图2C为流程图，根据本发明一种实施方式示出像素D_C_Pixel的缺陷像 素补偿程序P240(对应缺陷像素补偿模块112)；

图3A、图3B以及图3C举例说明以上缺陷像素粗评模块108、缺陷像素 细评模块110以及缺陷像素补偿模块112的运作概念；

图4根据本发明一种实施方式示出行缓冲器上的储存格式；

图5A、图5B以及图5C举例说明以上缺陷像素粗评模块108、缺陷像素 细评模块110以及缺陷像素补偿模块112的运作概念，其中针对绿色感测像素 作缺陷检测与补偿。

附图标记

100：影像感测装置102：缺陷像素检测补偿器

104：感测元件阵列106：逻辑电路

108：缺陷像素粗评模块110：缺陷像素细评模块

112：缺陷像素补偿模块B：蓝色感测像素/数据

BL：一位的亮点标志

B_W_Marker：缺陷像素候选的暗点/亮点标志

C_Pixel：一像素补偿后的结果

C_Raw_Data：缺陷像素补偿后的感测数据

D_L、D_R：缺陷像素的位置以及参考点信息

D_R(k)：索引k的参考点信息

G、G0…G12：绿色感测像素/数据

k：索引值

Line_Buffer_1、Line_Buffer_2：行缓冲器

Line_n、Line_n+2：装置接收Raw_n、Raw_n+2时，行缓冲器Line_Buffer_1、 Line_Buffer_2上所缓冲暂存的数据

R、R0…R8：红色感测像素/数据

Raw_Data：感测数据

Raw_n-2、Raw_n-1、Raw_n、Raw_n+1、Raw_n+2：第(n-2)行…第(n+2) 行感测数据

P240：缺陷像素补偿程序S202～S246：步骤

W：一位的暗点标志

具体实施方式

以下叙述列举本发明的多种实施例。以下叙述介绍本发明的基本概念，且 并非意图限制本发明内容。实际发明范围应依照权利要求书界定。

图1示出一种影像感测装置100，包括采用两阶段缺陷像素评估继而进行 补偿的一缺陷像素检测补偿器102。该缺陷像素检测补偿器102耦接一感测元 件阵列104(如CMOS阵列或其它)，以接收感测数据Raw_Data。该缺陷像 素检测补偿器102包括两条行缓冲器Line_Buffer_1、Line_Buffer_2与逻辑电 路106。逻辑电路106提供缺陷像素粗评模块108、缺陷像素细评模块110以 及缺陷像素补偿模块112。

缺陷像素粗评模块108作用时，感测元件阵列104提供第n行感测数据 Raw_n，且两条行缓冲器Line_Buffer_1、Line_Buffer_2储存内容为数据 Lines_n，包括第(n-2)行感测数据Raw_n-2以及第(n-1)行感测数据Raw_n-1。 缺陷像素粗评模块108根据该第n行感测数据Raw_n、以及两条行缓冲器 Line_Buffer_1、Line_Buffer_2所储存的数据Lines_n(包括Raw_n-2以及 Raw_n-1)，寻出该第n行感测数据Raw_n的缺陷像素候选所在。该第n行感 测数据Raw_n上的缺陷像素候选的位置、暗点/亮点标志、以及补偿运算时所 需的参考点信息分别载于D_L、B_W_Marker以及D_R中。

缺陷像素细评模块110作用时，感测元件阵列104提供第(n+2)行感测数 据Raw_n+2，且两条行缓冲器Line_Buffer_1、Line_Buffer_2储存内容为数据 Lines_n+2，包括第n行感测数据Raw_n以及第(n+1)行感测数据Raw_n+1。缺 陷像素细评模块110根据信息D_L获得第n行感测数据Raw_n上的缺陷像素 候选的位置信息，并根据信息B_W_Marker取得第n行感测数据Raw_n上的 缺陷像素候选的暗点/亮点标志。缺陷像素细评模块110将复核该第n行感测 数据Raw_n上的缺陷像素候选是否真为缺陷像素。缺陷像素细评模块110根 据该第(n+2)行感测数据Raw_n+2、以及两条行缓冲器Line_Buffer_1、 Line_Buffer_2所储存的数据Lines_n+2(包括Raw_n以及Raw_n+1)，复核 该第n行感测数据Raw_n上的缺陷像素候选。各缺陷像素候选的暗点/亮点标 志(B_W_Marker)即用于辅助此复核程序。粗评(108)时判断可能为亮点的 缺陷像素候选，倘若又经细评(110)认定为亮点，则可确定为亮点缺陷像素。 粗评(108)时判断可能为暗点的缺陷像素候选，倘若又经细评(110)认定为 暗点，则可确定为暗点缺陷像素。细评(110)确认的缺陷像素即可以该缺陷 像素补偿模块112作缺陷像素补偿。

如图所示，假设缺陷像素细评模块110判定信息D_L的索引k所指的感 测元件确实为缺陷像素，则缺陷像素补偿模块112可根据索引k自信息D_L 取得该感测元件位置，并根据索引k自信息D_R取得补偿所需的参考点信息。 缺陷像素补偿模块112根据上述参考点信息、两条行缓冲器Line_Buffer_1、 Line_Buffer_2所储存的数据Lines_n+2(包括Raw_n以及Raw_n+1)、以及 第(n+2)行感测数据Raw_n+2作第n行感测数据Raw_n的缺陷像素补偿。一缺 陷像素补偿后的结果为C_Pixel，将取代该缺陷像素原本感测到的数值。如此 一来，缺陷像素检测补偿器102提供缺陷像素补偿后的感测数据C_Raw_Data 给后端模块(如，抗噪处理模块、影像压缩模块…等)。

图2A为流程图，根据本发明一种实施方式示出该缺陷像素粗评模块108 的操作，其中逐像素分析该第n行感测数据Raw_n是否存有缺陷像素候选，j 为像素索引。缺陷像素候选的位置、暗点/亮点标志以及参考点信息则是以索 引k记录于信息D_L、B_W_Marker以及D_R中。步骤S202用于重置索引j 与k，例如，j＝k＝0。步骤S204根据该第n行感测数据Raw_n、以及两条行缓 冲器Line_Buffer_1、Line_Buffer_2所储存的数据Lines_n(包括Raw_n-2以及 Raw_n-1)分析该第n行感测数据的索引j像素Raw_n(j)。步骤S206若判定像 素Raw_n(j)为缺陷像素候选，则流程进行步骤S208，以索引k将像素Raw_n(j) 的位置、暗点/亮点标志、以及参考点信息分别记录至信息D_L、B_W_Marker 以及D_R。步骤S210负责递增索引值k。步骤S212判断第n行感测数据Raw_n 是否所有像素都完成缺陷像素粗评。倘若步骤S206判定像素Raw_n(j)非缺陷 像素候选，则流程略过步骤S208、S210，进行步骤S212。倘若步骤S212判 定第n行感测数据Raw_n尚有像素未粗评过，则流程进行步骤S214递增索引 值j，并再次进行步骤S204。若步骤S212判定第n行感测数据Raw_n所有像 素皆粗评过，则程序切换进入缺陷像素细评。

图2B为流程图，示出该缺陷像素细评模块110的操作。步骤S222判断 第n行感测数据Raw_n是否存在缺陷像素候选。若第n行感测数据Raw_n存 在缺陷像素候选，则流程进入步骤S224，索引值k初始化，例如，索引值k 初始化至零。步骤S226以索引值k查询位置信息D_L，以寻得为缺陷像素候 选的一像素D_C_Pixel。步骤S228根据该第(n+2)行感测数据Raw_n+2、以及 两条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的数据Lines_n+2(包括 Raw_n以及Raw_n+1)，复核该缺陷像素候选D_C_Pixel。缺陷像素候选 D_C_Pixel的暗点/亮点标志即根据索引值k查询信息B_W_Marker获得，用于 辅助上述复核程序。步骤S230若判定缺陷像素候选D_C_Pixel并不属缺陷像 素，则流程进行步骤S232，识别第n行感测数据Raw_n是否尚有未复核的缺 陷像素候选。若第n行感测数据Raw_n尚有未复核的缺陷像素候选，则流程 进行步骤S234递增索引值k，并再次进行步骤S226。若步骤S232判定第n 行感测数据Raw_n所有缺陷像素候选皆复核过，则程序结束。

如图所示，倘若步骤S230判定缺陷像素候选D_C_Pixel符合缺陷像素， 则可以程序P240对该像素D_C_Pixel进行补偿。图2C为流程图，示出该像 素D_C_Pixel的缺陷像素补偿程序P240。步骤S242以索引值k查询信息D_R， 获得像素D_C_Pixel的参考点信息。索引k也可用于自信息D_L寻得该像素 D_C_Pixel于第n行感测数据Raw_n的位置。步骤S244基于上述参考点信息、 两条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的数据Lines_n+2(包括 Raw_n以及Raw_n+1)、以及该第(n+2)行感测数据Raw_n+2对该像素 D_C_Pixel作缺陷像素补偿，得出补偿后的结果C_Pixel。步骤S246负责以补 偿结果C_Pixel取代原本像素的感测数据，继而程序P240结束。

图3A、图3B以及图3C举例说明以上缺陷像素粗评模块108、缺陷像素 细评模块110以及缺陷像素补偿模块112的运作概念。

图3A对应以上缺陷像素粗评模块108的操作，此时，感光元件阵列104 提供第n行感测数据Raw_n，其中包括红色感测像素R3、R4以及R5，而两 条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的是数据Lines_n，包括属于 第n-2行感测数据Raw_n-2的红色感测像素R0、R1以及R2。识别第n行感 测数据Raw_n的红色感测像素R4是否为缺陷像素候选时，本实施例将其与第 n行感测数据Raw_n的红色感测像素R3与R5、以及数据Lines_n所提供的红 色感测像素R0、R1以及R2比较。若像素R4数值远大于(例如，大于一临 界差距)像素R0、R1、R2、R3以及R5的数值，则像素R4可能为亮点。若 像素R4数值远低于(例如，低过一临界差距)像素R0、R1、R2、R3以及 R5的数值，则像素R4可能为暗点。以上暗点/亮点判断结果可采索引k记录 于暗点/亮点标志B_W_Marker中。红色感测像素R0、R1以及R2数值更是以 索引k储存于信息D_R，作为参考点信息。

图3B对应以上缺陷像素细评模块110的操作，此时，感光元件阵列104 提供第(n+2)行感测数据Raw_n+2，其中包括红色感测像素R6、R7以及R8， 而两条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的是数据Lines_n+2，包 括属于第n行感测数据Raw_n的红色感测像素R4。若像素R4于图3A被判 定为缺陷像素候选，本实施例基于图3B比较数据Lines_n+2所载的红色感测 像素R4以及第(n+2)行感测数据Raw_n+2的红色感测像素R6、R7与R8，以 复核像素R4是否确为缺陷像素。例如，基于索引k所指示的暗点/亮点标志 B_W_Marker内容，判断像素R4是否真为亮点或暗点。若像素R4对应的暗 点/亮点标志显示像素R4可能为亮点，且像素R4数值远大于(例如，大于一 临界差距)像素R6、R7以及R8的数值，则可确认像素R4为亮点。若像素 R4对应的暗点/亮点标志显示像素R4可能为暗点，且像素R4数值远低于(例 如，低过一临界差距)像素R6、R7以及R8的数值，则可确认像素R4为暗 点。若像素R4确实为缺陷像素，可基于图3C概念补偿。

图3C对应以上缺陷像素补偿模块112的操作，此时，感光元件阵列104 提供第(n+2)行感测数据Raw_n+2，其中包括红色感测像素R6、R7以及R8， 而两条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的是数据Lines_n+2，包 括属于第n行感测数据Raw_n的红色感测像素R3、R4以及R5。若像素R4 于图3B被确认为缺陷像素，本实施例基于图3C，以索引k自信息D_R取得 像素R4的参考点信息R0、R1以及R2，并更根据该第(n+2)行感测数据Raw_n+2 的红色感测像素R6、R7与R8以及数据Lines_n+2所载的红色感测像素R3与 R5补偿像素R4的感测数据(即获得C_Pixel)。

相较于传统技术，本发明行缓冲器需求缩减至少一半。以图3A～图3C 的像素R4补偿为例，传统技术需要四条行缓冲器方能备齐补偿像素R4所需 的5x5拜耳(Bayer)图样。然而本发明仅使用两条行缓冲器即可达到同样补 偿效果。

另一种实施方式省略参考点信息的储存，即无信息D_R维护需求。如此 一来，像素R4可用的补偿参考为感光元件阵列104提供的第(n+2)行感测数据 Raw_n+2上的红色感测像素R6、R7、R8以及两条行缓冲器Line_Buffer_1、 Line_Buffer_2内数据Lines_n+2所提供的红色感测像素R3以及R5。一种实施 方式是以像素R3、R5、R6、R7、R8的中位数作C_Pixel，取代像素R4数值。 一种实施方式是根据像素R4为亮点或暗点，取像素R3、R5、R6、R7、R8 的最大值或最小值作C_Pixel，取代像素R4数值。一种实施方式是从像素数 值R7、(R3+R5)/2、(R5+R6)/2、(R3+R8)/2中选择适当数值作C_Pixel，取代 像素R4数值。

在一种实施方式中，上述缺陷像素候选的位置(D_L)、暗点/亮点标志 (B_W_Marker)、与参考点信息(D_R)记录于行缓冲器Line_Buffer_1、 Line_Buffer_2之外的逻辑单元中。该些逻辑单元可为D型正反器(Dflip flops)、缓存器…等。相较于一般以大尺寸装置(如SRAM)实现的行缓冲器 Line_Buffer_1、Line_Buffer_2，D型正反器(Dflipflops)、缓存器…等逻辑 单元更易作电路整合。如此一来，缺陷像素检测补偿器102以及感测元件阵列 104可包装于同一封装内。

另一种实施方式扩大行缓冲器Line_Buffer_1、Line_Buffer_2容量，以对 应各像素储存暗点/亮点标志。图4示出行缓冲器上的储存格式。地址0、1、2 对应不同像素。各地址除了储存对应像素的影像数据外，更以两位BL与W 标志可能为暗点或亮点。如此格式设计使得行缓冲器即带有信息D_L以及 B_W_Marker。

另有一种实施方式针对绿色感测像素作缺陷检测与补偿。图5A、图5B 以及图5C举例说明以上缺陷像素粗评模块108、缺陷像素细评模块110以及 缺陷像素补偿模块112的运作概念，其中针对绿色感测像素作缺陷检测与补 偿。

图5A对应以上缺陷像素粗评模块108的操作，此时，感光元件阵列104 提供第n行感测数据Raw_n，其中包括绿色感测像素G5、G6以及G7，而两 条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的是数据Lines_n，包括属于 第n-2行感测数据Raw_n-2的绿色感测像素G0、G1以及G2、以及属于第n-1 行感测数据Raw_n-1的绿色感测像素G3以及G4。识别第n行感测数据Raw_n 的绿色感测像素G6是否为缺陷像素候选时，本实施例比较数据Lines_n所提 供的绿色感测像素G0、G1、G2、G3与G4以及第n行感测数据Raw_n的绿 色感测像素G5、G6与G7。若像素G6数值远大于(例如，大于一临界差距) 像素G0、G1、G2、G3、G5以及G7的数值，则像素G6可能为亮点。若像素 G6数值远低于(例如，低过一临界差距)像素G0、G1、G2、G3、G5以及 G7的数值，则像素G6可能为暗点。以上暗点/亮点判断结果可以索引k记录 于暗点/亮点标志B_W_Marker中。绿色感测像素G0与G3的外插Gq (＝G3+(G3-G0))以及绿色感测像素G2与G4的外插Gr(＝G4+(G4-G2))两 者平均((Gq+Gr)/2)则是以索引k储存于信息D_R，作为参考点信息。

图5B对应以上缺陷像素细评模块110的操作，此时，感光元件阵列104 提供第(n+2)行感测数据Raw_n+2，其中包括绿色感测像素G10、G11以及G12， 而两条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的是数据Lines_n+2，包 括属于第n行感测数据Raw_n的绿色感测像素G5、G6与G7以及第(n+1)行 感测数据Raw_n+1的绿色感测像素G8与G9。若像素G6于图5A被判定为缺 陷像素候选，本实施例基于图5B比较数据Lines_n+2所载的绿色感测像素G6、 G8与G9以及第(n+2)行感测数据Raw_n+2的绿色感测像素G10、G11与G12， 以复核像素G6是否确为缺陷像素。例如，基于索引k所指示的暗点/亮点标志 B_W_Marker内容，判断像素G6是否真为亮点或暗点。若像素G6对应的暗 点/亮点标志显示像素G6可能为亮点，且像素G6数值远大于(例如，大于一 临界差距)像素G8、G9、G10、G11与G12的数值，则可确认像素G6为亮 点。若像素G6对应的暗点/亮点标志显示像素G6可能为暗点，且像素G6数 值远低于(例如，低过一临界差距)像素G8、G9、G10、G11与G12的数值， 则可确认像素G6为暗点。若像素G6确实为缺陷像素，可基于图5C概念补偿 的。

图5C对应以上缺陷像素补偿模块112的操作，此时，感光元件阵列104 提供第(n+2)行感测数据Raw_n+2，其中包括绿色感测像素G10、G11以及G12， 而两条行缓冲器Line_Buffer_1、Line_Buffer_2所储存的是数据Lines_n+2，包 括属于第n行感测数据Raw_n的绿色感测像素G5、G6与G7以及第(n+1)行 感测数据Raw_n+1的绿色感测像素G8与G9。若像素G6于图5B被确认为缺 陷像素，本实施例基于图5C，以索引k自信息D_R取得像素G6的参考点信 息((Gq+Gr)/2)，并搭配数据Lines_n+2所载的绿色感测像素G5、G7、G8 与G9以及第(n+2)行感测数据Raw_n+2的绿色感测像素G10、G11与G12补 偿像素G6的感测数据(即获得C_Pixel)。

图5A～图5C所举例子需要的参考点信息D_R极少量，可降低电路体积。

在某些实施方式中，略去红色与蓝色感测像素R与B的参考点信息 (D_R)，仅考虑储存绿色感测像素G的参考点信息(D_R)。

此外，在其它实施方式中，并不限定仅采用2条行缓冲器达到5x5缺陷像 素检测与补偿图样。更有实施方式是采用p条行缓冲器达到(2p+1)x(2p+1)缺陷 像素检测与补偿图样。

此外，在其它实施方式中，感测数据不限定为R、G、B数据，而是其它 感测数据型式，如Y、U、V值…等。

凡是采用上述概念作影像感测的缺陷像素检测与补偿的方案都属于本发 明所要保护的范围。基于以上技术内容，本发明更涉及缺陷像素检测与补偿方 法，不限定以特定架构的逻辑电路实现。一种实施方式以微控制器执行运算完 成以上技术内容。

虽然本发明已以较佳实施例揭示如上，然而其并非用以限定本发明，任何 熟悉此项技术的人员，在不脱离本发明的精神和范围内，当可作些许变更与修 饰，因此本发明的保护范围应当视由所附的权利要求书所界定为准。