用于改善的动态范围的具有多个读取电路路径的图像传感器设备和方法

摘要

本发明提供了一种图像传感器设备，其包括用于生成具有高动态范围的数字图像的图像传感器。该图像传感器设备包括在第一位元深度生成第一和第二组数字图像样本的图像传感器，每组数字图像样本由不同的列读取电路路径生成。处理器结合第一和第二组数字图像样本，从而在第二位元深度生成数字图像；其中，第二位元深度比第一位元深度高。

说明书

技术领域

一般而言，本发明涉及改善CMOS图像传感器的动态范围。更具体地 讲，本发明涉及使用多个读取电路路径来改善CMOS图像传感器之动态 范围的图像传感器设备和方法。

背景技术

图像传感器是一类装置，其获取并处理光线，使其成为电子信号， 从而形成静态的图像或视频。其用途已在众多场合下普遍使用，如工业 应用和科学应用，包括数码相机和手提摄像机、手握式移动装置、网络 摄影、医学应用、汽车应用、游戏和玩具、安全和监控、模式识别以及 自动检测等等。用于制造图像传感器的技术一直在持续高速进步。

目前有两种主要的图像传感器类型：电荷耦合器件(Charge-Coupled Device，＂CCD＂)传感器和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，＂CMOS＂)传感器。一直到最近，多数的图像传感 器还是CCD型。早期的CMOS传感器具有低的灵敏度以及高的噪音水 平，这将其使用仅仅局限在少数的廉价和低分辨率的应用场合。CMOS 技术的最近进展，已经能成功开发高性能的CMOS传感器，其在很多其 它应用领域中正快速地取代CCD，特别是在那些速度、能耗、空间大小、 以及芯片功能是重要因素的应用领域中。

在上述两种图像传感器中，采集光线的光位都是形成在衬底上，并 排列成二维阵列。光位(photosite)，通常称为图像元件或者＂像素＂，能 将入射光线转换成电荷。像素的数量、空间尺寸和间隔决定了传感器所 生成的图像的分辨率。通常，现代的图像传感器包括以像素阵列排列的 数百万的像素，以便提供高分辨率的图像。

通常，像素阵列中的每个像素所蓄积的电荷由＂读取电路＂读取出来， 在此，其以像素阵列中的被读取像素的次序为基础，转换成数字图像样本。 读取电路可以包括下述的组合：放大器、采样和保持电路、模数转换器、 以及其它将二维电荷转换成为数字图像样本的电路元件。数字图像样本 可在图像信号处理器(＂ISP＂)或者其它数字信号处理器(＂DSP＂)中进 行进一步处理，生成数字图像输出。

有多种方法可用来选择通过读取电路对像素阵列中的像素进行读取 的次序。例如，阵列中的像素可以单独读取并顺序处理。或者，一行中 的像素可以同时读取，并且每列都被读取电路平行处理。处理过的信号 储存在线存储器(line memory)中，随后被顺序读取。在该情况下，因 为每个读取电路一次处理一行，其频率和能量需求得以显著降低。在大 多数的CMOS图像传感器器件中采用该平行方法。

图1所示为采用该平行方式的CMOS图像传感器器件的一个示例。 CMOS图像传感器器件100包括像素阵列105，其具有排列成行线和列 线二维模式的若干个像素。CMOS图像传感器器件100由控制器110操 作，其控制从像素阵列105中选择出被读取的像素。一行中的所有像素 被多个列读取电路115同时关闭并平行读取。行线上的像素被行选择器 电路120选择并激活，以响应来自控制器110的控制信号。行选择器电 路120在选择的行线上施加驱动电压，激活该选择的线中的像素。随后， 所选择的线中的像素被列读取电路115读取出来，以响应来自控制器110 的控制信号。

每个列线连接到一个列读取电路。列读取电路又连接到像素输出站 125。像素输出站125获取被列读取电路115读取的电荷，并将它们转换 成数字图像样本。随后，这些样本在处理器130中进行处理，以生成数字图 像输出135。

图2表示了连接到输出站125的列读取电路115的一个示例。列读 取电路115a-b包括列放大器205a-b，其用于放大分别从列线215a中的 像素210a读取的电荷以及从列线215b中的像素210b读取的电荷。列读 取电路115a-b还包括用于读取放大的电荷的采样和保持电路220a-b。列 线215a-b，也称为“位线”，给定列中的所有像素均连接到该线上，而且 每个像素的电荷都从该线上被读取。

电荷输入到像素输出站125中，像素输出站125包括用于进一步放 大电荷的第二站或整体放大器225、以及用于将电荷转换成数字图像样 本的模数转换器230。

如图3所示，像素阵列105中的典型像素可以包括光电检测器以及 其后的四晶体管(＂4T＂)结构。像素300包括光电检测器305，其后跟随 有传输晶体管310、复位晶体管315、源跟随晶体管(source follower transistor)320、以及行选择晶体管325。光电检测器305将入射光线转 换为电荷。当传输晶体管310被传输门控制信号＂TX＂触发时，电荷经过 传输晶体管310被浮动扩散区域(floating diffusion region)330接收。复 位晶体管315连接在浮动扩散区域330以及电源电压线335之间。复位 控制信号＂RST＂用来触发复位晶体管310，从而在从光电检测器305传输 电荷之前，将浮动扩散区域330复位到电源电压线355的电源电压V_cc。

源跟随晶体管320连接到位于电源电压线335和行选择晶体管325 之间的浮动扩散区域330。源跟随晶体管320将储存在浮动扩散区域330 处的电荷转换为输出电压＂V_out＂。行选择晶体管325由行选择信号控制 ＂RS＂控制，选择性地将源跟随晶体管320以及它的输出电压V_out连接到 像素阵列的列线340。

引入图3所示的4T结构，是为了提高CMOS图像传感器器件所生 成图像的整体品质。CMOS图像传感器器件的图像品质取决于许多因数， 如传感器中的电路所引入的噪声源以及这类电路可获得的动态范围。噪 声源包括固定图形噪声(fixed pattern noise，＂FPN＂)和列读取电路所引 起的读取噪声、复位晶体管所引起的复位噪声、光电检测器所引起的光 子散射噪声(photon shot noise)、以及其它的噪声源，如暗电流噪声和热 噪声。

采用专门的列放大器或者执行平场改正(flat field correction)，可以 显著减少或消除FPN。例如，美国专利第6,128,039号揭示了采用开关电 容放大器(switching capacitor amplifier)用于高FPN的降低的列放大器。 在列读取电路的采样和保持电路站，使用被称为关联双采样(Correlated Double Sampling，“CDS”)的技术，也可以消除复位噪声。在复位晶体 管的复位期间和源跟随晶体管处的输出电压的传输期间，CDS对列线处 的电压输出采样两次。样本彼此相减，从而消除复位噪声。其它形式的 噪声，如光子散射噪声、暗电流噪声、以及热噪声，则更难被消除。 已经提出了一些方法来改善CMOS图像传感器的动态范围。动态范 围定义为最大的与最小的可检测亮度信号的比值。在低光照条件下以及 为了获取大多数真实情景中的亮度变化范围较大的图像，高动态范围是 所期望的。随着传感器动态范围的增大，同时记录图像中最暗和最亮亮 度的能力得以改善。

图像传感器的动态范围通常用灰度大小、分贝或位(bits)来表示。 具有较高信噪比的图像传感器，会产生较高的动态范围值(更大的分贝 或位)。此外，采用高位元深度模数转换器(ADCs)的图像传感器，也 会产生较高的动态范围值。例如，12位模数转换器对应于比4,000灰度 略高或者72分贝(dBs)，而10位模数转换器只能转换用于60分贝动态 范围的1,000灰度。

改善CMOS图像传感器动态范围的努力已经聚焦于设计改良的像素 单元、列放大器或读取电路。目前已知的有，采用高位元深度模数转换 器的CMOS图像传感器器件，如14位模数转换器，但是与对等的电荷 耦合器件相比，这些装置趋于昂贵，需要更为复杂的列读取电路，并且 消耗显著高的动力和半导体芯片面积。

因此，期望提供一种CMOS图像传感器设备，其提供改善的动态范 围和更好的噪声降低，但不需要昂贵的、高动力驱动的列读取电路。特 别地，期望提供一种CMOS图像传感器设备，其能够模仿(emulating) 高位元深度模数转换器的高动态范围，但没有复杂的列读取电路。

发明内容

本发明公开了一种图像传感器设备，其包括在第一位元深度生成第 一和第二组数字图像样本的图像传感器，每组数字图像样本由不同的列 读取电路路径生成。处理器将第一和第二组数字图像样本结合，而在第 二位元深度生成数字图像，第二位元深度比第一位元深度高。

本发明的一实施方式包括用于模仿第一位元深度模数转换器所得之 动态范围的图像传感器设备。该图像传感器设备包括排列成多个行线和 列线的像素阵列。多个第一和第二列读取电路平行连接到多个列线，每 个第一列读取电路连接到第一输出站，而每个第二列读取电路链接到第 二输出站；第一和第二输出站在第二位元深度处生成数字图像样本。处 理器连接到第一和第二输出站，以接收数字图像样本，并从该数字图像 样本生成第一位元深度的数字图像输出。

本发明的另一实施方式包括一种用CMOS图像传感器提供高动态范 围数字图像的方法。排列成多个行线和列线的像素阵列从入射光线生成 电荷。平行连接到多个列线的多个第一和第二列读取电路从像素阵列读 取电荷，第一和第二列读取电路具有不同的放大响应。第一和第二输出 站将该电荷转换成第一位元深度的数字图像样本，其中，第一输出站连 接到多个第一列读取电路，第二输出站连接到多个第二列读取电路。处 理该数字图像样本，从而在第二位元深度处生成数字图像输出。

本发明的再一实施方式包括一种用于生成数字图像输出的图像传感 器设备，该图像传感器设备包括图像传感器，其采用具有不同放大响应 的第一和第二列读取电路路径在第一位元深度处生成数字图像样本，其 中，第一位元深度比数字图像输出的第二位元深度小。

附图说明

下面，结合附图进行详细地描述，以便更充分地理解本发明，其中， 相同的附图标记表示相同的部分：

图1显示了一种现有技术的CMOS图像传感器设备；

图2显示了与图1所示CMOS图像传感器设备一起使用的现有技术 列读取电路和输出站；

图3显示了与图1所示CMOS图像传感器设备一起使用的现有技术 像素；

图4显示了依照本发明一实施方式制造的CMOS图像传感器设备；

图5是图4所示CMOS图像传感器设备的较为详细的图；

图6是图4所示CMOS图像传感器设备的更为详细的图；

图7显示了与图4所示CMOS图像传感器设备一起使用的采样和保 持电路；以及

图8是一种CMOS图像传感器设备的视图，其包括图7所示的采样 和保持电路并依照本发明的一实施方式制造。

具体实施方式

本发明提供了一种可生成高动态范围数字图像的图像传感器设备。 此处如通常使用的，图像传感器可以是一种器件或电路，其包括获取光 学图像并将其处理成电子信号的像素阵列。通常，电子信号可由读取电 路读取，由读取电路随后的输出站转换成数字图像样本，并由图像信号 处理器(＂ISP＂)或其它能够将数字图像样本处理成为数字图像或视频的 器件或电路来处理。

读取电路可以是任何能够读取被图像传感器中像素蓄积的电荷的电 路。读取电路随后的输出站可以包括将读取电路所读取的电荷转换为数 字图像样本的模数转换器(＂ADCs＂)。ISP可包括用于处理数字图像样本 以生成数字图像输出的各种不同的可执行程序。

图4显示的是依照本发明一实施方式制造的图像传感器设备。图像 传感器设备400包括由按二维模式排列成行线和列线的多个像素所组成 的像素阵列405。像素阵列405中的每个像素接收入射光线，并将其转 换成与入射光线所获取的图像信息相对应的电荷。

可以理解，像素阵列405中的像素可以是如图3所示的具有四个晶 体管构造的像素。也可以理解，每个像素可以包括行选择＂RS＂控制信号 输入，以指示在任意给定时间所选择的进行读取的行。

在一示范实施方式中，一行的每个像素中蓄积的电荷被一次平行读 取。在该示范实施方式中，给定行的所有像素被多个列读取电路平行读 取，其中，每个列读取电路读取给定列线的像素中蓄积的电荷。

例如，积聚在列线410的每个像素415中的电荷被第一列读取电路 420和第二列读取电路425读取。从下面更详细的显示中可知，第一和 第二列读取电路420-425包括将电荷转换成为一组模拟样本的采样和保 持电路。该采样和保持电路可以连接到一个或多个控制信号，该信号指 示在任意选定时间所选择进行读取的列。例如，控制信号可以是由CMOS 图像传感器设备400中的控制器(图未示)所生成的。可以理解，像素 阵列405中的每个列线可以连接到一组第一和第二列读取电路，其等同 于(即具有相同的电路元件)连接到列线410的第一和第二列读取电路 420-425。

第一和第二列读取电路420-425分别连接到第一输出站430和第二 输出站435。第一列读取电路420和第一输出站430形成第一读取电路 路径445。同样地，第二列读取电路425和第二输出站435形成第二读 取电路路径450。

第一和第二输出站430-435将第一和第二列读取电路420-425生成的 模拟图像样本转换为一组数字图像样本。第一输出站430将第一列读取 电路420生成的模拟图像样本转换为第一组数字图像样本，而第二输出 站435将第二列读取电路425生成的模拟图像样本转换为第二组数字图 像样本。

在一示范实施方式中，在模数转换之前，输出站430-435还放大由 第一和第二列读取电路420-425所生成的模拟图像样本。可以理解，单 个第一输出站430和单个第二输出站435，连接到在CMOS图像传感器 设备400中读取蓄积在像素阵列405之像素中电荷的所有列读取电路。 还可以理解，第一和第二输出站430-435每个均一次接收与单个像素相 对应的一组模拟图像样本，从而响应控制信号指示，选择出所要读取的 行和列，这在下文中将详细描述。

依照本发明的一示范实施方式，第一和第二输出站430-435利用具 有第一位元深度的模数转换器，例如采用10位模数转换器，将第一和第 二列读取电路420-425所生成的模拟图像样本，转换为第一和第二组数 字图像样本。

第一和第二输出站430-435所生成的第一和第二组数字图像样本， 经由处理器440处理，生成数字图像输出。可以理解，第一和第二组数 字图像样本与蓄积在单个像素中的电荷相对应。这样，第一和第二组数 字图像样本是相等同的，且表示了冗余信息。

处理器440可包括将数字图像样本处理为数字图像输出的ISP或 DSP。在该示范实施方式中，处理器440是具有第二位元深度的处理器， 例如14位ISP。第二位元深度可以至少等于或大于第一位元深度。

处理器440可包括用于结合第一位元深度之数字图像样本、从而生 成具有第二位元深度之数字图像输出的程序。例如，处理器440可以包 括用于将输出站430生成的第一组数字图像样本与输出站435生成的第 二组数字图像样本进行平均的程序。其它的程序可用来结合第一和第二 组数字图像样本，形成数字图像输出。

可以理解，采用第一位元深度之两个冗余组的数字图像样本，生成 第二位元深度之数字图像输出，改善了CMOS图像传感器设备400的动 态范围，但与第二位元深度之数字图像输出所需要的传统电路相比，却 可以使用更为简单和便宜的电路。例如，可以获得第二位元深度之数字 图像输出，而不需要采用具有第二位元深度以及其相关的更为复杂昂贵 的列读取电路的模数转换器。

在一示范实施方式中，采用两个10位模数转换器可获得14位动态 范围，其中，一个10位模数转换器在第一输出站430中，而另一个在第 二输出站435中。可以理解，使用两个10位模数转换器，明显比使用单 独的14位模数转换器更节省，因为不需要采用高位元深度模数转换器通 常所需要的复杂的校准程序。

这样，通过使用低位元深度模数转换器，CMOS图像传感器设备400 能够仿真高位元深度模数转换器所能获得的高动态范围。可以理解，如 果与CMOS图像传感器一起使用的当前模数转换器具有至少14位深度， 则可以认为具有高位元深度。也可以理解，也可以使用具有其它位元深 度的模数转换器和处理器，例如高于14位，而不偏离本发明的原则和实 施方式。

图5是CMOS图像传感器设备400较为详细的图。其中，第一列读 取电路420包括用于放大积聚在列线410之每个像素415中电荷的列放 大器500以及用于将放大的电荷转换成为第一组模拟图像样本的采样和 保持电路505。第二列读取电路425不包括列放大器，其将积聚在列线 410之每个像素415中的电荷读取而直接进入采样和保持电路510中。 可以理解，第一列读取电路420中的采样和保持电路505以及第二列读 取电路425中的采样和保持电路510可以是等同的，即包括相同的电路 元件。

也可以理解，在第一列读取电路420中使用列放大器500而在第二 列读取电路425中不使用，可以在CMOS图像传感器设备400中提供具 有不同的放大响应的两个信号路径。第一列读取电路420连同输出站430 一起，可以用来提供第一列读取电路路径445；而第二列读取电路425 连同输出站435一起，可以用来提供第二列读取电路路径450。

第一列读取电路路径445可以是＂亮＂信号路径，因为列放大器500 放大积聚在列线410之像素415中的电荷，从而获得更高更亮的亮度， 并获得较高的动态范围。没有列放大器的第二列读取电路路径450可以 是＂暗＂信号路径，从而获得较低较暗的亮度，并且也对CMOS图像传感 器设备400的较高动态范围有益。

可以理解，第二列读取电路425也可以包括列放大器，从而进一步 提高CMOS图像传感器设备400的动态范围。进而，可以理解，列读取 电路420中的列放大器500可以是特别设计的列放大器，以获得更高的 动态范围。

也可以理解，第一和第二列读取电路路径445-450可以设计成提供 给定的放大响应，以获得期望的动态范围。例如，第一列读取电路路径 445可以设计为具有一个放大响应，以获取所期望的亮度值。相反，第 二列读取电路450可以设计为具有如此的放大响应，以获取所期望的暗 度值。一般来说，采用具有“n”位位元深度的两个列读取电路路径，其中 一个列读取电路路径提供＂2^K＂增益的放大响应，会产生＂n+k＂动态范围。 因此，可以理解，CMOS图像传感器设备400可以设计为具有这样的位 元深度和列读取电路路径，其具有期望的放大响应，以获得给定的动态 范围。

第一和第二输出站430-435包括整体放大器(global amplifier)，从 而为积聚在列线410之像素415中的电荷提供进一步的放大，而且也改 善CMOS图像传感器设备400的动态范围。第一输出站430包括整体放 大器510，而第二输出站435包括整体放大器520。整体放大器510和整 体放大器520依次分别连接到模数转换器515和525。模数转换器515 和525可以是具有第一位元深度的模数转换器。

可以理解，整体放大器510和整体放大器520可以是等同的，也就 是包括相同的电路元件。也可以理解，模数转换器515和525可以是等 同的，而不脱离本发明的原则和实施方式。

图6是图5所示的CMOS图像传感器设备400的更加详细的图。 CMOS图像传感器设备400的像素阵列405表示为具有两个列线，即列 线410和列线600。像素阵列405的每个列线包括连接到其上的一组第 一和第二列读取电路。列线410连接到第一列读取电路420和第二列读 取电路425。列线600连接到第一列读取电路610和第二列读取电路615。

类似于第一列读取电路420，第一列读取电路610也包括列放大器 620以及采样和保持电路625。类似于第二列读取电路425，第二列读取 电路615也包括直接连接到列线的采样和保持电路630。可以理解，列 放大器500和620可以是等同的。也可以理解，采样和保持电路505、 510、625以及630也可以是等同的。

第一列读取电路420和610两者均选择性地连接到第一输出站430。 相反，第二列读取电路425和615两者均选择性地连接到第二输出站425。 控制信号输入到采样和保持电路505、510、625和630，指示出所选择 的像素阵列405的列，以便由第一和第二输出站430-435在给定时间进 行处理。

图7显示了与图4CMOS图像传感器设备400一起使用的采样和保 持电路。采样和保持电路700包括第一组晶体管705和710以及第二组 晶体管715和720。第一组晶体管705和710由控制信号驱动，该控制 信号指示使用在水平(即，行)扫描像素阵列405中的水平消隐间隔 (＂HBLK＂)。第二组晶体管715-720由指示选择要读取的列的控制信号 驱动(＂CS＂)。

电容器＂C_BLK＂725保持蓄积在像素阵列400的像素中的电荷并读取电 荷进入进入晶体管705。电容器＂C_SIG＂保持蓄积在像素阵列400中的电荷 并读取进入晶体管715。电容器730保持的电荷随后被释放给晶体管 715-720，从而生成与电荷相对应的一组模拟图像样本。

可以理解，电容器725-730需要具有这样的尺寸，从而仅支持输出 站430-435中的模数转换器所采用的第一位元深度，输出站430-435设置 在第一和第二列读取电路420-425之后。电容器725-730可以比用于支持 处理器440的第二位元深度的电容器小。

因此，CMOS图像传感器设备400通过采用比支持第二位元深度之 所需传统电容器的尺寸小得多的电容器，能够提供第二位元深度的较高 动态范围。这同样进一步节省了获得较高动态范围的电路制造和复杂性 成本。

也可以理解，采样和保持电路700是关联双采样器。在晶体管715 获得的第一组模拟图像样本，与像素阵列705的每个像素中的复位晶体 管的复位期间所读取的图像样本相对应。在晶体管720获得的第二组模 拟图像样本，与在复位期间之后所读取的图像样本相对应。随后，第一 和第二组模拟图像样本在后续的输出站彼此相减，从而消除CMOS图像 传感器设备400中的复位噪声。

图8是CMOS图像传感器设备400的另一详细视图。CMOS图像传 感器设备400表示为具有连接到像素805的列线800。第一列读取电路 420包括依照在图7所示之示范实施方式设计的列放大器810以及采样 和保持电路815。第二列读取电路415包括同样依照图7所示之示范实 施方式设计的采样和保持电路820。

连接到第一列读取电路420的第一输出站430包括整体放大器825 和具有第一位元深度的模数转换器830。连接到第二列读取电路425的 第二输出站435包括整体放大器835和具有第一位元深度的模数转换器 840。第一和第二输出站430-435连接到处理器440，生成数字图像输出。

可以理解，采样和保持电路815-820可以是等同的。也可以理解， 整体放大器825和835也可以是等同的。在一个示范实施方式中，采样 和保持电路815-820可以是关联双采样器，并且整体放大器825和835 可以是差分电路放大器(differential amplifier)，以便将关联双采样器所 生成的第一和第二模拟图像样本组相减。进一步，可以理解模数转换器 830和840也可以是等同的。

如上面的详细描述，可以理解，第一和第二输出站可连接到多个第 一和第二列读取电路，每个第一和第二列读取电路连接到像素阵列405 的给定列线。也可以理解，像素阵列405的每个像素中的＂RS＂(行选择) 控制信号以及列读取电路的每个采样和保持电路中的＂CS＂(列选择)控 制信号，指示输出站430-435在给定的时间读取给定行和列中的哪个像 素。

有利的是，尽管采用更简单和更便宜的电路元件，CMOS图像传感 器设备400仍能生成具有高动态范围的数字图像输出。例如，当仅采用 10位模数转换器以及包括有支持10位模数转换器的电容器尺寸的采样 和保持电路时，CMOS图像传感器设备400可以获得14位动态范围。这 使目前存在于CMOS和CCD图像传感器之间的动态范围差别，能够显 著减小，因为CMOS图像传感器设备400能提供高动态范围的数字图像， 而设计和制造成本类似于或者优于CCD图像传感器类似物。

为了说明的目的，前面的描述采用了特定的术语，以便充分理解本 发明。然而，本领域技术人员显然知道，特定的细节不是实施本发明所 必需的。因此，上述对本发明特定实施方式的描述只是为了示范和描述 目的。它们并非是穷尽式的描述，或者是将本发明限制为所述的精确形 式；显然，基于上述的启示，很多改进和变化都是可能的。选择并描述 这些实施方式是为了最好地解释本发明的原则和其实际应用，以便使本 领域的其它技术人员能够来最好地利用本发明，而具有各种改进的各种 实施方式，可以适合于特定的预期用途。下述的权利要求和其等同物旨 在定义本发明的范围。