具有存储器接口的CMOS传感器阵列

摘要

一种图像传感器包括传感器或像素阵列、数据存储器和逻辑电路,它们均在同一个集成芯片上制造。传感器或像素阵列输出数字信号作为表示景物图像的像素数据。数据存储器与传感器或像素阵列耦合以用于存储像素数据。逻辑电路与数据存储器耦合并提供一个存储器接口以用于输出像素数据。存储器接口可以是SRAM、DRAM或包协议同步DRAM接口之一。通过把存储器接口包括在图像传感器中,图像传感器可与外部图像处理单元的存储器接口端口直接耦合。图像处理单元能够使用传统的存储器存取协议来存取图像传感器,从而提高效率并降低图像处理单元的操作复杂性。

说明书

技术领域

本发明一般涉及一种图像传感器系统；具体来说，本发明涉及一种包括存储器接口的图像传感器。

背景技术

相关申请的相互参考

本发明是下述共同待审的美国专利申请No.09/567,638(代理卷号PIXI0002)的后续申请，该申请的题目为“具有检测区和数字存储区的集成数字像素传感器”，它在2000年5月9日提交且发明人为DavidYang等人，其中的两个人也是本发明的共同发明人。

发明背景

数字照相术是在过去一些年中出现的最令人兴奋的技术之一。通过使用合适的硬件和软件(以及一些知识)，任何人都可以把数字照相术的原理付诸实践。例如，数码相机就处于数字照相的前沿。伴随着电子邮件和万维网的出现，新产品的采用、技术的发展以及价格的下调均有助于使数码相机成为最热门的新型消费电子产品。

但是，数码相机并不是以传统胶片相机的方式进行工作。事实上，它们更接近于计算机扫描仪、复印机或传真机。大多数数码相机使用图像传感器或光敏器件，如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来读出景物。光敏器件对从景物反射的光起反应并把该反应的强度转换为电子电荷信号，这些电子电荷信号进而被数字化。例如，通过使光经过红、绿和蓝滤色器，可测量每个单独色谱的反应。当读出数据是通过软件来组合并求值时，相机可确定画面每一部分的特定颜色。由于图像实际上是数值数据的集合，因此可以容易地将其下载到计算机中并进行处理以获得更丰富的艺术效果。

在传统的数字成像应用中，图像传感器与用于接收和处理捕获图像的图像处理单元(通常是集成电路或芯片)耦合。图1所示为一种传统数字成像系统，它包括与图像处理单元耦合的图像传感器。参考图1，图像传感器10可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器，它通过像素数据线12与图像处理单元20通信。在图像传感器10捕获一个图像之后，通过在像素-比特宽像素数据总线12上在一个时刻输出一个像素的像素数据来执行传感器的读出。传统的图像传感器把数字像素数据或模拟像素值作为输出信号在像素数据总线上提供。在此，术语“像素数据”总体上指的是由图像传感器产生的数字像素数据和模拟像素值。图像处理单元20与存储器24耦合，在图像数据可被处理或控制之前，存储器24用于存储从图像传感器10接收的像素数据。参考图1，图像处理单元20通常包括两个接口：与图像传感器10耦合的传感器接口端口22a，用于接收来自该图像传感器的传感器读出；以及与存储器24耦合的存储器接口端口22b，用于存储传感器的读出。因此，在操作中，对于捕获的图像的每一帧来说，通过像素数据总线12，图像处理单元20首先从图像传感器10在一个时刻接收一个像素的传感器读出。图像处理单元20使接收的像素数据在存储器24中存储。之后，图像处理单元20可通过存储器接口端口22b存取该帧图像数据。

图1的传统数字成像系统有几个缺点。首先，由于像素数据是从图像传感器中一个时刻一个像素来读出的，所以传感器的读出可能会较慢，特别是对于大图像阵列来说。传统数字成像系统的速度受到像素数据总线12的像素传输率的限制，并且该像素数据总线成为成像系统的数据传输瓶颈。其次，图像传感器10根据预装的像素存取模式输出像素数据并且该存取模式在传感器读出期间不易改变。因此，如果希望像素存取模式变化，则图像处理单元20不得不首先停止当前的存取并在传感器读出可再次开始之前再装入新的存取模式。

因此需要的是一种与图像处理设备连接的能够提供合适有效的像素数据的图像传感器。

发明内容

根据本发明的一种图像传感器包括：传感器阵列、数据存储器和逻辑电路，它们均在同一个集成芯片上制造。该传感器阵列是一个二维像素单元阵列，它输出数字信号作为像素数据，以表示一个景物的图像。该数据存储器与该传感器阵列耦合以用于存储像素数据。该逻辑电路与该数据存储器耦合并提供一个存储器接口以用于输出像素数据。

在一个实施例中，存储器接口是SRAM、DRAM或包协议同步DRAM接口之一。

在一个实施例中，图像传感器的传感器阵列包括像素单元阵列，每个像素单元包括一个光检测器和一个模-数转换电路。光检测器在图像传感器曝露于目标时产生模拟信号。模拟信号被立即转换为数字信号。

在另一个实施例中，图像传感器包括诸如有源像素阵列这样的像素阵列来取代传感器阵列。像素阵列输出模拟像素值作为像素数据。图像传感器还可包括模-数转换电路以用于把来自像素阵列的模拟像素值转换为数字像素数据。

在又一个实施例中，图像传感器包括传感器阵列或像素阵列以及与传感器或像素阵列耦合的双端口存储器，它们均在同一个集成芯片上制造。双端口存储器提供存储器接口以用于输出像素数据。

通过把存储器接口包括在本发明的图像传感器中，图像传感器可与外部图像处理单元的存储器接口端口直接连接。该图像处理单元能够使用传统的存储器存取协议存取图像传感器，从而提高效率并降低图像处理单元的操作复杂性。

参考下面的详细描述以及附图将会更好地理解本发明。

附图描述

图1所示为一种传统图像系统，它结合了与图像处理单元耦合的图像传感器。

图2所示为根据本发明一个实施例的图像传感器的框图。

图3所示为根据本发明一个实施例的包括APS像素阵列的图像传感器的框图。

图4所示为根据本发明一个实施例的包括双端口存储器的图像传感器的框图。

图5所示为在SRAM接口和DRAM接口之间进行转换时使用的接口协议转换电路的一个实施例。

在本公开中，在不止一张附图中出现的相似对像以相似的参考数字表示。

具体实施方式

根据本发明的一种图像传感器包括集成片上存储器和用于输出像素数据的存储器接口。通过把存储器接口包括在本发明的图像传感器中，该图像传感器可直接与外部图像处理单元的存储器接口端口连接。图像处理单元能够使用传统存储器存取协议来存取图像传感器。在一些实施例中，本发明的图像传感器支持SRAM、DRAM或RAMBUS存储器接口。通过在图像传感器中提供片上存储器和存储器接口，本发明的图像传感器有利于图像传感器与图像处理设备之间的高速像素读出。像素数据传输带宽仅仅受限于存储器接口的速度。而且，通过使用图像传感器的存储器接口用于传感器读出，图像处理设备可存取图像传感器中的像素数据，这样会更加便利且具有更大的灵活性，这在传统图像传感器中是不能得到的。例如，像素数据存取模式并不限于预装的存取模式，相反，图像处理单元可根据成像应用的需要而实时(on-the-fly)改变像素存取模式。

图2所示为根据本发明一个实施例的图像传感器的框图。图像传感器100可在诸如数码相机这样的图像捕获设备中使用，以用于捕获静止或视频图像。在本实施例中，图像传感器100包括传感器阵列102、本地存储器110和接口协议转换电路114。传感器102是一个二维光检测元件的阵列，光检测元件也称作光检测器。在图2中，传感器阵列102排列为N行×M列的光检测器，并具有N×M个像素的图像分辨率。如果希望的是彩色应用，则选择性透射的滤色器的马赛克(mosaic)与每个光检测器对准叠置，以使第一、第二和第三选择性光检测器组分别检测三个不同的色域，如可见光谱的红、绿和蓝色域。

在图2的图像传感器100中，传感器阵列102作为数字像素传感器(DPS)阵列来实施，它产生数字信号以作为输出总线103上的传感器读出。在本说明中，DPS阵列或传感器阵列指的是像素单元的阵列，其中每个像素单元包括一个光检测器和一个模-数(A/D)转换电路。光检测器在图像传感器曝露于目标光源时产生模拟信号。模拟信号马上由A/D转换电路转换为数字信号，这样，每个像素单元产生一个数字输出信号。因此，该图像传感器被称作数字像素传感器(DPS)并且像素阵列被称作传感器阵列或DPS阵列。

数字像素传感器(DPS)在每个像素单元产生表示该像素单元检测的光强的数字输出信号。光检测器与模-数转换电路(如A/D转换器)的组合有助于加强信号检测，降低功耗并提高整个系统的性能。在本实施例中，DPS阵列102执行一种数字像素传感器的体系结构。一个典型的DPS体系结构在美国专利No.5,461,425(`425专利)中描述，它使用像素级的模-数转换，并由此整体上与本文结合以用作参考。DPS阵列的光检测器有时被称作传感器像素或传感器单元或数字像素，这些术语被用来表示DPS阵列的每个光检测器包括模-数(A/D)转换电路，并且可与包括光敏元件并产生模拟信号的传统光检测器区别开。DPS阵列的数字输出信号与传统模拟信号相比的优越之处在于数字信号可以以非常高的速率读出。当然，在面型图像传感器中执行像素级A/D转换的其它方案也可用在本发明的图像传感器中。

而且，在本实施例中，DPS阵列102利用在美国专利No.5,801,657中描述的多信道比特串行(MCBS)模-数转换(ADC)，该专利被授予Fowler等人，并由此整体上与本文结合以用作参考。DPS阵列102使用k-比特MCBS ADC并输出以格雷码表示的数字信号。MCBS ADC具有可用于图像采集的许多优点，并且特别重要的是有利于高速读出。当然也可使用其它ADC技术，如一阶δ-Δ调制ADC。

当然，也可使用其它类型的成像阵列来构建本发明的图像传感器，如CCD像素阵列或CMOS像素阵列，包括有源像素传感器(APS)阵列。图3所示为根据本发明一个实施例的包括APS像素阵列的图像传感器，这将在下面进行更详细地描述。

图像传感器100还包括集成片上存储器(也称作本地存储器)110，用于存储来自传感器阵列102的至少一帧的图像数据。美国专利申请No.09/567,638描述了一种具有用来存储至少一帧图像数据的片上存储器的集成数字像素传感器(DPS)。把片上存储器结合到图像传感器中可以缓解与存储像素数据的芯片外存储器的使用有关的数据传输的瓶颈问题。特别是，存储器与DPS传感器的结合有利于多重取样的使用，从而提高捕获的图像的质量。美国专利申请No.09/567,786描述了一种有利于使用时间索引法进行图像多重取样的方法。前述的专利申请在此整体上与本文结合以用作参考。在图像传感器100中，本地存储器110具有以k-比特存储至少N×M个像素的像素数据的容量。当然，本地存储器110也可包括附加的存储容量以用于存储在图像传感器100的操作中使用的其它参数，如在多重取样操作中使用的数据。在其它实施例中，本地存储器110可具有存储多帧像素数据或一个特定帧像素数据的容量。

在操作时，图像被聚焦在传感器阵列102上，这样，聚焦图像的不同部分照射到该阵列中的传感器像素的每一个上。每个传感器像素包括一个光检测器，它的传导率(即电荷存储速率)与照射到光检测器上的光强有关。流经光检测器的模拟电流因而对应于照射到光检测器上的光强。来自阵列102的所有光检测器的模拟信号由与每个传感器像素直接耦合的专用A/D转换电路转换为串行比特流。在一个帧周期中产生的串行比特流在总线103上提供，以作为数字输出信号，以表示照射到光检测器上的平均光强。

在图2的图像传感器100中，来自传感器阵列102的传感器读出通过使用传感器读出协议在总线103上执行。来自传感器阵列102的像素数据在一个时刻以一个像素写入本地存储器110中。在某些情况下，传感器阵列102以比特面的形式提供传感器读出，并且像素数据以传感器-比特排列的形式存储在本地存储器110中。如果重点是存储在本地存储器110中的像素数据以像素-比特排列的形式进行排列，则可使用一种在图像传感器中执行像素-比特重排的方法，该方法在共同待审且通常授予Ewedemi等人的美国专利申请No.09/638,503中描述并且可用来重排本地存储器110中的像素数据。而且，如果重点是执行其它像素归一化功能，如格雷码到二进制的转换、数字相关的二次取样操作以及多重取样归一化操作，则诸如在共同待审并且通常授予Ewedemi等人的美国专利申请No.09/638,502和09/638,520中所描述的像素归一化电路可被包含在本发明的图像传感器100中。

来自传感器阵列102的传感器读出经过总线103被存储在本地存储器110中。在传统操作中，存储在本地存储器110中的像素数据通过总线109提供给外部图像处理设备，其中总线109是像素-比特宽像素数据总线，并且像素数据是在一个时刻以一个像素来提供的。在本实施例中，图像传感器100包括另一个像素数据接口，以利于从图像传感器的高速灵活的像素数据输出。参考图2，图像传感器100还包括接口协议转换电路114，用来提供一个存储器接口，以便输出在本地存储器110中存储的像素数据。因此，外部图像处理设备可使用存储器接口协议而不是使用传统的像素数据总线协议来存取被捕获并存储在图像传感器100中的像素数据。

在图2中，图像传感器100所示与图像处理单元20耦合。图像处理单元20可以是数字信号处理器(DPS)或其它图像处理设备，如图像压缩和分析设备。图像处理单元20包括传感器接口端口22a，用于耦合至传统图像传感器的像素数据接口。图像处理单元20还包括存储器接口端口22b，在诸如图1所示的传统配置中，该端口与一个存储器耦合，该存储器用于存储通过传感器接口端口22a从图像传感器接收的像素数据。在图2中，图像传感器100与图像处理单元20的存储器接口端口22b耦合，而不是象传统配置一样与传感器接口端口22a耦合。具体来说，图像传感器100通过像素数据总线115与图像处理单元20通信并使用存储器接口协议控制总线116。在一个例子中，存储器作为帧缓冲器来实施，并且图像处理单元20支持存储器接口端口22b上的动态随机存取存储器(DRAM)。接口协议转换电路114使用帧缓冲协议来存取本地存储器110，并使用DRAM接口协议把像素数据提供给图像处理单元20。在另一个例子中，本地存储器110作为静态随机存取存储器(SRAM)来执行，并且图像处理单元20支持存储器接口端口22b上的动态随机存取存储器(DRAM)。接口协议转换电路114可使用SRAM接口协议来存取本地存储器110，并使用DRAM接口协议把像素数据提供给图像处理单元20。因此，接口协议转换电路114在本地存储器110和图像处理单元20之间提供存储器接口协议的转换。通过使图像传感器100与图像处理单元20的存储器接口端口22b耦合，图像处理单元20可存取图像传感器100，就象是存取传统DRAM一样。利用这种方式，图像传感器100可提供一种具有标准存储器接口协议的外部成像处理设备，该协议具有宽带宽和高度的读出灵活性。

如上所述，本发明的图像传感器可使用其它类型的像素阵列来实施，如CCD阵列或APS阵列。在该情况下，像素阵列将在像素数据输出总线上输出模拟像素信号，并且提供必要的模-数转换电路来把模拟像素信号转换为数字像素数据，以存储在本地存储器中。图3所示为根据本发明一个实施例的结合了APS阵列的图像传感器的框图。图3的图像传感器200包括与A/D转换电路220耦合的APS像素阵列202。由APS传感器阵列202产生的模拟像素值被提供给A/D转换电路220，以用于转换为数字像素数据。图像传感器200的操作类似于图2的图像传感器100的操作。图像传感器200包括片上存储器210和用于向外部图像处理设备提供存储器接口的接口协议转换电路214。在本配置中，图像传感器200与图像处理单元20的存储器接口端口22b耦合，其中该图像处理单元可存取图像传感器200中的像素数据，就象该图像传感器是存储设备一样。在其它实施例中，具有APS阵列的图像传感器可不包括A/D转换电路。在该情况下，图像传感器在本地存储器中存储模拟像素值并使模拟像素值在存储器接口上输出。随后，外部图像处理单元则负责把该像素值转换为数字像素数据。

本发明的图像传感器的接口协议转换电路可被构建为支持各种存储器接口协议。如上所述，本发明的图像传感器至少可支持SRAM、DRAM和RAMBUS存储器接口。目前，现有的图像处理设备通常包括由工业标准(例如JEDEC 21-C)确定的DRAM接口。因此，在图像传感器上提供DRAM接口可允许图像传感器容易地与现有的图像处理单元耦合，并且作为与图像处理设备有关的DRAM进行存取。而且，DRAM接口提供高数据带宽来存取像素数据。标准DRAM接口是133MHz和16比特宽，因而具有2.128G比特/秒的总带宽。这相对于传统图像传感器在10-比特25MHz像素数据总线上提供的250M比特/秒来说是大大提高了。传统的DRAM接口包括双向数据总线、地址总线，且控制信号包括CLK、CKE、CS、RAS、CAS、WE和/或OE。

另一方面，SRAM接口通常具有与DRAM接口类似的数据带宽容量，但它提供简单的存取和控制。具体来说，SRAM接口不需要刷新周期并且提供读/写周期定时的可预测性。SRAM接口在图像传感器与图像处理设备集成在一个集成电路上时会特别有用。在这种配置中，图像传感器的SRAM接口可提供宽数据总线，从而降低数据存取的等待时间。典型的SRAM接口包括双向数据总线、地址总线，而且控制信号包括RE/WE和CLK。

如果需要非常高的数据带宽，则通常被称作RAMBUS接口的包协议同步DRAM接口可用在本发明的图像传感器上。RAMBUS接口能够保持最大可达12.8G比特/s的峰值数据速率，它是标准DRAM接口的数据速率的六倍。RAMBUS接口适合于在图像传感器包括非常大的像素阵列时使用或者在图像传感器用于实时图像处理时使用。典型的RAMBUS接口包括双向数据总线(BusData)，而且控制信号包括BusEnable、BusCtrl、RxClk和TxClk。

根据本发明的另一个实施例的图像传感器包括片上双端口存储器，用于提供输出像素数据的存储器接口。参考图4，图像传感器300的本地存储器310作为双端口存储器来实施。例如，双端口SRAM在已有技术中是熟知的。通过在图像传感器300中使用双端口存储器310，来自传感器阵列302的像素数据可通过其中的一个端口写入双端口存储器310中，并且图像处理单元20可通过另一个端口存取所存的像素数据。通过在图像传感器300中使用双端口存储器，可以获得本发明的图像传感器的一种更小型的实施方案。

图5所示为在SRAM接口和DRAM接口之间进行转换时使用的接口协议转换电路的一个实施例。接口协议转换电路414包括SRAM接口端口416，用于与图像传感器的本地存储器连接。RAM接口端口416提供读使能/写使能输出信号和地址信号，并接收从本地存储器输入的数据。接口协议转换电路418还包括用于连接图像传感器以外的图像处理设备的DRAM接口端口418。DRAM接口端口418接收输入的行地址选通(RAS)信号、列地址选通(CAS)输入信号和地址信号。DRAM接口端口418通过响应RAS、CAS和地址输入信号提供数据输出。

以上的详细描述是用来示出本发明的特定实施例的，它并不限制本发明。在本发明范围之内的各种改进和变化是可能的。本发明由所附的权利要求来定义。