用于检测时间依赖图像数据的图像传感器和传感器装置

摘要

本发明涉及一种用于检测时间依赖图像数据的图像传感器，包括以阵列形式排列并通过切换元件(tx1、tx2、…)连接的多个光伏转换器(1)和多个电子转换器(2)，由此，每个所述光电转换器(1)和一个所述电子转换器(2)形成一对，所述一对产生依赖于所述光电转换器(1)上的光强度的数字信息，并且其中所述切换元件(tx1、tx2、…)布置为将至少两个所述光伏转换器(1)选择性地连接至所述电子转换器(2)中的一个，且将至少两个所述电子转换器(2)选择性地连接至所述光伏转换器(1)中的一个。此外，本发明涉及一种包括图像传感器和用于控制所述切换元件的切换控制器的传感器装置，以及一种用于获得补偿了增益失配的图像数据的方法。

说明书

技术领域

本发明涉及用于检测时间依赖(time-dependent)图像数据的图像传感器和传感器装置。

背景技术

现代图像传感器通常由连接到电子转换器的光伏转换器阵列组成。在光伏转换器将入射光转换为相应的模拟电信号的同时，电子转换器借助模数转换器将这些模拟信号进一步转换为数字信号，模数转换器在下文中也称为编码器。

在US 7,728,269 B2中提出了一种类型的图像传感器，其编码由其光电传感器捕获的场景的时间视觉对比。通过对时间对比度进行编码，几乎消除了图像传感器输出数据的时间冗余，从而以ON/OFF事件的格式生成活动驱动的稀疏数据。这意味着每个事件都由符号ON/OFF和像素坐标组成。然而，US 7,728,269 B2中提出的装置不能捕获任何时间上静态的场景信息。

为了解决捕获时间上静态的场景信息的问题，人们可能会转向US9631974或基于异步时间的图像传感器(ATIS)(Posch等，2010年)，其中描述了由辅助专用强度测量电路捕获的静态场景信息，该电路产生第二输出流，该输出流对静态场景进行线性编码。这种两流方法增加了传感器的复杂性，并导致两个输出彼此之间几乎没有相似性：一个输出编码入射光强度的对数值中的时间差，从而编码时间视觉对比度，而另一输出编码线性绝对光入射强度。

已知的技术描述了对数地对静态场景进行编码的技术。例如，根据“具有片上校准的对数响应CMOS图像传感器”(Kavidias等，2000年)，通过利用亚阈值晶体管的物理特性，将每个光电二极管产生的光电流对数转换为电压。然后测量对数电压。但是，即使在校准后，对数转换精度也会受到晶体管失配的影响。根据US8363140，通过将对数数字计数器与像素内单斜率模数转换器组合来实现对数转换。但是，在这种设计中，像素太复杂而无法集成到时间对比度像素中。

在US6828540中提出了通过局部空间对比度对静态场景进行编码的概念，其中描述了图像传感器系统，该图像传感器系统使用机械振动光学器件将场景的空间对比度转换为入射光到像素的时间方差，并使用基于脉冲密度调制的方案对这种时间方差进行编码。然而，机械振动光学器件需要附加的机械零件，而这些零件在当今最先进的图像传感器系统中并未广泛使用。机械振动光学器件需要其他组件才能提供精确的定位和定时控制。机械振动还导致每个像素具有圆形扫描图案，该圆形扫描图案与正交像素布置不匹配，因此使图像的后处理精度降低。

还可通过在US7170043和“具有嵌入式535GOPS/W 256x256 SIMD处理器阵列的100000fps视觉传感器”(Carey等，2013年)中描述的传感器来实现局部空间对比度的感知。但是，这两个像素设计都需要相对复杂的像素内电路来计算局部空间对比度，因此不适合集成到时间对比度像素中。

最后，US 2016/0093273 A1描述了一种图像传感器，其中，每个感光器包括光电二极管和换能器的NxN个感光器群集共享特定于群集的微分器，该微分器是模数编码电路。US2016/0093273 A1的目的是通过时间多路复用不同感光器和编码器之间的连接来增加芯片上的光电二极管密度，而不增加编码器电路面积。US 2016/0093273中描述的传感器未对静态场景进行编码。

发明内容

本发明的目的是提出一种装置，该装置能够获得场景的时间和空间视觉对比，同时减少资源的使用，特别是芯片面积的使用。本发明的另一个目的是提供更精确的定位和定时控制，以支持在图像信号的后处理中去除增益和偏移失配。

根据本发明，通过提供一种具有权利要求1的特征的图像传感器，具有权利要求14的特征的传感器装置以及具有权利要求15的特征的方法来实现该目的。本发明的其他有利的实施例是从属权利要求的主题。

根据本发明的一方面，图像传感器包括多个光伏转换器和多个电子转换器。光伏转换器布置成阵列，且电子转换器布置成阵列。这些阵列中的每一个例如可以是任何形式的一维阵列或二维阵列，特别是正方形、六边形或三角形阵列。光伏转换器和电子转换器通过切换元件连接(link)，该切换元件配置为选择性地将光伏转换器与电子转换器连接。

在下文中，切换元件布置和配置为将特定的光伏转换器选择性地连接至特定的电子转换器的事实可以表示为特定的光伏转换器。通过切换元件连接或能够通过切换元件连接或可连接到某个电子转换器。因此，根据本发明，每个光伏转换器通过切换元件连接到电子转换器，从而形成一对，该一对根据入射到所述光伏转换器上的光的强度产生数字信息。在该图像传感器中，至少两个光伏转换器通过切换元件连接到所述电子转换器之一。此外，至少两个所述电子转换器通过切换元件连接到所述光伏转换器之一。通过切换元件,电子转换器连接到光伏转换器，或者光伏转换器连接到电子转换器，这意味着依赖于切换元件的开关状态，由光伏转换器产生的信号会到达或不会到达电子转换器。在前一种情况下，可以说光伏转换器通过切换元件连接到电子转换器。

应当注意，在此上下文中的连接是指存在导电连接。两个光伏转换器可以通过切换元件连接或可连接到一个电子转换器，这意味着，根据切换元件的配置，来自两个光伏转换器中一个或另一个的信号到达电子转换器。相似地，两个电子转换器可以通过切换元件连接或可连接到一个光伏转换器意味着，根据切换元件的配置，来自光伏转换器的信号将被定向到两个电子转换器中的一个或另一个。

如上所述，US 7,728,269 B2中描述的图像传感器能够对观看图像的时间对比度进行编码。通过适当地驱动切换元件，例如通过允许来自不同光伏转换器的信号相继到达一个电子转换器，可以将空间对比度转换成时间对比度，从而允许获得图像的空间对比度。换言之，依赖于切换元件的正确控制，图像传感器可以输出时间图像对比度或空间图像对比度。

如上所述，US 2016/0093273 A1中描述的图像传感器包括NxN个感光器的群集，它们共享群集特定的编码电路。因此，在感光器和编码器之间存在NxN到一的映射。编码器是特定于群集的，这意味着群集在与编码器的连接方面不重叠。在任何时候，光电二极管总数中只有一小部分在起作用，即被编码。相反，在根据本发明的图像传感器中，多个光电转换器通过切换元件连接到多个电子转换器。目的是允许每个电子转换器“观察”或接收来自不同光电转换器的信号，以便在过渡期间，它们可以对空间对比度进行编码。尽管多个光伏转换器中仅一个可以主动地连接到一个电子转换器，但是其他光伏转换器可以连接到另一个电子转换器。更重要的是，随着时间的推移，每个电子转换器的“视野”彼此重叠，从而可以连续编码整个场景的空间对比度而没有间隙。该连续性假设还用于识别和补偿转换器对的任何不均匀性，这是由于半导体制造工艺不可避免的物理限制所致，从而能够更好地重建成像场景。

光伏转换器是执行光子到电子转换的转换器。光伏转换器可以是光电二极管，特别是钉扎光电二极管(pinned photodiode)(PPD)。它可以配置为产生电流，即光电流，该电流依赖于，尤其是线性依赖于或成比例地依赖于入射到光伏转换器上的光的强度。相反，电子转换器之所以这样命名，是因为它仅执行不同电子信号之间的转换或电子到电子的转换。在下面的描述中，可以将电子转换器而不是光伏转换器称为像素。特别地，如果电子转换器包括信号转换器和编码器，则每个信号转换器/编码器对可以被视为图像传感器的像素。

光伏转换器还可以包括另一电子信号转换器，其可以是电流-电流，电流-电压，电压-电流或电压-电压转换器。信号转换器的输出可以线性、对数地或根据某些其他函数依赖于其输入信号的输出。因此，在这种情况下，光伏转换器的输出将线性、对数地或根据某些其他函数依赖于光强度输入信号。该函数尤其可以是压缩函数，例如对数函数，以便允许将更大范围的输入(例如，对应于六十个光强度)压缩到相对较小的电子信号范围(例如100mV)中。

替代地或累积地，电子信号转换器或附加的电子信号转换器可以是电子转换器的一部分。在该实施例中，电子信号转换器的输出线性地，对数地或根据某种其他函数依赖于光伏转换器的输出。因此，在有利的实施例中，所述一对的所述电子转换器包括电子信号转换器，所述电子信号转换器与所述一对的所述光伏转换器组合配置为生成依赖于所述光伏转换器上的光强度的模拟电子信号。作为示例，光伏转换器执行光子到电子的转换，从而产生电流。该电流在对数电流-电压转换器中转换为电压，该电流-电压转换器是电子转换器的一部分。然后，使用也是电子转换器一部分的编码器，将该对数依赖于入射光的模拟电压信号转换为数字信号。

虽然可以将两个光电转换器的一部分连续连接两个信号转换器到包含编码器的单个电子转换器(即模数转换器)，但是该实施例具有以下缺点：每个信号转换器都会引入噪声。信号转换器通常不相同，显示出增益和偏移失配。因此，如果不同的信号转换器连续地连接到一个编码器，则在数字编码器信号中编码的空间对比度将包含增益和偏移失配，无法再从数字信号中消除该增益和偏移失配。将信号转换器放置在电子转换器内部的优势在于，现在将来自两个光伏转换器的两个信号连续发送到包含信号转换器和编码器的单个电子转换器。现在，尽管编码的空间对比度仍然包含信号转换器的增益失配，但是由于任何两个相邻的信号转换器已转换了一个公共的相对空间差，因此可以稍后补偿增益失配。此外，不再存在偏移失配，因为两个光伏转换器之间的相对空间差异源于同一信号转换器。

根据有利实施例，电子转换器中的所述编码器配置为使用脉冲密度调制将所述模拟电子信号转换为所述数字信号。基于脉冲密度调制的模数编码器具有足够紧凑的优点，使得它可以以像素并行方式实现，使得每个像素都包含一个这样的模数编码器元件。

根据优选实施例，图像传感器由两个半导体芯片模(die)制成，这两个半导体芯片模分别制造并通过互连连接。特别是，信号转换器，其可以是光伏转换器的一部分，也可以是电子转换器的一部分，以及编码器，其是电子转换器的一部分，在制造过程中，可以在两个分离的半导体芯片模上布置，然后通过所述两个半导体芯片模之间的互连将它们电连接。

优选地，所述切换元件被布置和配置为将所述光伏转换器时间多路复用(time-multiplexing)到所述电子转换器的输入。这意味着，在第一时间间隔期间，一个光伏转换器的输出信号被发送到电子转换器的输入，并且在连续的第二时间间隔期间，另一个光伏转换器的输出信号被发送到电子转换器的输入。如果通过适当数量的切换元件(例如三个、四个或更多)将两个以上的光伏转换器连接到一个电子转换器，时间多路复用将通过驱动切换元件来工作，以使光伏转换器一个接一个地切换到电子转换器。经由切换元件的时间多路复用可以被周期性地执行。

优选地，有多个第一切换元件，其将相同数量的第一光伏转换器连接到相应的电子转换器，多个第二切换元件，其将相同数量的第二光伏转换器连接到电子转换器，等等。为了允许来自第一光伏转换器的输出信号到达相应的电子转换器，可以同时驱动所有第一切换元件，然后可以同时驱动所有第二切换元件等。

用于切换元件的驱动信号可以由连接到图像传感器的切换控制器产生。因此，在本发明的另一方面，提出了一种用于检测时间依赖图像数据的传感器装置，该传感器装置包括如本文所述的图像传感器和连接至所述图像传感器的所述切换元件并且配置为生成切换信号以控制所述切换元件的切换控制器。产生切换信号的切换控制器可以是微控制器，也可以是与图像传感器在同一芯片上实现的逻辑块。然而，切换控制器位于光伏转换器阵列的外部。

参照图像传感器提及的任何特征在与传感器装置的连接上都是同样有利的。换言之，如果提到图像传感器或其图像组件配置为以某种方式起作用或生成某种信号，则这也可能意味着已对切换控制器进行了适当编程，以允许或确保这种情况发生。例如，所述切换元件被布置和配置为将所述光伏转换器时间多路复用到所述电子转换器的输入的特征可以等同地应用于传感器装置。当切换控制器配置为生成适当的切换信号以驱动切换元件以执行该时间多路复用时。

根据有利实施例，所述电子转换器配置为依赖于通过所述切换元件连接到所述电子转换器的两个所述光伏转换器上的光强度之间的相对差异或差异来生成数字信息。换言之，数字信息依赖于第一强度和第二强度之间的相对差，其中第一强度是第一光伏转换器处的光强度，第二强度是第二光伏转换器处的光强度。这样，图像传感器能够获得感测图像的空间对比度信息。当电子转换器的输入从第一光伏转换器切换到第二光伏转换器时，编码器输出将是数字信号，该数字信号是对应于第二强度的信号转换器输出与对应于第一强度的信号转换器输出之间的差。如将在下面进一步解释的，如果信号转换器的输出对数依赖于入射光，那么，如果强度差相对于绝对强度较小，则该信号转换器的输出差与对比度或相对强度差成正比。

有利地，通过所述切换元件连接到所述电子转换器之一的至少两个光伏转换器在阵列中彼此相邻地布置。当通过所述切换元件将两个以上的光伏转换器连接到一个电子转换器时，这也可以适用。特别地，在二维正方形阵列中，正方形中的四个相邻的光伏转换器通过切换元件连接到一个电子转换器。因此，在六边形或三角形阵列中，通过切换元件连接到电子转换器的相邻光伏转换器自身可以布置成六边形或三角形。

有利地，与所述电子转换器相邻放置的相邻电子转换器配置为根据相同两个光伏转换器上的光强度之间的相对差异或差异来生成至少一个数字信息，其通过切换元件与所述电子转换器和所述相邻电子转换器连接。

可以通过不同的方案来实现经由切换元件在光伏转换器和电子转换器之间的时间多路复用的空间顺序。这里将讨论两种这样的方案，并且在下文中将更详细地讨论，一种方案称为同时双重编码方案，另一种方案称为空间布置方案。尽管必须将图像传感器配置为支持任何这样的方案，但是必须将切换控制器配置为生成适当的切换信号，以便相应地驱动图像传感器的切换元件。然而，应该注意，图像传感器可以单独制造和销售。

根据同时双编码方案，所述电子转换器和所述相邻电子转换器通过两对切换元件连接至所述两个光伏转换器，由此，所述一对切换元件中的每对配置为以相同方式进行开关。换言之，两个相邻的光电转换器之间的光的相对强度差，以及它们之间的相对空间差，由两个相邻的编码器同时编码。利用该方案，可以在对编码的数字信息进行后处理期间减小运动伪像的影响。进一步来说，可以布置和配置两对切换元件，以将所述光伏转换器和所述相邻光伏转换器选择性地连接至所述电子转换器和所述相邻电子转换器，这样，在发生切换事件之前，所述光伏转换器连接到所述电子转换器，并且所述相邻光伏转换器连接到所述相邻电子转换器，并且在所述切换事件之后，所述光伏转换器连接到所述相邻电子转换器，并且所述相邻光伏转换器连接到所述电子转换器。

根据空间布置方案，当第一光伏转换器经由第一有源切换元件连接至第一电子转换器并且第二光伏转换器经由第二有源切换元件连接至第二电子转换器时，所述光伏转换器阵列，所述电子转换器阵列和所述切换元件配置为使得第一光伏转换器和第二光伏转换器在任何时候都具有与第一电子转换器和第二电子转换器相同的相对距离。该方案允许进行空间相关的编码，这意味着在所有开关方式中，每个电子转换器或像素及其连接的光电转换器都具有相同的相对空间位置。该方案能够支持基于空间相关性的图像传感器输出的后处理。

有利地，光伏转换器的数量基本上等于电子转换器的数量。这意味着，虽然两个或多个光伏转换器通过切换元件连接到一个电子转换器，但是这两个或多个光伏转换器中的每个又连接到相同数量的电子转换器。换言之，一个电子转换器的视野可以与另一电子转换器，特别是相邻的电子转换器的视野重叠。优选地，在任何给定时间，每个光电转换器的输出信号被发送到一个相应的电子转换器。仅在数组的边缘可能不正确。

本文中，限定词“基本上”是指由于图像传感器的几何极限或其他原因，光伏转换器的数量和电子转换器的数量可以少量变化。特别地，差异可以低于2％、5％或10％。这种差异的原因可能是阵列边缘的光伏转换器可能不具有与阵列中的光伏转换器连接的相同数量的电子转换器。特别地，如果光伏转换器的数量为N

或者，光伏转换器的数量可以是电子转换器的数量的倍数。例如，N

根据本发明的另一方面，提供了一种用于获得补偿了增益失配的图像数据的方法。该补偿方法具有以下步骤：在第一步中，从第一电子转换器获得第一数字信息。该第一数字信息尤其可以是来自通过切换元件连接到第一电子转换器的两个光伏转换器的编码图像数据。所述第一数字信息包括第一参考信息，所述第一参考信息依赖于所述两个光伏转换器上的光强度的相对差异或差异。此外，从第二电子转换器获得第二数字信息。类似于第一数字信息，第二数字信息尤其可以是来自通过切换元件连接到第二电子转换器的所述两个光伏转换器的编码图像数据。该第二数字信息包括第二参考信息，该第二参考信息还依赖于在所述两个光伏转换器上的光强度的差异。

在上述的同时双重编码方案中，可以同时获得第一数字信息和第二数字信息，而在空间布置方案中，与第一数字信息相比，在不同的时间获得第二数字信息。

虽然第一参考信息和第二参考信息都是通过在相同的两个光伏转换器(可能具有不同的符号)上对光强度的相对差进行编码而获得的，由于第一和第二电子转换器之间的增益失配，它们可能会有所不同。因此，人们可以从所述第一参考信息和所述第二参考信息获得调整因子，并使用它来补偿所述第一数字信息和第二数字信息中的这种增益失配。这可以通过将第一电子转换器作为参考并用调整因子来调整所述第二数字信息来完成，或者通过将第二电子转换器作为参考并用调整因子来调整所述第一数字信息来完成。

特别地，可以将调整因子作为第一参考信息和第二参考信息的商。下面结合图7描述这种补偿方法的示例情况。

附图说明

在下面的描述中，将参考所附的示意图更详细地解释本发明的实施例的一些示例，其中：

图1示出了根据一个优选实施例的图像传感器中的像素的示意性截面图，该图像传感器包括电子转换器和光伏转换器；

图2示出了根据一个优选实施例的通过相应的切换元件连接到四个光伏转换器的信号转换器的示意图；

图3示出了根据一个优选实施例的信号转换器和编码器的示意性电路图；

图4示出了根据一个优选实施例的依赖于一系列切换信号的示例性编码器输出的时序图；

图5示出了根据一个优选实施例的光伏转换器阵列和通过半导体芯片模上的切换元件连接到它们的信号转换器阵列的示意性布局；

图6示出了另一半导体芯片模上的电子转换器阵列的示意性布局，该电子转换器阵列可通过互连连接至图5所示的芯片模；

图7示出了根据一个优选实施例的用于说明由图像传感器生成的信号的后处理以补偿增益失配的图；

图8示出了根据同时双编码方案在半导体芯片上布置和驱动的光伏转换器阵列以及信号转换器和连接它们的切换元件的示意性布局；

图9示出了根据空间布置的编码方案在半导体裸片上布置和驱动的光伏变换器阵列以及信号变换器和连接它们的切换元件的示意性布局；

具体实施方式

根据以下描述的实施例的图像传感器，包括光电二极管和换能器元件的二维矩形阵列，其将入射光强度对数转换为模拟电压信号，以及模数编码器元件的二维矩形阵列，其将模拟电压信号编码为数字信号。因此，每个光伏转换器形成为光电二极管，特别是PPD，每个电子转换器都有一个对数电流到电压信号转换器(以下称为转换器)和一个模数转换器(称为编码器)，用于将模拟电压电平转换为数字信息。

图像传感器通过将4个相邻的光电二极管电子时间多路复用到一个换能器的输入中来对静态场景空间对比度进行编码，因此，将静态场景空间对比度转换为换能器元件输入的时间变化，从而转换的模拟信号也随时间变化。然后，编码器使用基于脉冲密度调制的方案对所述时间变化进行编码。

入射光强度的对数差异与空间对比度之间的数学关系由以下公式进行解释

其中，I是入射光强度，k是恒定增益。该公式表明，对于入射光强度ΔI的较小空间差异，可以通过入射光强度log(I)的对数值的空间差异来近似空间对比度ΔI/I。

如果传感器停止光电二极管和换能器之间的时间多路复用操作，则所转换的模拟信号中的时间变化直接对应于场景的时间对比度。因此，在没有时间多路复用的情况下，传感器仅对场景的时间对比度进行编码。

图1示出了光电二极管1，换能器3和编码器4的抽象截面图。应注意，即使图1中标有“3”的参考架也包含光电二极管1，光电二极管1不是换能器3的一部分。传感器使用钉扎光电二极管(PPD)。PPD的使用最小化了在不同的多路复用时间窗口之间到换能器3和编码器4的输入的暗信号中的差异。PPD 1和换能器3的阵列在图像传感器处理硅芯片上制造。编码器4阵列被制造在混合信号处理硅芯片模上。每个换能器-编码器对通过一个互连50接合两个芯片模。如前所述，在下文中，一个换能器-编码器对称为一个像素，其中不包括PPD，因为在时间多路复用过程中的不同时刻，不同的PPD连接到同一像素。尽管在当前示出和讨论的实施例中，两个芯片模之间的互连将换能器连接到编码器，但是还有其他方式将电路分配到一个或两个芯片模上。作为示例，可以将互连放置在用于编码器的电路内。

在图1中还指示了图像传感器处理硅芯片模的硅衬底51和金属层52，以及混合信号传感器处理硅芯片模的硅衬底54和金属层53。

图2示出了一个换能器3和通过切换元件tx1，tx2，tx3，tx4连接到的四个PPD 1的电路原理图。每个PPD 1还通过所述切换元件(未在图2中显示)连接到其他三个电子转换器。

换能器3的输出，模拟电压信号vsf经由一对一互连50被发送至堆叠的混合信号芯片模上的相应编码器的输入。每个换能器3通过四个切换元件连接到四个相邻的PPD 1，所述四个切换元件被实现为由切换信号控制的传输门，并且每个PPD 1以相同的方式连接到四个相邻的换能器3。切换信号必须由未在图中示出的切换控制器提供。这些切换信号将在下面结合图4进行描述。应当注意，具有相同附图标记的切换元件接收相同的切换信号或由相同的切换信号驱动。例如，标记为“tx1”的切换元件都接收相同的切换信号，其也可以标记为tx1。

然后，编码器将换能器3的输出即模拟信号vsf转换为数字信号。考虑到编码器元件需要足够紧凑，以便可以以像素并行方式实现(即每个像素包含1个此类模数编码器元件)，基于脉冲密度调制的模数编码器是合适的选择。在现有技术US 7,728,269 B2、US9631974和ATIS(Posch等人，2010年)中实现了基于脉冲密度调制(增量调制)的编码器。图3示出了通过修改US 7,728,269 B2中描述的装置而获得的编码器的示例示意图。图3中的顶部电路图是从US 7,728,269 B2中获得的光电阵列单元的电路图。它包括光电二极管D，形成对数放大器的四个晶体管T1-T4，该对数放大器通过电压缓冲器连接到编码器，该电压缓冲器由两个晶体管T5a，T5b制成。图3的底部电路图显示了通过保留编码器4简化了US7,728,269 B2的电路，同时用晶体管(以虚线框B表示)替换光电二极管D，放大器T1-T4和电压缓冲器T5a，T5b(以虚线框A表示)，其通过晶体管6形成一个电压缓冲器，晶体管6连接到在图2中的换能器3中的vfd。

在任何时刻，只有一个切换元件tx1，…，tx4被接通或激活。经由该一个切换元件tx1，…，tx4，一对换能器-编码器对3、4仅连接到一个PPD，并且一个PPD仅连接至一个换能器-编码器对3、4。2D阵列边缘的PPD可能会有例外，在某些时间点可能没有连接任何传感器/编码器对。因此，当切换信号tx1，…，tx4保持恒定时，类似于US 7,728,269B2中描述的装置，图像传感器仅对场景的时间对比度进行编码。

图4示出了用于执行时间多路复用的切换信号tx1，…，tw4的时序图。在整个时间多路复用过程中，PPD 1与传感器-编码器对3、4之间保持1对1的连接。在时间多路复用期间，编码器4的输出是对数电压vsf的变化的编码信号，该对数电压vsf表示相邻PPD 1之间的光电流的对数差异，因此表示空间对比度。换言之，在一个切换事件之后，当第二个切换元件断开，而第一个切换元件接通时，编码器输出对应于通过第二切换元件连接的PPD的对数信号和通过第一切换元件连接的PPD的对数信号之间的差。

用于从一个切换元件切换到下一切换元件的切换间隔是可调的，其确定了编码的空间对比度的比特深度。例如，如果选择允许每个像素最多一个脉冲的短切换间隔，则编码的空间对比度仅具有一个梯度级别。另一方面，如果切换间隔允许每个像素最多100个脉冲，则编码的空间对比度将具有100个可能的梯度级别。

在一个时间多路复用周期内，其中切换元件tx1，…，tx4的激活或接通模式移位四次，每两个相邻的光电二极管对之间的相对空间差由两个相邻的换能器-编码器对进行转换和编码，并且每两个相邻的传感器-编码器对已经对相同的两个相邻的光电二极管1之间的一个相对空间差进行了编码。

图5示出了通过半导体芯片(即图像传感器处理芯片)上的切换元件tx1，…，tx4连接到PPD 1的PPD 1阵列和换能器3阵列的一部分的示意性布局。由换能器3电路引入的结漏电流在整个时间多路复用期间保持恒定。并且由于PPD 1的暗电流低，因此不同PPD 1之间的多路复用引入了由其暗信号差异引起的最小偏移噪声。因此，在时间多路复用过程中，每个换能器3输出的时间变化都能够以最小的偏移噪声表示PPD 1阵列中的准确空间对比度。因为仅对PPD 1阵列的空间对比度进行编码，而不是对绝对信号电平进行编码，所以在换能器3阶段也没有偏移失配。

图6示出了在另一个半导体芯片模(即混合信号处理芯片模)上的电子转换器阵列的示意性布局。编码器4放置在与传感器5的间距匹配的2D阵列中，如图5所示，在图像传感器处理芯片模上。图5和图6中的虚线圆圈表示两个芯片模之间的互连位置。通常，混合信号处理芯片模的节点尺寸比图像传感器处理芯片模小得多，因此，混合信号处理芯片模上的相同区域可以包含更多的电路。从编码器4输出的最终像素包含由换能器对数转换中的增益失配引起的固定模式噪声，以及由于编码器量化阈值变化而导致的增益失配。这些增益失配可以在后期处理中消除。

图7示出了用于说明由图像传感器生成的信号的后处理以补偿增益失配的图。该简化示例仅基于PPD 1的两行三列以及两个相邻像素(即换能器-编码器对)。图7中以及随后的图8和9中的各个PPD和像素由它们在各自阵列中的坐标(行，列)标识。因此，为了视觉清楚起见，省略了到目前为止使用的附图标记。

在一个完整的时间多路复用周期之后，PPD(0,1)和PPD(1,1)之间的相同空间对比度由像素(0,0)编码为-1，由像素(0,1)编码为2(符号表示切换方向)。因此，PPD(0,1)和PPD(1,1)之间的增益失配可以推导为1：2。有了这些信息，如果将像素(0,0)用作参考，则将从像素(0,1)输出的空间对比度缩放0.5，因此可以参照像素(0,1)计算整个数组的空间对比度。如果PPD(0,0)的值为0，则可以基于缩放后的空间对比度计算整个数组的值，从而生成场景的对数压缩图像。

在PPD和换能器之间的时间多路复用期间，有两种可能的方案用于布置切换元件tx1，…，tx4的空间顺序：图8所示的同时双重编码方案和图9所示的空间布置编码方案。

图8示出了根据半导体双芯片上的同时双编码方案布置和驱动的光伏转换器阵列以及信号转换器和连接它们的切换元件的示意性布局。这与图5中所示的方案相同。引入标记为1st，2nd，3rd和4th的箭头，这些箭头指示切换元件的导通模式的切换顺序。在图8和9中，切换顺序都遵循图4所示的图。即，首先标记为tx1的切换元件处于接通状态，然后是标记为tx2的那些等等。

同时双重编码意味着相同两个相邻PPD之间的相对空间差异由两个像素在相反方向上同时编码。例如，在模式转换的第四个切换元件(从tx4到tx1)上，像素(x，y)编码从PPD(x，y-1)到PPD(x，y)的空间对比度，像素(x-1，y)编码从PPD(x，y)到PPD(x，y-1)的空间对比度。该方案减小了运动伪像在后处理增益失配去除中的影响。

从图8的角度描述同时双重编码模式的切换过程的另一种方式是着眼于两个PPD和两个传感器以及成对地选择性连接它们的切换元件对。例如，可以查看一个PPD(PPD(x，y))和一个连接到换能器(像素(x，y))的相邻PPD(PPD(x+1，y))，以及由两对切换元件(标记为tx1和tx2)组成的相邻换能器(像素(x，y+1))。这些切换元件中的每对均以箭头(标记为“1st”)表示，代表第一个(“第一个”)切换事件，并表示在第一个切换事件之前，标记为tx1的切换元件已接通，当标记为tx2的切换元件关闭时，在第一个切换事件之后，标记为tx2的切换元件导通，标记为tx1的切换元件导通。因此，在第一次切换事件之前，将PPD(PPD(x，y))连接到换能器(像素(x，y))，并且相邻的PPD(PPD(x+1，y+1))连接到相邻的换能器(像素(x，y+1))。然后，在第一个切换事件之后，连接是反向的：现在将PPD(PPD(x，y+1))连接到相邻的换能器(像素(x，y+1))，且相邻的PPD(PPD(x+1，y))连接到换能器(像素(x，y))。

图9示出了光伏转换器阵列以及信号转换器以及连接它们的切换元件的示意性布局，这些信号转换器根据空间布置的编码方案在半导体芯片模上布置和驱动。空间布置的编码意味着在整个时间多路复用过程中，每个像素及其连接的PPD都具有相同的相对空间位置。例如，在模式切换的第一个切换元件(从tx1到tx2)之前，像素(x-1，y)连接到PPD(x-1，y)，并且像素(x，y)连接到PPD(x，y)，其中像素(x-1，y)是像素(x，y)的左相邻像素，而PPD(x-1，y)是PPD(x，y)的左相邻PPD。在第一个切换元件进入模式转换后，像素(x-1，y)连接到PPD(x，y)，且像素(x，y)连接到PPD(x+1，y)，其中PPD(x，y)仍然是PPD(x+1，y)的左相邻PPD，并保持与像素(x-1，y)和像素(x，y)相同的相对空间位置。由于由像素阵列编码的空间对比度的相对空间位置在整个时间多路复用中是恒定的，所以该方案能够支持基于像素阵列输出的后处理的空间相关性。

附图标记：

1 光电转换器、光电二极管、PPD

2 电子转换器

3 信号转换器、换能器

4 模数转换器、编码器

5 互连

6 输出晶体管

51、54 硅衬底

52、53 金属层

tx1、tx2、tx3、tx4 切换元件，传输门，切换信号