用于快速获取单幅低阶累加图像的CMOS图像传感器

摘要

本发明涉及集成电路领域。为实现单幅累加图像快速拍摄，本发明采取的技术方案是，用于快速获取单幅低阶累加图像的CMOS图像传感器，在面阵CMOS图像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄存器电路，数字图像数据输出通路由一路增加为两路并且和原来的电路并行排布；像素阵列被分成两部分，第一行到第N/2行为第一部分，第（N/2）+1行到第N行为第二部分，其中连接每列像素的列总线由一条增加为并列的两条列总线，通过改变图像传感器的配置寄存器来实现正常的面阵CMOS图像传感器模式和可选阶数的TDI传感器两种模式。本发明主要应用于CMOS图像传感器设计制造。

说明书

技术领域

本发明涉及集成电路领域，尤其涉及一种用于快速获取单幅低阶累加图像的TDI型CMOS 图像传感器。

背景技术

图像传感器可将包含图像信息的光信号转换成易于处理的电信号。图像传感器按照工作 方式可以分为线阵型和面阵型。线阵型图像传感器以一维线阵排布的像素阵列通过对物体推 扫拍摄获取二维图像信息。面阵型图像传感器以呈二维面阵排布的像素阵列对物体拍摄获取 二维图像信息。面阵型和线阵型图像传感器都在生产生活中获得了极大的应用，其中线阵型 因其特殊工作方式被广泛应用在空间成像和机器视觉等领域。但由于在线阵型图像传感器的 像素曝光期间物体始终在作相对移动，因此成像质量有限，尤其在高速相对运动和低光照应 用环境中线阵型图像传感器的SNR（Signal toNoise Ratio，信噪比）会很低。为此，有人 在结合面阵型图像传感器和线阵推扫工作方式的基础上提出了TDI(Time Delay Integration， 时间延时积分)技术，它能很好的提升图像传感器的灵敏度和SNR。TDI基本原理是使用面阵 排布的像素阵列以线阵推扫的方式工作，通过相对移动实现不同行的像素阵列对同一目标进 行多次曝光，并将每次曝光结果进行累加，等效延长曝光积分时间来实现很高的灵敏度和SNR。

TDI技术最早是通过CCD(Charge Coupled Device,电荷耦合器件)图像传感器实现的，CCD 图像传感器是实现TDI技术的理想器件，它能够在电荷域实现无噪声的信号累加。目前TDI 多应用在CCD图像传感器中，CCD-TDI图像传感器的工作原理是使用面阵CCD图像传感器以 线推扫的方式工作，如图1所示。M级CCD-TDI图像传感器一共有M行像素，在沿CCD列方 向的推扫成像过程中，某列上的第一个像素在第一个积分周期内得到的光生电荷并不直接输 出，而是下移一个像素与同列第二个像素在第二个积分周期内得到的光生电荷相加，以此类 推在第M个积分周期结束时，第M个像元的光生电荷与前M-1次得到的光生电荷累加后再按 普通线阵CCD器件一样进行读出。这样读出电荷是单个像素的M倍，而噪声的幅度只扩大了 √M倍，因此信噪比提高√M倍。但CCD图像传感器存在功耗大集成度低等缺点，而随着 CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)技术的提高，CMOS 图像传感器正逐步取代CCD图像传感器。和TDI-CCD相比，CMOS技术下实现TDI功能只能在 模拟域或者数字域实现。在模拟域TDI方案中，CMOS图像传感器像素输出的模拟信号先进入 模拟信号累加器中完成对相同积分信号的累加，然后将完成累加的模拟信号送入ADC进行量 化输出。但累加模拟信号方式会消耗较大功耗和芯片面积，且模拟信号累加过程中会引入较 大噪声，不易实现高TDI级数。在数字域TDI方案中，先将像素输出的信号送入ADC经行量 化然后将量化后的数字信号送入数字域累加器中完成相同积分信号的累加，最后将完成累加 的信号直接输出。数字域TDI可较为节省芯片面积和功耗开销，且容易实现较高的TDI级数。 但以上方案均是设计特有TDI架构的图像传感器芯片。因而有人提出基于普通面阵CMOS图像 传感器在FPGA或DSP芯片中将CMOS图像传感器的输出数字信号进行TDI算法处理实现TDI 功能。普通的面阵CMOS图像传感器主要包括：N行×C列的像素阵列、列并行信号预处理电 路(信号放大和处理)、列并行ADC、移位寄存器和时序控制电路，其结构如图2所示。假设 CMOS面阵图像传感器具有（N行×C列）像素阵列，CMOS面阵图像传感一般采用滚筒式曝光， 像素阵列控制电路按行依次选择N行像素阵列进行复位和曝光，当一行像素曝光完成，像素 阵列控制电路选择下一行像素曝光，同时读出时序控制电路选通已曝光完成的行像素，该行 像素经过光电转换的模拟电信号通过各自的列总线进入列信号放大和处理电路，经过处理和 放大的模拟信号再进入列级ADC电路进行模数转换为数字图像信号，时序控制电路控制移位 寄存器按列依次读出该行数字图像信号，当该行像素的数字图像信号读出完成，读出时序控 制电路继续对下一行像素信号进行处理和读出操作。基于普通CMOS图像传感器实现TDI功能 的原理如图3所示，由于CMOS图像传感器具有窗口选择功能，若选取N行×C列像素阵列中 4行像素作为TDI区域，每帧图像只输出4×C个像素，选择的4行CMOS像素阵列从第一行 到第4行像素先后完成卷帘式曝光、读出与复位的过程为一帧。通过对多帧图像的存储、移 位和累加等操作就可以实现基于CMOS面阵图像传感器的TDI功能。在第一个行周期内，CMOS 图像传感器曝光读出得到4×C个像素图像，其中第4行图像P₄(1)是第4行像素对第1行景 物第1次曝光得到的图像。在第二个行周期内，第3行图像P₃(2)是第3行像素对第1行景物 第2次曝光得到的图像。以此类推，在第4个行周期内，第1行图像P₁(4)是第1行像素对第 1行景物第4次曝光得到的图像。将这4次输出的数字信号进行累加，就得到了最终的第一 行景物的4阶TDI结果Output(4):

Output(4)=P₄(1)+P₃(2)+P₂(3)+P₁(4)    (1)

以此类推，在第5个行周期，可得到第2行景物的TDI结果。使用这种方案可不依赖于 器件本身，并且TDI级数和分辨率都可调，后续的TDI算法也容易实现。

但在实际的工业等应用中，由于环境复杂，常既需要普通面阵图像传感器的功能，又需 要在暗光下进行快速TDI成像的功能，这样使用特定的TDI图像传感器芯片就很难满足要求。 这时选择基于普通面阵CMOS图像传感器实现TDI算法的方案在一定程度上就能较好的满足需 求。但目前的CMOS图像传感器普遍为大面阵的芯片，在进行低阶TDI单幅图像拍摄时，如使 用128×1024的图像传感器进行4阶TDI完成单幅（128×1024）图像成像时，若使用其中4 行进行成像，需要在131个行时间采集131帧（每帧大小为4行×1024列）图像完成此TDI 成像，其中每个行时间完成4行像素的曝光、读出和复位，这样会造成CMOS图像传感器芯片 像素阵列的浪费且成像速度低下；若直接使用128行进行成像，在4个行时间采集4帧（每 帧大小为128行×1024列）图像完成TDI单幅（125行×1024列）成像，其中每个行时间需 要完成128行像素的曝光、读出和复位，这会造成成像器和景物相对运动速度的限制和成像 速度低下。

发明内容

本发明旨在克服现有技术的不足，实现单幅累加图像快速拍摄，为达到上述目的，本发 明采取的技术方案是，用于快速获取单幅低阶累加图像的CMOS图像传感器，在面阵CMOS图 像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄存器电路，数字图 像数据输出通路由一路增加为两路并且和原来的电路并行排布；像素阵列被分成两部分，第 一行到第N/2行为第一部分，第（N/2）+1行到第N行为第二部分，其中连接每列像素的列 总线由一条增加为并列的两条列总线，通过改变图像传感器的配置寄存器来实现正常的面阵 CMOS图像传感器模式和可选阶数的TDI传感器两种模式；在正常模式下，两条信号读出通路 选择其中一条信号通路正常工作；在TDI传感器模式下，通过配置寄存器来设置TDI成像窗 口尺寸即TDI的阶数和分辨率，被分成两部分的像素阵列各自选择同样尺寸的TDI窗口，并 分别配合一条信号通路进行各自像素阵列的复位、曝光和读出操作；两部分像素阵列的数字 图像信号输出口分别输出各自的图像信号，但二者可共用同一条时钟信号线；TDI阶数M从 2阶到N/2阶可选，在第一个行周期，输出第一帧图像，一帧图像包含两部分，第一部分为 第1行到第M行像素信号，第二部分为第（N/2）+1行到第（N/2）+M行信号；随着图像传感 器和被拍摄物体的相对移动，在第二个行周期，输出第二帧图像，在FPGA或DSP中将第二帧 图像向前移位一行并和第一帧图像累加得到2阶TDI输出结果，依次类推。

在FPGA或DSP中依次类推，具体为：在FPGA或DSP中开辟一块大小为（N+M-1）行×C 列的存储区域，在第一个行周期将第一帧图像按行依次存于第1行到第M行存储区域和第 （N/2）+1行到第（N/2）+M行存储区域；在第二个行周期，将第二帧图像依次存于第2行到 第M+1行的存储区域和（N/2）+2行到第（N/2）+M+1行存储区域，其中第2行到第M行存储 区域中数据和第（N/2）+2行到第（N/2）+M行存储区中数据为第一个行周期中已存储的第一 帧图像数据和第二帧相应位置图像数据的累加结果；依次类推，将下一帧图像移位一行和存 储区域中的现存数据进行累加后再存储，经过N/2个行周期后，从第1行到第（N+M-1）行存 储区域都存储了图像数据，其中第M行到第N行的数据为M阶的TDI累加图像数据，图像尺 寸为（N+1-M）行×C列。

8行×C列的CMOS图像传感器工作在2阶TDI模式，图像传感器像素阵列中第一部分为 第1、2两行，第二部分为第5、6两行，在第一个行周期，图像传感器两路信号输出第一帧 结果为拍摄到景物的第1、2、5、6四行景物。在第二个行周期，图像传感器和景物相对移动， 图像传感器两路信号输出第二帧结果为景物的第2、3、6、7四行景物，移位叠加第一帧的拍 摄结果，输出的结果是第1、3、5、7景物是拍摄一次成像，第2、6行为2阶TDI累加成像； 在第三个行周期，图像传感器继续相对移动，图像传感器两路信号输出第三帧结果为景物的 第3、4、7、8四行景物，移位叠加前两帧图像后输出的结果为第1、4、5、8行景物是拍摄 一次成像，第2、3、6、7行为2阶TDI累加成像；在第四个行周期，图像传感器继续相对移 动，图像的第四帧结果为景物的第4、5、8、9四行景物，移位叠加前3帧图像后输出最终的 TDI成像结果：第1、9行景物为拍摄一次成像，第2行到第8行为TDI累加成像，如此在4 个行周期完成2阶TDI成像，成像大小为7行×C列。

本发明的技术特点及效果：

在原来经典CMOS图像传感器架构的基础上再额外增加一倍的列信号处理和放大电路、列 级ADC电路、移位寄存器电路和信号输出端口。可使得该图像传感器芯片具有普通面阵成像 和TDI成像两种模式，能更好的适应于复杂的工业和空间成像领域。同时，在TDI成像模式 中，在同一个时钟下同时输出两路信号，结合后续的FPGA和DSP实现TDI算法完成TDI功能。 当选择TDI阶数为M（传感器大小为N×C,M≤N/2）时,可在同样尺寸的TDI成像情况下，节 省50%的TDI工作时间，实现快速成像，同时，也大大减小了芯片在低阶TDI模式下的像素 资源浪费。

附图说明

图1是M阶CCD-TDI图像传感器工作原理示意图。

图2是普通面阵CMOS图像传感器结构示意图。

图3是普通面阵CMOS图像传感器4阶TDI算法实现示意图。

图4是改进的面阵CMOS图像传感器结构示意图。

图5是8行×C列改进CMOS图像传感器在2阶TDI模式下工作示意图。

具体实施方式

本发明提出在普通CMOS图像传感器架构的基础上通过增加读出通路，在TDI成像模式时 实现2路输出，2路输出信号在后端信号处理时同时进行TDI算法，进而实现单幅累加图像 快速拍摄。

在面阵CMOS图像传感器的基础上再增加一倍的列信号放大处理电路、列级ADC和移位寄 存器电路，数字图像数据输出通路由一路增加为两路。改进的图像传感器如图4所示，图像 传感器的像素阵列被分成两部分，第一行到第N/2行为第一部分，第（N/2）+1行到第N行 为第二部分，信号读出通路（包含列信号放大和处理电路、列级ADC电路和移位寄存器电路） 由一路变为2路，其中连接每列像素的列总线由一条增加为并列的两条列总线，列信号放大 和处理电路、列级ADC电路和移位寄存器电路均增加1倍，并且和原来的电路并行排布。改 进的CMOS图像传感器具有正常的面阵CMOS图像传感器模式和可选阶数的TDI传感器两种模 式，这可以通过改变图像传感器的配置寄存器来实现。在正常模式下，改进CMOS图像传感器 和普通面阵CMOS图像传感器工作原理一致，两条信号读出通路选择其中一条信号通路正常工 作。在TDI传感器模式下，可以通过配置寄存器来设置TDI成像窗口尺寸（TDI的阶数和分 辨率），被分成两部分的像素阵列各自选择同样尺寸的TDI窗口，并分别配合一条信号通路 进行各自像素阵列的复位、曝光和读出操作。两部分像素阵列的数字图像信号输出口分别输 出各自的图像信号，但二者可共用同一条时钟信号线。当图像传感器（尺寸为N行×C列） 在TDI模式工作时，可配置寄存器设置TDI成像窗口尺寸，TDI阶数M从2阶到N/2阶可选， 在第一个行周期，输出第一帧图像，一帧图像包含两部分，第一部分为第1行到第M行像素 信号，第二部分为第（N/2）+1行到第（N/2）+M行信号。随着图像传感器和被拍摄物体的相 对移动，在第二个行周期，输出第二帧图像，在FPGA或DSP中将第二帧图像向前移位一行并 和第一帧图像累加得到2阶TDI输出结果。具体操作即是在FPGA或DSP中开辟一块大小为 （N+M-1）行×C列的存储区域，在第一个行周期将第一帧图像按行依次存于第1行到第M行 存储区域和第（N/2）+1行到第（N/2）+M行存储区域；在第二个行周期，将第二帧图像依次 存于第2行到第M+1行的存储区域和（N/2）+2行到第（N/2）+M+1行存储区域，其中第2行 到第M行存储区域中数据和第（N/2）+2行到第（N/2）+M行存储区中数据为第一个行周期中 已存储的第一帧图像数据和第二帧相应位置图像数据的累加结果。依次类推，将下一帧图像 移位一行和存储区域中的现存数据进行累加后再存储，经过N/2个行周期后，从第1行到第 （N+M-1）行存储区域都存储了图像数据，其中第M行到第N行的数据为M阶的TDI累加图像 数据，图像尺寸为（N+1-M）行×C列。这种方式和现有的CMOS图像传感器实现TDI算法相 比较，在生成同样大小的TDI图像的情况下，可使得TDI成像时间减小50%，同时也大大的 提高了图像传感器在TDI功能下的使用效率。

为了更加详细明了的描述改进的CMOS图像传感器在TDI模式下的工作原理，假设以8行 ×C列的CMOS图像传感器工作在2阶TDI模式为例，如图5所示。图中虚线框表示CMOS图 像传感器像素阵列。在2阶TDI模式下，图像传感器像素阵列中第一部分为第1、2两行，第 二部分为第5、6两行，分别用矩形框表示。在第一个行周期，图像传感器两路信号输出第一 帧结果为拍摄到景物的第1、2、5、6四行景物。在第二个行周期，图像传感器和景物相对移 动，图像传感器两路信号输出第二帧结果为景物的第2、3、6、7四行景物，移位叠加第一帧 的拍摄结果，输出的结果是第1、3、5、7景物是拍摄一次成像，第2、6行为2阶TDI累加 成像。在第三个行周期，图像传感器继续相对移动，图像传感器两路信号输出第三帧结果为 景物的第3、4、7、8四行景物，移位叠加前两帧图像后输出的结果为第1、4、5、8行景物 是拍摄一次成像，第2、3、6、7行为2阶TDI累加成像。在第四个行周期，图像传感器继续 相对移动，图像的第四帧结果为景物的第4、5、8、9四行景物，移位叠加前3帧图像后输出 最终的TDI成像结果：第1、9行景物为拍摄一次成像，第2行到第8行为TDI累加成像，如 此在4个行周期就可完成2阶TDI成像，成像大小为7行×C列。如果在同样条件下完成同 样的成像效果，使用现有的CMOS图像传感器设置2阶窗口成像，需要8个行周期。

N行×C列改进CMOS面阵图像传感器，在TDI模式下，选择TDI阶数越小，输出的最终 TDI图像的尺寸越大，即当配置寄存器设置2阶TDI成像，经过N/2个行周期后，TDI成像大 小为(N-1)行×C列，同时比普通CMOS图像传感器在同样情况下TDI成像时间减小50%。如现 在普遍使用的768行×1024列CMOS面阵图像传感器，经过改进后，当选取2阶TDI成像模 式，经过512个行周期，将得到一幅767行×1024列的2阶TDI图像。