基于脉冲宽度调制的压缩感知CMOS图像传感器

摘要

本发明提供一种脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法，所述像素结构包括：复位晶体管、行选晶体管、感光二极管、比较器、放大晶体管以及列选晶体管，所述像素结构连接有一计数器，所述计数器在曝光开始时开始计数，直至接收到所述比较器的反转信号，使得计数器输出值为曝光开始至比较器发生反转所经历的时钟周期个数。本发明一方面在保持脉宽调制CIS超低功耗这一优点的条件下，借助压缩感知技术进一步降低了其输出数据吞吐量，从而更加有利于在物联网等大数据场合缓解庞大的数据量所带来的压力；另一方面通过动态时间曝光和多列并行读出的技术成倍地提升了该系统的成像速度。

说明书

技术领域

本发明设计一种CMOS图像传感器，特别是涉及一种脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法。

背景技术

图像传感器作为电子设备的“眼睛”已经得到广泛应用。基于标准工艺的CMOS图像传感器(CMOS Image Sensor,CIS)相对于传统的CCD(Charge Coupled Device)图像传感器具有单片集成像素和读出电路、图像信息随机读出、小体积、低成本等特点，逐渐成为图像信息获取的主流器件。

传统的CMOS图像传感器，图像信号的采集量化均基于对积分电压的操作，而积分电压的大小直接决定了信噪比和动态范围等关键性能指标的好坏，该因素严格限制了芯片电源电压的降低，加上源级跟随器和模数转换器等大电流模块的使用，导致功耗一般较大。

论文[1](Chen Z,Dan C,Ding Y,et al.A 21.4pW/frame-pixel PWM imagesensor with sub-threshold leakage reduction and two-step readout[J].IEICEElectronics Express,2015(0).)公开了一种脉冲宽度调制(PWM)CMOS图像传感器，这种脉冲宽度调制(PWM)CMOS图像传感器是将入射光强弱信息转换为列线信号的高电平脉冲宽度而非传统的积分电压，然后利用低功耗计数器直接将该脉冲宽度的时间量化为数字信号输出。这类CMOS传感器相对于传统结构的最大优点是可以实现较低功耗。

随着物联网和人工智能的急速发展，CIS的功耗和数据吞吐量逐渐成为重要的考量因素。PWM技术可以给低功耗CIS带来巨大突破。与此同时，压缩感知技术可以大大缓解大数据带来的压力。压缩感知CIS所输出的不再是每个像素电压大小，而是随机地对所有像素电压大小进行线性变换后输出。最常见的做法是随机选中其中一部分像素并对其像素电压进行求和。每一次求和对应一次输出结果。压缩感知理论指出此时所需要的输出结果将会远远小于本身像素个数。

在现有的设计中，压缩感知CIS相关研究工作主要涉及到光学，如论文[2](MarciaR.F.and Willett R.M.,“Compressive coded aperture super-resolution imagereconstruction,”in Proc.IEEE Int.Conf.Acoustics,Speech and Signal Processing,2008:833–836.)及[3](Duarte M.F.,Davenport M.A.,Takhar D.,Laska J.N.,SunT.Kelly K.F.,and Baraniuk R.G.,“Single-pixel imaging via compressivesampling,”IEEE Signal Process.Mag.,Vol.25,No.2,Mar.2008:83–91.)和片上电路等压缩感知方式如论文[4](Robucci R.,Gray J.D.,Chiu L.K.,Romberg J.,and Hasler P.,“Compressive sensing on a CMOS separable-transform image sensor,”Proc.IEEE,Vol.98,No.6,Jun.2010:1089–1101.)及[5](Jacques L.,Vandergheynst P.,Bibet A.,Majidzadeh V.,Schmid A.,and Leblebici Y.,“CMOS compressed imaging by randomconvolution,”in Proc.IEEE Int.Conf.Acoustics,Speech and Signal Processing,2009:1113–1116.)，如图1a～图1d所示。在论文[2]中，随机观测矩阵是通过在图像的傅里叶平面上放置随机相位的掩膜实现的，光强被调制之后进而在一个低分辨率的图像传感器上进行成像。论文[3]采用单像素成像系统中入射光经过数字微镜片装置反射后被单个感光二极管收集并连续输出的，输出的像素值则是由取向各异的镜片组合反射回来的光强大小。这类光学压缩感知CIS一般需要复杂的校准，灵敏度低，且不适用于主流的可见光成像系统。

论文[4]将整个像素阵列分成若干块并分别进行压缩转换，其变换采用的是电流求和方式，并且被动式像素阵列和模拟累加的操作会使信噪比SNR大大降低。论文[5]同样是在模拟域进行电流求和，依然会存在精度不足的限制。

相比于上述压缩感知CIS，基于脉冲宽度调制的压缩感知CIS具有得天独厚的优势。这主要是因为基于脉冲宽度调制的压缩感知CIS的像素可以通过计数器直接输出数字信号。显然，数字信号更有利于进行压缩变换，并且不会影响变换的精度。

基于以上所述，提供一种可以有效减小脉宽调制CMOS图像传感器的数据吞吐量的基于脉冲宽度调制的压缩感知CMOS图像传感器实属必要。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法，用于解决现有技术中脉宽调制CMOS图像传感器的数据吞吐量较大的问题。

为实现上述目的及其他相关目的，本发明提供一种脉宽调制CIS的像素结构，所述脉宽调制CIS的像素结构包括：复位晶体管、行选晶体管、感光二极管、比较器、放大晶体管以及列选晶体管，其中：所述复位晶体管的栅极连接复位信号，第一极连接电源，第二极连接所述行选晶体管的第一极，所述行选晶体管的栅极连接行选信号，第二极连接所述感光二极管的第一端以及所述比较器的输入端，所述感光二极管的第二端接地，所述比较器的输出端连接所述放大晶体管的栅极，所述放大晶体管的第一极接地，第二极连接所述列选晶体管的第一极，所述列选晶体管的栅极连接列选信号，第二极连接于一计数器。

作为本发明的脉宽调制CIS的像素结构的一种优选方案，所述感光二极管在曝光时进行放电，当其电压减小到比较器的参考电压时，所述比较器发生反转。

进一步地，所述计数器在曝光开始时开始计数，直至接收到所述比较器的反转信号，使得计数器输出值为曝光开始至比较器发生反转所经历的时钟周期个数。

本发明还提供一种基于脉冲宽度调制的压缩感知CMOS图像传感器，包括：像素阵列、行选电路、列选电路、随机数阵列产生电路和计数器阵列，其中：所述像素阵列包括多个如上述方案所述的脉宽调制CIS的像素结构；所述行选电路用于提供所述像素阵列的行选信号；所述列选电路用于提供所述像素阵列的列选信号；所述随机数阵列产生电路用于产生随机数，所述随机数决定参与计数器计数的像素；所述计数器阵列用于对一列中随机数使能的像素值进行求和，实现压缩感知采样所要求的线性求和变换过程。

作为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的一种优选方案，所述像素阵列包含的像素结构数量为m×n个，所述随机数阵列产生电路包含的寄存器的数量为m×m个，所述计数器阵列包含的计数器的数量为m×1个，所述压缩感知CMOS图像传感器的曝光方式为逐行逐列曝光，其中，m、n为正整数。

进一步地，所述随机数阵列产生电路包括m×m个D触发器，每一个计数器与m×1个D触发器对应连接，其中，m为正整数。

作为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的一种优选方案，所述计数器阵列中同时工作的计数器的数量为1/4m～3/4m之间。

优选地，将闲置状态的计数器分配给其它列的像素结构，实现若干列像素结构的同时曝光。

进一步地，将所述m×1个计数器平均分成x份，所述x份计数器同时对x个像素结构列同时进行计数。

进一步地，将所述计数器阵列包含的计数器数量增加至m×k个，使得所述计数器被分成的份数为x×k份，以同时对x×k个像素结构列同时进行计数。

作为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的一种优选方案，前一行像素结构完成曝光之后，下一行像素结构立即开始新的曝光，当比较器发生翻转时，复位信号脉冲产生，使得比较器重新恢复到高电平。

作为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的一种优选方案，所述随机数阵列产生电路中的寄存器通过列选开关与计数器连接，所述列选开关由列选电路控制导通或关断。

作为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的一种优选方案，所述随机数阵列产生电路中的寄存器通过串联的列选开关及行选开关与计数器连接，所述列选开关由列选电路控制导通或关断，所述行选开关由行选电路控制导通或关断。

本发明还提供一种基于脉冲宽度调制的压缩感知CMOS图像传感器的工作方法，包括：步骤1)，初始化随机数序列，为每个计数器分配一个随机数列，所述随机数列决定是否对某一行像素结构进行计数，即随机数成为计数器的一个使能端，以确定计数器在一次读出过程中对哪些像素结构的电压进行累加；步骤2)，列选电路选定一列像素结构，以确定进行压缩感知采样的像素结构列；步骤3)，开始逐行曝光，当第i行曝光开始的复位信号产生后，被随机数使能的计数器将从上一次计数结果继续计数，未被使能的计数器保持计数状态；步骤4)，当最后一行像素曝光完成之后，输出计数器阵列的数值，并对计数器进行复位。

作为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的工作方法的一种优选方案，还包括步骤5)，列选电路选通下一列像素结构，并重复进行步骤3)～步骤4)。

如上所述，本发明的脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法，具有以下有益效果：

本发明提供了一种脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法，一方面在保持脉宽调制CIS超低功耗这一优点的条件下，借助压缩感知技术进一步降低了其输出数据吞吐量，从而更加有利于在物联网等大数据场合缓解庞大的数据量所带来的压力；另一方面，通过动态时间曝光和多列并行读出的技术成倍地提升了该系统的成像速度。本发明结构及方法简单，在CMOS图像传感器领域具有广泛的应用前景。

附图说明

图1a显示为现有技术论文[2]中的随机相位掩膜成像结构。

图1b显示为现有技术论文[3]中的单像素成像结构。

图1c显示为现有技术论文[4]中的模拟求和成像结构。

图1d显示为现有技术论文[5]中的像素内随机读取成像结构。

图2显示为本发明的脉宽调制CIS的像素结构的结构示意图。

图3显示为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的结构示意图。

图4显示为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的计数器和随机数阵列之间的一种连接关系示意图。

图5显示为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的动态曝光时序与现有技术的曝光时序对比图。

图6显示为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的计数器和随机数阵列之间的另一种连接关系示意图。

图7显示为本发明的显示为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的计数器的工作方式示意图。

图8显示为本发明的基于脉冲宽度调制的压缩感知CMOS图像传感器的的工作方法的步骤流程示意图。

元件标号说明

M1复位晶体管

M2行选晶体管

PD感光二极管

A1比较器

M3放大晶体管

M4列选晶体管

S11～S15步骤1)～步骤5)

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图2～图8。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图2所示，本实施例提供一种脉宽调制CIS的像素结构，所述脉宽调制CIS的像素结构包括：复位晶体管M1、行选晶体管M2、感光二极管PD、比较器A1、放大晶体管M3以及列选晶体管M4，其中：所述复位晶体管M1的栅极连接复位信号，第一极连接电源，第二极连接所述行选晶体管M2的第一极，所述行选晶体管M2的栅极连接行选信号，第二极连接所述感光二极管PD的第一端以及所述比较器A1的输入端，所述感光二极管PD的第二端接地，所述比较器A1的输出端连接所述放大晶体管M3的栅极，所述放大晶体管M3的第一极接地，第二极连接所述列选晶体管M4的第一极，所述列选晶体管M4的栅极连接列选信号，第二极连接于一计数器。

作为示例，所述感光二极管PD在曝光时进行放电，当其电压减小到比较器A1的参考电压时，所述比较器A1发生反转。所述计数器在曝光开始时开始计数，直至接收到所述比较器A1的反转信号，使得计数器输出值为曝光开始至比较器A1发生反转所经历的时钟周期个数。

具体地，本发明的脉宽调制CIS的像素结构与传统像素结构的最大不同在于其中存在一个比较器A1。脉宽调制CIS的工作过程为：1)根据行选电路和列选电路确定将要曝光的像素；2)对选定像素和计数器进行复位操作；3)开始曝光，感光二极管PD会进行放电，电压减小，当电压减小到比较器A1的参考电压时，比较器A1会发生反转；4)曝光开始时计数器会在自己的时钟频率上进行计数直至比较器A1反转信号的到来，因而计数器输出值的大小就是比较器A1发生反转之前所经历的时钟周期个数。根据以上原理，脉宽调制CIS的计数器输出值与光照强度成反比关系。这是因为光照越强，感光二极管PD放电越快，进而以更快的速度使比较器A1发生反转。反之亦然。

如图3～图7所示，本实施例还提供一种基于脉冲宽度调制的压缩感知CMOS图像传感器，包括：像素阵列、行选电路、列选电路、随机数阵列产生电路和计数器阵列，其中：所述像素阵列包括多个脉宽调制CIS的像素结构；所述行选电路用于提供所述像素阵列的行选信号；所述列选电路用于提供所述像素阵列的列选信号；所述随机数阵列产生电路用于产生随机数，所述随机数决定参与计数器计数的像素；所述计数器阵列用于对一列中随机数使能的像素值进行求和，实现压缩感知采样所要求的线性求和变换过程。

作为示例，所述像素阵列包含的像素结构数量为m×n个，所述随机数阵列产生电路包含的寄存器的数量为m×m个，所述计数器阵列包含的计数器的数量为m×1个，所述压缩感知CMOS图像传感器的曝光方式为逐行逐列曝光，其中，m、n为正整数。所述随机数阵列产生电路包括m×m个D触发器，每一个计数器与m×1个D触发器对应连接，其中，m为正整数。

具体地，计数器和随机数阵列之间的关系如图4所示，所述随机数阵列产生电路中的寄存器通过列选开关与计数器连接，所述列选开关由列选电路控制导通或关断。随机数阵列由D触发器(即寄存器)提供，一共有m×m个，每一个计数器与m×1个D触发器对应。在开始曝光之前，系统会为每个寄存器R<i,j>随机分配一个电平(高电平或低电平)。当计数器使能的时候，计数器开始计数，否则保持输出值不变。随机数决定了参与计数器计数的像素。因此，计数器在这里起到了一个累加器的作用，对一列中随机数使能的像素值进行了求和，从而实现了压缩感知采样所要求的线性求和变换过程。由于m个计数器对应的随机数均有不同，所以一列像素结构曝光结束之后最多可以得到m个结果。

作为示例，所述计数器阵列中同时工作的计数器的数量为1/4m～3/4m之间。优选地，将闲置状态的计数器分配给其它列的像素结构，实现若干列像素结构的同时曝光。

由于传统CMOS图像传感器的一列像素也会输出m个结果，那么采用压缩感知后的输出结果应该少于m个。本发明之所以选择了m个计数器是因为当m个计数器同时输出结果时可以准确无误地恢复出原始图像，便于为压缩感知采样结果提供一个对比和参考。为实现压缩感知采样所带来的数据量减少的目的，本发明可以只让其中的一部分计数器工作。当工作的计数器的数量为m/2和m/4时，相应的输出结果也为m/2和m/4。因而输出数据量将会随着压缩比例的改变成倍减少。此外，m个计数器可以使压缩比例配置更加灵活，能够针对不同的应用场景进行调整。

作为示例，前一行像素结构完成曝光之后，下一行像素结构立即开始新的曝光，当比较器A1发生翻转时，复位信号脉冲产生，使得比较器A1重新恢复到高电平。

为了增加脉宽调制压缩感知CMOS图像传感器的工作速度，本发明将采用动态曝光时间的方法。常用曝光方法的曝光时间是一个固定值，如图5所示。固定曝光时间的方法会存在较大时间冗余，因为系统的曝光时间会由最暗的像素决定，那么其它像素会提前使比较器A1发生反转，然后等待最暗像素完成反转。为了解决这一问题，动态曝光时序如图5所示，复位信号与前一行像素比较器A1反转信号密切相关。也就是只要前一行像素完成曝光之后，下一行像素立即开始新的曝光，省去了等待时间。当比较器A1发生翻转时，复位信号脉冲产生；当复位信号产生时比较器A1又会重新恢复到高电平。

当然，所述随机数阵列产生电路中的寄存器也可以通过串联的列选开关及行选开关与计数器连接，所述列选开关由列选电路控制导通或关断，所述行选开关由行选电路控制导通或关断。

当系统进行压缩感知采样的时候，通常计数器会存在冗余，因为有一部分计数器会处于闲置状态。为了解决这一问题，可以把处于闲置状态的计数器分配给其它列，实现若干列同时曝光。这样不仅解决了计数器冗余问题，还会成倍提升系统的成像速度。

此时计数器和随机数之间的连接关系修改为图6所示结构。此时计数器的使能端不仅会受到行选信号的控制还会受到列选信号的控制，从而可以让这些计数器分别为不同列的像素进行计数。

以每列输出m/4个计数结果为例，如图7所示，将m个计数器分为4块，每块m/4个。就其中一块而言，其获取输出结果的过程与之前一样。首先第一个m/4块将完成对第1列的采样求和，并且可以输出m/4个结果；与此同时另三个m/4块分别完成对第2,3,4列的采样求和。然后进行到下个读出周期，四个m/4块分别读出5,6,7,8列的采样结果。以此类推直到所有的列都被读出为止。根据这个例子，如果压缩比列设置为cr，即每列输出结果为m/cr，那么可以一次读出cr列的压缩采样结果。换句话说，这样做可以使压缩感知采样速度提高cr倍。

在芯片面积有限的情况下本发明还可以通过增加计数器个数的方法进一步增加压缩感知采样速度。将所述m×1个计数器平均分成x份，所述x份计数器同时对x个像素结构列同时进行计数。进一步地，将所述计数器阵列包含的计数器数量增加至m×k个，使得所述计数器被分成的份数为x×k份，以同时对x×k个像素结构列同时进行计数。其原理与上述一致，即将计数器的个数由m个增加到m×k个。每m个计数器都按照图7所示的工作方式进行计数，那么可以一次读出k*cr个结果，进而使压缩感知采样速度提高k*cr倍。

如图8所示，本实施例还提供一种基于脉冲宽度调制的压缩感知CMOS图像传感器的工作方法，包括：

步骤1)S11，初始化随机数序列，为每个计数器分配一个随机数列，所述随机数列决定是否对某一行像素结构进行计数，即随机数成为计数器的一个使能端，以确定计数器在一次读出过程中对哪些像素结构的电压进行累加；

步骤2)S12，列选电路选定一列像素结构，以确定进行压缩感知采样的像素结构列；

步骤3)S13，开始逐行曝光，当第i行曝光开始的复位信号产生后，被随机数使能的计数器将从上一次计数结果继续计数，未被使能的计数器保持计数状态；

步骤4)S14，当最后一行像素曝光完成之后，输出计数器阵列的数值，并对计数器进行复位。

步骤5)S15，列选电路选通下一列像素结构，并重复进行步骤3)～步骤4)。

在上述过程中，随机序数序列和计数器序列中的处于工作状态的数量将根据实际场景进行确定。按照前文分析的，进行压缩感知采样的时候会有一部分计数器处于闲置状态，因而也不用为其分配随机数阵列。一般来说，处于闲置状态的计数器越少，压缩感知恢复出来的图像质量越好，但是所要输出的数据量越大，因而这需要在实际应用场景中进行具体权衡。

为了增加脉宽调制压缩感知CMOS图像传感器的工作速度，本发明将采用动态曝光时间的方法。常用曝光方法的曝光时间是一个固定值，如图5所示。固定曝光时间的方法会存在较大时间冗余，因为系统的曝光时间会由最暗的像素决定，那么其它像素会提前使比较器A1发生反转，然后等待最暗像素完成反转。为了解决这一问题，动态曝光时序如图5所示，复位信号与前一行像素比较器A1反转信号密切相关。也就是只要前一行像素完成曝光之后，下一行像素立即开始新的曝光，省去了等待时间。当比较器A1发生翻转时，复位信号脉冲产生；当复位信号产生时比较器A1又会重新恢复到高电平。

当系统进行压缩感知采样的时候，上述分析过程指出计数器会存在冗余，因为有一部分计数器会处于闲置状态。为了解决这一问题，可以把处于闲置状态的计数器分配给其它列，实现若干列同时曝光。这样不仅解决了计数器冗余问题，还会成倍提升系统的成像速度。

此时计数器和随机数之间的连接关系修改为图6所示结构。此时计数器的使能端不止会受到行选信号的控制还会受到列选信号的控制，从而可以让这些计数器分别为不同列的像素进行计数。

以每列输出m/4个计数结果为例，如图7所示，本发明将m个计数器分为4块，每块m/4个。就其中一块而言，其获取输出结果的过程与之前一样。首先第一个m/4块将完成对第1列的采样求和，并且可以输出m/4个结果；与此同时另三个m/4块分别完成对第2,3,4列的采样求和。然后进行到下个读出周期，四个m/4块分别读出5,6,7,8列的采样结果。以此类推直到所有的列都被读出为止。根据这个例子，如果压缩比列设置为cr，即每列输出结果为m/cr，那么可以一次读出cr列的压缩采样结果。换句话说，这样做可以使压缩感知采样速度提高cr倍。

在芯片面积有限的情况下本发明还可以通过增加计数器个数的方法进一步增加压缩感知采样速度。其原理与上述一致，只需增加计数器个数就可以。如果计数器的个数由m个增加到k*m个。每m个计数器都按照图7所示的工作方式进行计数，那么可以一次读出k*cr个结果，进而使压缩感知采样速度提高k*cr倍。

如上所述，本发明的脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法，具有以下有益效果：

本发明提供了一种脉宽调制CIS的像素结构、基于脉冲宽度调制的压缩感知CMOS图像传感器及其工作方法，一方面在保持脉宽调制CIS超低功耗这一优点的条件下，借助压缩感知技术进一步降低了其输出数据吞吐量，从而更加有利于在物联网等大数据场合缓解庞大的数据量所带来的压力；另一方面，通过动态时间曝光和多列并行读出的技术成倍地提升了该系统的成像速度。本发明结构及方法简单，在CMOS图像传感器领域具有广泛的应用前景。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。