使用具有空间变化阈值的二进制传感器阵列的强度估计

摘要

一种设备，其包括包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活阈值位于一个值范围内。该设备进一步包括与存储器连接的处理器，该存储器包括计算机程序代码，其中存储器和计算机程序代码被配置成与处理器一起，使得该设备至少执行基于阵列的电输出来估计照射该阵列的光强度。

说明书

技术领域

本发明的示例性和非限制性的实施方式一般地涉及成像系统、方法、装置和计算机程序，并且更具体地，涉及使用由光传感器的阵列构成的光传感器阵列的成像系统，该光传感器的阵列产生二进制输出信号。

背景技术

该部分旨在提供权利要求中所描述的本发明的背景或上下文。这里的描述可以包括可能被追寻的概念，但不必是之前已经被想到、实现或描述的那些概念。因此，除非在这里相反地指示，在这部分所描述的内容并不是本申请的说明书和权利要求书的现有技术，并且不会因为包括在此而被承认是现有技术。

最近已经感兴趣用小的二进制光电传感器的二维阵列替代传统的CCD(电荷耦合器件)光电传感器。这方面可以参考例如E.R.Fossum，What to do with Sub-Diffraction-Limit(SDL)Pixels？AProposal for a Gigapixel Digital Film Sensor，Proc.of the 2005 IEEEWorkshop on Charge-Coupled Devices and Advanced Image Sensors，Karuizawa，日本，2005年6月；L.Sbaiz，F.Yang，E.Charbon，S.Süsstrunk，M.Vetterli，The gigavision camera，Proc.of IEEEInternational Conference on Acoustics，Speech and Signal Processing(ICASSP)，2009，第1093-1096页；以及L.Sbaiz，F.Yang，E.Charbon，S.Süsstrunk，M.Vetterli，Image reconstruction in gigavisioncamera，ICCV workshop OMNIVIS 2009。

由于相比较于传统的光电传感器(例如CCD光电传感器)，二进制光电传感器的尺寸小，可以合理地假定二进制传感器阵列的传感器单元的数目(例如，16-256个单元)小于爱里斑的传感器单元(例如，可以位于爱里斑的尺寸内)的数目。因此，可以合理的假定传感器阵列上的光子分布可以建模为同质二维空间泊松过程。任务接着变为确定在给定二进制传感器阵列的输出下的光强度。

二进制传感器是仅具有两个状态的简单传感器：初始为零，并且检测到的光子的数目超过某个预定的阈值，状态改变为一。现有技术的二进制传感器系统已经仅考虑固定阈值的二进制传感器。

发明内容

根据本发明的示例性实施方式，上述和其他的问题被克服，并且其他优势被实现。

在其第一方面中，本发明的示例性实施方式提供一种设备，其包括包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活值位于一个值范围内。该设备进一步包括与存储器连接的处理器，该存储器包括计算机程序代码，其中存储器和计算机程序代码被配置成与处理器一起，使得该设备至少执行基于阵列的电输出来估计照射该阵列的光强度。

在其另外的方面中，本发明的示例性实施方式提供一种方法，其包括提供包含N个亚衍射极限光传感器的阵列，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活值位于一个值范围内；以及基于阵列的电输出来估计照射该阵列的光强度。

实施方式的进一步例子提供在所提交的权利要求1到30中。

附图说明

在下面的具体实施方式中，当结合附图阅读时，本发明的示例性实施方式的上述和其他方面将变得更为明显，其中：

图1A示出示例性二进制传感器阵列的顶视图；

图1B示出二进制传感器的激活；

图2图形地绘出：关于强度被激活的传感器数目的期望值；

图3图形地绘出：关于强度被激活的传感器数目的期望值的导数；

图4绘出用于实现图1A的光传感器的接收器的一个合适和非限制性类型的电路；

图5示出可以被构建为包括根据本发明的示例性实施方式的图像传感器的装置的框图；

图6是示出根据本发明的示例性实施方式的方法的操作以及包括在计算机可读存储器上的计算机程序指令的执行的结果的逻辑流程图。

具体实施方式

本发明的示例性实施方式涉及数字照相机光传感器技术，并且更具体地，涉及更具体地，涉及具有指数级很高数目的像素(“位单元”)的二进制类型传感器(“接收器”)，数目可能超过10亿(“千兆”，1×10⁹)。如上所指出，“二进制”意味着每个此类的传感器或接收器单元可以仅具有两个可能的值：零(未曝光的)或一(曝光的)。本发明的示例性实施方式也涉及所谓的亚衍射极限传感器或接收器。这意味着投射在接收器上的图像并不是极为平滑，而是相比较于传感器元件的尺寸而言或多或少“模糊”。

本发明的示例性实施方式考虑比先前已经考虑过的更为一般的情形，其中阵列中的每个二进制传感器具有固定然而任意的阈值。阵列中的每个二进制传感器的阈值可以假定为初始未知。

在下面的描述中考虑两种不同的情形。在第一个情形中，假定可以获得一些训练数据，即，测试二进制传感器阵列并且光强度值以及二进制传感器阵列的相应输出被记录。阵列中每个二进制传感器的阈值接着可以使用例如贝叶斯推理来确定。在第二情形中，假定无法获得训练数据。该第二情形可以进一步划分成两个子情形，在第一子情形中(本发明的示例性实施方式最为感兴趣)，阈值的概率质量函数是已知的或至少被近似。在第二子情形中，不知道关于阈值的任何情况。

本发明的示例性实施方式从事并且解决使用有限二进制传感器阵列来估计光子强度的问题。相比较于使用同质二进制传感器的阵列，提供了具有空间变化阈值的二进制传感器的阵列。

可以对图1A做出参考，该图1A用于示出二进制传感器2的示例性阵列1的顶视图。传感器2以由x和y轴定义的规则网格图案来安排(在该非限制性实施方式中)。总计有N个传感器，其中N具有例如大约10⁶到大约10⁹或更大范围内的值。与阵列1关联的是读取电子电路3的框图，该电子电路3配置成对传感器2进行寻址并且读取传感器值，以及数据处理器4，其与体现为存储器5的数据存储介质连接。存储器5存储计算机软件程序(Prog)6，当由数据处理器4执行时，使得经由读取电子电路3接收到的传感器输出被处理。

在图1A中示出的各种组件可以包括图像捕获(照相机)芯片、芯片组或模块8，其可以以单机的方式使用，或者可以并入进另一个装置或设备中。在图5中示出一个示例性实施方式，其中图1A的照相机模块8可以形成并入进用户设备(例如，并入进蜂窝电话)的照相机28的所有或一部分。

图1B示出一些二进制传感器2的激活的例子。传感器F和H没有被激活，因为没有光子在它们上撞击。传感器B、C、D和G被激活(即，假设逻辑一状态)，因为它们接收(吸收)数目等于或大于它们各自的阈值的光子。传感器A和E保持不活跃(即保持在逻辑零状态)，因为它们接收(吸收)数目小于它们各自的阈值的光子。

假设每个二进制传感器2的阈值固定但未知的情形。此外，假设可以获得训练数据。首先，训练数据用于求解(或估计，取决于数据的数量)每个二进制传感器2的阈值。接着，给定曝光的二进制传感器阵列1的输出，使用二进制传感器2的阈值和它们的方位(位置)的知识来估计强度。

假设在二维阵列1中存在N个传感器2，数目从1到N。第i个二进制传感器的状态S_i是贝努里随机变量，并且传感器i的阈值T_i是离散正随机变量。进一步假设具体二进制传感器2的状态独立于其他传感器2的状态。我们的第一个任务是确定每个传感器的阈值，给定训练数据的集合S，包括二进制传感器的输出以及相应的强度λ^(j)，其中i＝1，...，N，并且j＝1，...，|S|。每个传感器2的阈值独立于其他传感器的阈值来确定。给定传感器i的阈值T_i＝t_i和光强度λ，传感器i被激活的概率是

$>P(S_i=1|t_i,\lambda )=1-\underset{k=0}{\overset{t_i-1}{\Sigma }}\frac{{\lambda }^k{e}^{-\lambda }}{k!}.$>

从上面接着可以将针对阈值T_i的似然函数写为：

$>P\left(S_i\right|T_i=t_i)=\underset{j}{\Pi }P{(S_i=1|t_i,{\lambda }^j)}^{s_i^j}P{(S_i=0|t_i,{\lambda }^j)}^{1-s_i^j},$>

其中S_i是对应于第i个传感器的S的子集。可以使用例如最大似然估计来估计传感器i的阈值T_i的后验模式。

假设传感器2的阈值彼此独立。如果相邻传感器的阈值不是独立的，则马尔可夫随机域的理论可以用于加速学习(例如，参见G.Winkler，图像分析，随机域和马尔可夫链蒙特卡洛法施普林格，2003)。

现在假定针对所有i＝1，...，N确定第i个二进制传感器的阈值T_i。给定二进制传感器阵列1的输出下一个步骤是估计光子强度。如前，针对强度λ的似然函数可以写为：

$>P\left({\left(s_j\right)}_{j=1}^N\right|\lambda )=\underset{i=1}{\overset{N}{\Pi }}P{(S_i=1|\lambda )}^{s_i}P{(S_i=0|\lambda )}^{1-s_i}.$>

针对强度λ的估计现在可以通过使用例如具有先验分布的最大后验估计来获得。

在上文中，分析贝叶斯方法用于估计光子强度。然而，使用前馈神经网络也能很好地合适于该任务(例如，参见S.Haykin，NeuralNetworks：Comprehensive Foundation，IEEE Press，2^nd edition，1999)。一般来说，可获得的训练数据可以用于训练神经网络以从传感器阵列输出估计强度。

考虑不使用训练数据的估计。更具体地，在给定二进制传感器阵列1的输出以及阈值的概率质量函数，考虑如何确定强度。该特定的情形不同于先前的情形，因为二进制传感器2的阈值并不是显式确定地。替代地，概率质量函数和被激活的传感器2的数目的知识用于产生强度的估计。

假设二进制传感器阵列1的阈值根据概率质量函数p_T(k)分布。目的在于在给定二进制传感器阵列1的输出下确定强度。在给定强度λ下激活特定传感器2的概率是：

$>P(S=1|\lambda )=\underset{k=1}{\overset{M}{\Sigma }}{p}_T\left(k\right)P(S=1|T=k,\lambda ),$>

其中M是传感器二进制阵列1中的最大阈值并且

$>P(S=1|T=k,\lambda )=1-\underset{i=0}{\overset{k-1}{\Sigma }}\frac{{\lambda }^i{e}^{-\lambda }}{i!}$>

在给定强度λ存在l个被照亮的传感器2的概率是

$>P\left(\mathrm{llitsensors}\right|\lambda )=\left(\begin{array}{c}N\\ l\end{array}\right)P{(S=1|\lambda )}^{l}P{(S=0|\lambda )}^{N-l}$>

针对λ的最大似然估计是最大化先前等式的值。注意本发明的示例性实施方式不限于前述的估计器，并且也可以使用其他的估计器。

图2图形化地绘出：关于强度λ的被激活的传感器2的数目的期望值。对于实线，传感器阈值保持不变，具有值T＝1、T＝2、T＝3和T＝4，并且对于虚线，阈值在1和4之间平均地分布。

在图3中，不同二进制传感器阵列1的性能被比较。更具体地，图3图形化绘出关于强度λ，被激活的传感器2的数目的期望值的导数。对于实线，传感器阈值保持不变，具有值T＝1、T＝2、T＝3和T＝4，并且对于虚线，阈值在1和4之间平均地分布。

如可以被期待的，当光强度低时，其中所有的阈值等于一的二进制传感器阵列1最佳地执行。另一方面，当所有的阈值等于四时，当强度高时，执行是好的，但在低强度处，传感器阵列1将比可接受的执行的差。在其中阈值被平均分布的传感器阵列1组合其他类型的传感器阵列的最佳特征，即，甚至当具有阈值1的阵列几乎饱和时，阵列1能够产生信息，并且阵列1在低强度水平处相对敏感，其中具有所有的阈值等于四的阵列基本上无功能。

具有空间变化阈值的二进制传感器阵列1的情形是重要的。例如，如果具有单个光子灵敏度的二进制传感器阵列1将被构建，例如通过使用光刻技术，阵列1中的二进制传感器2的阈值将有些变化，作为制造工艺中瑕疵的结果。如上所示出，通过将此考虑进可以改进二进制传感器阵列1的性能。注意阈值也可以有目的地改变并且具有不同程度的控制性(即，使用已知分布但具有未知的位置)。进一步注意到来自于制造工艺的信息可以被馈入到方法中，以便改进性能。

图4中示出用于实现接收器2的一个合适和非限制性类型的电路。在该情形中，每个接收器2包括与基于简单反相的比较器电路2B连接的光电二极管2A，用于一比特幅度量化。由于背景照射，可调节的阈值电流可以用于阻止触发。当信号电流(加背景电流)超过阈值电流I_t并且由于放电电流I_s+I_b-I_t，跨C_pix的电压U_in下降低于比较器2B的阈值电压(～-U_dd/2)。假设相比较于信号脉冲的幅度I_t是小的，通过对像素的输入电容放电所需的光能量E_pix确定像素的灵敏度：

E_pix≈(C_pixΔU)/SK_F，

其中C_pix是像素的总输入电容，包括光电二极管和电路输入电容，ΔU是在输入处触发比较器2B所需的电压变化，S是光电二极管响应度并且K_F是像素填充因子。作为非限制性的例子，其他可能的方法包括使用雪崩或碰撞电离以提供像素内增益，或使用量子点。

注意如到目前所描述的，阵列1中的各个传感器2的阈值可变性可以假定为从阵列1制造工艺中的固有可变性得到(例如，由于材料均匀性中的差别、光刻掩膜均匀性中的差别、掺杂水平中的差别、掺杂浓度等)。然而，有意地在传感器1间导出阈值可变性也在示例性实施方式的范围内。这可以例如通过电气方式来获得，例如通过选择性地设置上述的阈值电流，从而在传感器1之间和/或多组传感器1之间做出区别。通过这种方式，可以稍微改变或调节如图2和3中示出的虚线的形状。

图5以平面图(左)和截面图(右)二者图示出装置(例如用户设备(UE)10)的示例性和非限制性实施方式。在图5中，UE 10具有图形显示接口20和示出为小型键盘的用户接口22，但也理解包含在图形显示接口20处的触摸屏技术以及在麦克风24处接收的语音识别技术。功率致动器26控制由用户打开和关闭装置。

示例性UE 10包括照相机28，其示为面向前(例如，用于视频呼叫)，但可以可选地或附加地是面向后(例如，用于捕获图像和视频以用于本地存储)。照相机28由快门致动器30来控制并且可选地由缩放致动器30来控制，当照相机28不处于活跃模式时，其可以替代地充当用于扬声器34的音量调节。

照相机28可以假设包括图像传感器阵列1，其根据本发明的示例性实施方式来构建和操作，如上详细描述的。如上所指出的，照相机28可以包括图1A中示出的照相机模块8。

在图5的截面图内看到通常用于蜂窝通信的多个发送/接收天线36。天线36可以是与UE中的其他无线电设备一起使用的多带。功率芯片38控制被发送的信道上的功率放大和/或跨其中使用空间分集同时发送的天线上的功率放大，并且放大接收到的信号。功率芯片38向射频(RF)芯片40输出放大的接收的信号，该射频芯片40解调和下变频信号以用于基带处理。基带(BB)芯片42检测接着被转化为比特流并且最终被解码的信号。类似的处理逆向发生于在设备10中产生并且从其发送的信号。

前进到以及来自于照相机28的信号可以经过编码和解码各种图像帧的图像/视频处理器44。也可以存在单独的音频处理器46，其控制来往于扬声器34和麦克风24的信号。图形显示接口20从如由用户接口芯片50控制的帧存储器48来刷新，该用户接口芯片50可以处理来往于显示器接口20的信号和/或附加地处理来自于小键盘22和其他处的用户输入。

UE 10的某些实施方式也可以包括一个或多个次级无线电设备，例如无线局域网无线电WLAN 37和蓝牙无线电设备39，其可以结合片上的天线或者可以耦合到片外的天线。

遍布装置的是各种存储器，例如随机存取存储器RAM 43、只读存储器ROM 45以及在一些实施方式中，可以是可移动存储器，例如示出的存储器卡47，在其上存储有各种程序10C。UE 10内的所有这些组件通常由便携式电源例如电池49来供能。

如果体现为UE 10中的分开实体，处理器38、40、42、44、46、50可以以对主处理器10A、12A的从关系来操作，而主处理器10A、12A接着可以处于对它们的主关系。本发明的实施方式可以部署于跨所示出的各种芯片和存储器，或布置在结合针对图5如上所述的一些功能的另一处理器内。图5的任意或所有的这些各种处理器访问各种存储器的一个或多个存储器，其可以与处理器在芯片上或与它们分开。

上述的各种集成电路(例如，芯片38、40、42等)可以组合成比所描述的更少的数目，并且在最为紧凑的情形中，可以都物理地体现在单个芯片内。

在其他的实施方式中，用户设备可以不具有无线通信能力。通常，用户设备可以例如是包括照相机28的个人数字助理、包括照相机28的个人计算机(例如，膝上型或笔记本计算机)、包括照相机28的游戏装置，或简单地数字照相设备，作为若干非限制性的例子。

本发明的示例性实施方式的使用和应用提供多个技术优势和效果。例如，这样的包含二进制传感器2的二进制传感器阵列1仍可以用于形成图像，即，其(本性)具有可变的阈值，并且常规地被认为是不可用的，因为常规的方法将采取某个已知(固定的)传感器阈值。通过选择阈值的分布，即使在不可控的可变性情形中，可以改进二进制传感器2的阵列1的成像性能(质量)。

基于上文，应该明显的是本发明的示例性实施方式提供估计照射包含N个亚衍射极限光传感器的阵列的光强度的方法、设备和计算机程序。

图6是示出根据本发明的示例性实施方式的方法的操作以及计算机程序指令的执行结果的逻辑流程图。根据这些示例性实施方式，一种方法在块6A处执行提供包含N个亚衍射极限光传感器的阵列的步骤，每个亚衍射极限光传感器具有用于从复位状态向激活状态切换的关联光吸收激活阈值，其中光吸收激活值位于一个值范围内。在块6B中，存在基于阵列的电输出估计照射该阵列的光强度的步骤。

在前面段落所描述的方法中，估计的步骤使用训练数据来确定每个传感器的光吸收激活阈值，并且基于阵列的电输出，使用传感器的确定的光吸收激活阈值和它们的位置来估计强度。估计可以使用贝叶斯方法，或其可以使用前馈神经网络，其中训练数据用于训练神经网络以从阵列的电输出估计强度。

在图6中所描述的方法中，估计的步骤使用阵列的电输出来确定被激活的传感器的数目以及概率质量函数，以确定传感器的光吸收激活阈值的分布。估计该强度可以使用最大似然估计。

在如前面的段落所描述的方法中，其中N处于大约10⁶到在约10⁹或更大的范围中，并且其中光吸收激活值位于大约1到大约4的值的范围内。

在前面段落所描述的方法中，其中方法在包括在用户设备中的照相机模块中执行。

在图6中示出的各种块可以视为方法步骤，和/或从计算机程序代码的操作所获得的操作，和/或构建成执行相关联的功能的多个耦合的逻辑电路元件。

一般地，各种示例性实施方式可以实现在硬件或专用电路、软件、逻辑或其任意组合中。例如，一些方面可以实现在硬件中，而其他方面可以实现在固件或软件中，这些固件或软件可以由控制器、微处理器或其他计算装置来执行，尽管本发明并不限于此。尽管本发明的示例性实施方式的各种方面可以示为和描述为框图、流程图、或者使用一些其他图形表示，将很好理解这里所描述的这些块、设备、系统、技术或方法作为非限制性的例子可以实现在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算装置，或者其他组合中。

因此应该理解的是本发明的示例性实施方式的一些方面可以实现在例如集成电路芯片和模块的各种组件中，并且本发明的示例性实施方式可以实现在体现为集成电路的装置中。集成电路或多个电路可以包括用于体现数据处理器或多个数据处理器的一个或多个的电路(以及可能地固件)以及可以配置成从而根据本发明的示例性实施方式操作的数字信号处理器或多个处理器。

当结合附图阅读时，鉴于前述的描述，本发明的前述示例性实施方式的各种修改和改动对于本领域技术人员来说可以变得明显。然而，任意和所有的修改仍将落入到本发明的非限制性和示例性实施方式的范围内。

例如，尽管在图1中示出作为二进制光传感器2的二维阵列1，在其他的实施方式中，阵列1可以是二进制光传感器的三维阵列(即，可以存在沿阵列1的z轴布置的另外图像传感器2，例如在下面的共同未决美国专利申请中描述，该专利序列号12/384,549，提交于04/06/2009，“Image Sensor”，Ossi M.Kalevo，Samu T.Koskinen，Terro Rissa)。

应该注意到术语“连接”、“耦合”或其任意变形意味着在两个或多个元件之间直接或间接的任意连接或耦合，并且可以包括“连接”或“耦合”在一起的两个元件之间的一个或多个中间元件。元件之间的耦合或连接可以是物理的、逻辑的或其组合。如这里所使用的，通过使用一个或多个导线、线缆和/或印刷电连接，以及通过使用电磁能、例如具有射频区域、微波区域和光(可见光和非可见光)区域中波长的电磁能量，两个元件可以被认为是“连接”或“耦合”在一起，作为若干个非限制性和非穷举性的例子。

进一步，本发明的各种非限制性和示例性实施方式的一些特征可以有利地使用而不需要其他特征的相应使用。这样，前述的描述应该被理解为仅仅示例本发明的原理、教导和示例性实施方式，并且不是对其的限制。