首页> 中国专利> 获取深度信息的方法以及摄像头模块

获取深度信息的方法以及摄像头模块

摘要

根据一个实施例,公开了一种方法,能够获取深度信息的摄像头模块通过该方法控制光的输出时间点和接收时间点。通过控制光的输出时间点和接收时间点两者,即使以线为单位控制光源或接收像素,摄像头模块也可以获取相邻接收像素彼此不同相位的光。

著录项

  • 公开/公告号CN112823512A

    专利类型发明专利

  • 公开/公告日2021-05-18

    原文格式PDF

  • 申请/专利权人 LG伊诺特有限公司;

    申请/专利号CN201980065843.0

  • 发明设计人 朱洋贤;李昌奕;金炯珍;

    申请日2019-10-07

  • 分类号H04N13/271(20060101);H04N13/254(20060101);H04N13/128(20060101);H04N13/111(20060101);

  • 代理机构11327 北京鸿元知识产权代理有限公司;

  • 代理人李琳;王伟

  • 地址 韩国首尔

  • 入库时间 2023-06-19 11:00:24

说明书

技术领域

本公开涉及一种获得深度信息的方法以及摄像头模块。

背景技术

通过输出光并将光反射在物体上而获得信息的装置已被应用于各个领域。例如,从3D摄像到距离测量技术,通过输出光来获得信息的技术正以多种方式被使用。

例如,飞行时间(ToF)是表示通过测量输出光的时间与从物体反射并返回的接收光的接收时间之间的时间差来测量距离的原理的术语,并且由于ToF技术的实现方法简单,因此其被用于诸如航空、造船、土木工程、摄像、勘测等的各个领域。

同样在这方面,与硬件相比,对具有良好性能的摄像头的需求日益增长。

发明内容

技术问题

根据一个或多个实施例,本公开可以提供一种获得深度信息的方法以及使用该方法的摄像头模块。通过控制光的输出时间点和接收时间点两者,即使以线(line)为单位控制光源或接收像素,摄像头模块也可以从相邻的接收像素获得不同相位的光。要解决的技术问题不限于上述的技术问题,而是可以进一步包括在对于本领域技术人员而言显而易见的范围内的各种技术问题。

技术方案

根据第一方面的摄像头模块包括:光源阵列,包括将光输出到物体的多个光源;接收器,用于通过接收像素接收从物体反射的光;以及处理器,通过利用从光源阵列输出的光与接收器接收的光之间的相位差来获得关于物体的深度信息,其中,光源阵列包括第一输出线上的光源和第二输出线上的光源,其中,从第一输出线上的光源输出的光与从第二输出线上的光源输出的光之间的相位差为第一值,其中,接收像素包括第一接收线上的像素和第二接收线上的像素,其中,在第一接收线上的像素接收光的时间点与在第二接收线上的像素接收光的时间点之间的相位差为第二值,并且其中,第一值和第二值可以是不同的值。

另外,第一值和第二值之差可以是90度。另外,第一输出线和第二输出线可以彼此相邻,并且第一接收线和第二接收线可以彼此相邻。

另外,第一输出线和第二输出线彼此平行,第一接收线和第二接收线彼此平行,并且第一输出线和第一接收线可以彼此正交。

另外,第一像素、第二像素、第三像素以及第四像素可以彼此相邻,第一像素是第一接收线上的接收从第一输出线上的光源输出的光的像素,第二像素是第二接收线上的接收从第一输出线上的光源输出的光的像素,第三像素是第一接收线上的接收从第二输出线上的光源输出的光的像素,第四像素是第二接收线上的接收从第二输出线上的光源输出的光的像素。

另外,在第一像素至第四像素中,由接收器接收的光的接收时间点均可以不同。

另外,在第一像素至第四像素中,由接收器接收的光的接收时间点可以相差与90度相位相对应的时间。

另外,处理器可以通过应用超分辨率技术来提高分辨率。

另外,接收器包括通过划分接收像素而获得的第一块和第二块,并且处理器可以使用通过第一块接收的光和通过第二块接收的光两者来获得深度信息。

另外,第一块中包括的四个像素和第二块中包括的四个像素中的两个像素可以重叠。

另外,第一值可以是180度,第二值可以是90度。

另外,第一值可以是90度,第二值可以是180度。

根据第二方面的获得深度信息的方法包括以下步骤:通过第一输出线上的像素和第二输出线上的像素向物体输出光;通过第一接收线上的像素和第二接收线上的像素接收从物体反射的光;以及通过利用输出光和接收光之间的相位差来获得关于物体的深度信息,其中,从第一输出线上的光源输出的光与从第二输出线上的光源输出的光之间的相位差为第一值,并且其中,在第一接收线上的像素接收光的时间点与在第二接收线上的像素接收光的时间点之间的相位差可以为第二值。

另外,第一值和第二值之差可以是90度。

另外,第一输出线和第二输出线彼此相邻,并且第一接收线和第二接收线可以彼此相邻。

另外,第一输出线和第二输出线彼此平行,第一接收线和第二接收线彼此平行,并且第一输出线和第一接收线可以彼此正交。

第三方面可以提供一种计算机可读记录介质,在该计算机可读记录介质中记录了用于在计算机上执行根据第二方面的方法的程序。

有益效果

根据一个或多个实施例,本公开可以提供一种获得深度信息的方法以及使用该方法的摄像头模块。通过控制光的输出时间点和光的接收时间点两者,即使以线为单位控制光源或接收像素,摄像头模块也可以从相邻的接收像素获得不同相位的光。

附图说明

图1是示出根据实施例的摄像头模块的配置和操作的框图。

图2是根据实施例的摄像头模块的截面图。

图3示意性地示出了使用四个相位图像获得深度图像的方法的示例。

图4是示出根据实施例的摄像头模块通过以线为单位控制接收器中包括的接收像素和光源阵列中包括的多个光源,从而在每个周期T中将不同的相位信号施加到块中包括的接收像素的示例的图。

图5是示出图4的摄像头模块随时间的操作的时序图。

图6是示出将90度相位延迟器用于光源阵列,将180度相位延迟器用于接收器,并且与180度相位延迟器连接的接收线相邻的情况的示例的图。

图7是示出将90度相位延迟器用于光源阵列,将180度相位延迟器用于接收器,并且与90度相位延迟器连接的输出线相邻的情况的示例的图。

图8是示出将90度相位延迟器用于光源阵列,将180度相位延迟器用于接收器,并且接收线和输出线中与相位延迟器连接的线彼此不相邻的情况的示例的图。

图9是示出摄像头模块通过将180度相位延迟器用于光源阵列,将90度相位延迟器用于接收器,以线为单位控制接收器中包括的接收像素和光源阵列中包括的多个光源,从而在每个周期T中将不同的相位信号施加到块中包括的接收像素的示例的图。

图10是示出图9的摄像头模块随时间的操作的时序图。

图11是示出摄像头模块使用超分辨率技术来提高图像的分辨率的方法的图。

图12是用于示出根据实施例的根据超分辨率技术来提高分辨率的示例的图。

图13是示出根据实施例的获得关于物体的深度信息的方法的流程图。

具体实施方式

在下文中,将参考附图详细描述本发明的优选实施例。

然而,本发明的技术理念不限于将要描述的一些实施例,而是可以以各种形式实现,并且在本发明的技术理念的范围内,在实施例之间可以选择性地组合或替换一个或多个构成元件。

另外,除非明确地定义和描述,否则在本发明的实施例中使用的术语(包括技术术语和科学术语)可以被解释为本领域技术人员通常能够理解的含义,并且常用术语(例如词典中定义的术语)可以考虑相关技术的上下文的含义来解释。

另外,在本说明书中使用的术语用于描述实施例,并不旨在限制本发明。

在本说明书中,除非在措辞中明确指出,否则单数形式可以包括复数形式,并且当描述为“A和B和C中的至少一个(或一个以上)”时,其可以包括可以由A、B和C组合的所有组合中的一个或多个。

另外,在描述本发明的实施例的部件时,可以使用诸如第一、第二、A、B、(a)和(b)的术语。这些术语仅旨在将这些部件与其他部件区分开,并且这些术语不限制部件的性质、次序或顺序。

并且,当部件被描述为“连接”、“耦接”或“联接”到另一部件时,该部件可以直接连接、耦接或联接到另一部件,然而,应当理解,在部件之间可以“连接”、“耦接”或“联接”又一部件。

另外,当描述为形成或布置在每个部件的“上(上方)”或“下(下方)”时,“上(上方)”或“下(下方)”表示不仅包括两个部件彼此直接接触的情况,还包括在两个部件之间形成或设置一个或多个其他部件的情况。另外,当表述为“上(上部)”或“下(下部)”时,不仅可以包括基于一个部件的向上方向的含义,而且可以包括基于一个部件的向下方向的含义。

另外,以下描述的数值可以被解释为根据误差在合理范围内的值。例如,写为“1”的数字可以被解释为“1.01”。

在下文中,将参考附图详细描述本发明的实施例。在下文中,“光”可以被理解为包括“光信号”的概念,并且“信号”可以被理解为包括“光信号”的概念,并且可以互换地使用。

图1是示出根据实施例的摄像头模块100的配置和操作的框图。

如图1所示,摄像头模块100可以包括光源阵列1100、处理器1000和接收器120。

然而,本领域技术人员可以理解,摄像头模块100中可以进一步包括除了图1所示的部件以外的其他通用部件。例如,摄像头模块100可以进一步包括:使从光源阵列输出的光穿过的漫射器、包括在光源阵列1100中的光调制器(未图示)或连接到处理器1000的存储器(未示出)。术语“存储器”可以被广义地解释为包括能够存储电子信息的任何电子部件。术语“存储器”可以指各种类型的处理器可读介质,例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁或光数据存储器、寄存器等。如果处理器1000可以从存储器读取信息和/或向存储器写入信息,则该存储器被称为与处理器进行电子通信。集成在处理器1000中的存储器与处理器进行电子通信。

另外,存储器可以包括闪存类型、硬盘类型、多媒体卡微型、卡类型存储器(例如,SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘中的至少一种类型的存储介质。

可替代地,根据另一实施例,本领域技术人员可以理解,可以将图1中所示的一些部件省略。

根据实施例的光源阵列1100可以输出光。从光源阵列1100输出的光可以具有预设范围内的波长。

例如,光源阵列1100可以是能够发射具有红外波长的光以及具有约850nm的近红外(NIR)波长的光(为了安全起见,人眼不可见)的发光二极管(LED)或激光二极管(LD),但是波长带和光源阵列的类型不受限制。例如,从光源阵列1100输出的光的波长可以被包括在可见光区域或紫外光区域中。

例如,光源阵列1100可以通过根据从处理器1000接收的控制信号执行幅度调制或相位调制来输出光。根据处理器1000的控制信号从光源阵列1100输出到物体130的光可以具有周期性连续函数(具有预设周期)的形式。例如,光可以具有特别定义的波形,例如正弦波、斜波、方波或脉冲波,但是可以具有未定义的一般形式。

接收器120可以接收从物体130反射的光。摄像头模块100可以通过由接收器120接收的接收光获得各条信息。

根据实施例的摄像头模块100可以通过接收的光获得关于物体130的信息。例如,处理器1000可以获得关于物体的信息,例如物体130的形状、尺寸、颜色、深度等。

接收器120可以区分进入接收器120的各种光中的通过反射从光源阵列1100输出到物体130的光而获得的接收光。例如,接收器120可以在光源阵列1100输出750nm至950nm范围内的光时通过滤光而选择性地获得750nm至950nm范围内的光。另外,接收器120可以通过选择性地获得与该光相对应的接收光来获得关于物体130的准确信息。

由于根据实施例的摄像头模块100可以使用ToF功能提取深度信息,因此在本公开中其可以理解为与ToF摄像头模块或ToF模块互换。

光源阵列1100可以产生要输出的光并且用该光照射物体130。在这种情况下,光源阵列1100可以产生并输出脉冲波或连续波形式的光。连续波可以是正弦波或方波的形式。通过产生脉冲波或连续波形式的光,摄像头模块100可以确定从光源阵列1100输出的光与从物体反射然后由摄像头模块100接收的光之间的相位差。

光源阵列1100可以在预设的曝光时段期间将产生的光照射到物体130上。曝光时段可以指一帧时段。在产生多个帧的情况下,可以重复设定的曝光时段。例如,当摄像头模块100以20FPS拍摄物体时,曝光时段为1/20秒。另外,当产生100帧时,曝光时段可以重复100次。

光源阵列1100可以产生具有不同频率的多个光。光源阵列1100可以顺序地并且反复地产生具有不同频率的多个光。可替代地,光源阵列1100可以同时产生具有不同频率的多个光。

根据实施例的光源阵列1100可以通过多个光源将光输出到物体130。光源阵列1100可以包括多个光源,并且多个光源中的每一个可以独立地输出光。例如,多个光源可以输出不同强度的光,可以输出不同频率的光,可以输出不同相位的光,并且输出具有不同延迟时间的光。多个光源中的每一个可以包括发光二极管。

根据实施例的接收器120可以通过接收像素接收光。接收器120可以接收由于从光源阵列1100输出的光从物体130反射而获得的反射光。接收器120可以包括接收像素,并且每个接收像素可以彼此独立地接收光。例如,接收像素可以在不同的时间接收光,并且可以使用不同的滤光方法来接收光。

根据实施例的接收器120可以包括透镜(未示出)和图像传感器。透镜可以收集从物体130反射的光并将其传输到图像传感器(未示出)。图像传感器可以接收光并产生与接收的光相对应的电信号。

根据实施例,光源阵列1100可以随时间输出不同频率的光。例如,光源阵列1100可以在曝光时段的前一半期间输出频率为f

根据实施例,光源阵列1100中包括的多个发光二极管中的数个发光二极管可以输出具有频率f

为了控制光源阵列1100中包括的多个发光二极管,光源阵列1100可以包括光调制器。

光源阵列1100可以产生光。由光源阵列1100产生的光可以是具有770nm至3000nm的波长的红外线,或者是具有380nm至770nm的波长的可见光。光源阵列1100可以使用发光二极管(LED),并且可以具有多个发光二极管根据预定图案来布置的形状。光源阵列1100可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地,光源阵列1100可以是垂直腔面发射激光器(VCSEL)。VCSEL是将电信号转换成光的激光二极管之一,并且可以使用约800nm至1000nm(例如约850nm或约940nm)的波长。

光源阵列1100可以以预定的时间间隔重复闪烁(开/关),并产生脉冲波形式或连续波形式的光。预定时间间隔可以是光的频率。光源阵列1100的闪烁可以由光调制器控制。

光调制器可以控制光源阵列1100的闪烁,以控制光源阵列1100产生连续波形式或脉冲波形式的光。光调制器可以通过频率调制或脉冲调制等控制光源阵列1100产生连续波形式或脉冲波形式的光。

根据实施例的处理器1000可以通过利用从光源阵列1100输出的光与由接收器120接收的光之间的相位差来获得关于物体130的深度信息。通过使用具有不同相位差的多个基准信号,接收器120可以产生与每个基准信号相对应的电信号。基准信号的频率可以被确定为等于从光源阵列1100输出的光的频率。因此,当光源阵列1100产生具有多个频率的光时,接收器120可以使用对应于各频率的多个基准信号来产生电信号。电信号可以包括关于与各基准信号相对应的电荷量或电压的信息。

根据实施例的基准信号的数量可以是四个,即C1至C4。基准信号C1至C4中的每一个可以具有与从光源阵列1100输出的光相同的频率,但是可以彼此具有90度的相位差。四个基准信号之一C1可以具有与从光源阵列1100输出的光相同的相位。通过从物体130反射而获得的光可以因从光源阵列1100输出的光从物体130反射并返回的距离在相位上延迟。接收器120可以通过分别混合接收的光和各基准信号来针对各基准信号产生信号Q1至Q4。

接收器120可以包括图像传感器,该图像传感器被配置为多个像素以网格形式布置的结构。图像传感器可以是互补金属氧化物半导体(CMOS)图像传感器,或者可以是电荷耦合器件(CCD)图像传感器。另外,图像传感器可以包括接收从物体反射的红外光并且使用时间差或相位差来测量距离的ToF传感器。

具体地,处理器1000可以使用关于电信号的电荷量的信息来计算输出光和输入光之间的相位差。

如上所述,可以针对从光源阵列1100输出的光的每个频率生成四个电信号。因此,处理器1000可以通过使用下面的等式1确定从光源阵列1100输出的光与由接收器120接收的光之间的相位差t

【等式1】

在此,Q

然后,处理器1000可以使用从光源阵列1100输出的光与由接收器120接收的光之间的相位差来确定物体130和摄像头模块100之间的距离。在这种情况下,根据实施例的处理器1000可以使用等式2确定物体130与摄像头模块100之间的距离d。

【等式2】

在此,c是光速,f可以是输出光的频率。

根据实施例,可以从摄像头模块100获得ToF IR图像和深度图像。

根据实施例的处理器1000可以通过使用光源阵列1100输出光的时间点与接收器120接收光的时间点之差来获得关于物体130的深度信息。光源阵列1100可以通过向物体130输出光(例如激光或红外光),接收反射并返回的光,并计算时间差,来获得深度信息。

图2是根据实施例的摄像头模块100的截面图。

参考图2,摄像头模块100包括透镜组件200、图像传感器250和印刷电路板260。图1的处理器1000等可以在印刷电路板260内实现。尽管未示出,但图1的光源阵列1100设置在印刷电路板260上的图像传感器250的侧面上,或者其可以设置在摄像头模块100的外部,例如,在摄像头模块100的侧面上,而不限于此。

透镜组件200可以包括透镜230、镜筒210、透镜架221和222以及IR滤光器240。

透镜230可以由多个元件组成,或者可以由一个元件组成。当透镜230由多个元件形成时,每个透镜可以相对于中心轴对准以形成光学系统。在此,中心轴可以与光学系统的光轴相同。

镜筒210耦接到透镜架221和222,并且可以在其中设置用于容纳透镜的空间。镜筒210可以与一个或多个透镜可旋转地耦接,但是这是示例性的,并且其可以以其他方式耦接,例如使用粘合剂(例如,诸如环氧树脂的粘合剂树脂)的方法耦接。

透镜架221和222可以耦接到镜筒210以支撑镜筒210,并且可以耦接到其上安装有图像传感器250的印刷电路板260。可以通过透镜架221和222在镜筒210下方形成可以附接IR滤光器240的空间。可以在透镜架221和222的内周面上形成螺旋图案,并且类似地,其可以与在外周面上形成螺旋图案的镜筒210可以可旋转地耦接。然而,这是示例性的,并且透镜架221和222以及镜筒210可以通过粘合剂耦接,或者透镜架221和222以及镜筒210可以一体地形成。

透镜架221和222可以被分为耦接到镜筒210的上支架221和耦接到其上安装有图像传感器250的印刷电路板260的下支架222。上支架221和下支架222可以一体地形成、形成为彼此分离的结构然后紧固或结合、或者可以具有彼此分离并且彼此间隔开的结构。在这种情况下,上支架221的直径可以形成为小于下支架222的直径,但不限于此。

以上示例仅是实施例,并且透镜230可以配置有能够使入射到摄像头模块100上的光准直并将其传送到图像传感器250的另一种结构。

图像传感器250可以通过使用经由透镜230准直的光来产生电信号。

图像传感器250可以与光源阵列1100的闪烁周期同步地检测输入光。具体地,图像传感器250可以分别以同相和异相检测从光源阵列1100输出的光。即,图像传感器250可以重复地执行当光源阵列1100打开时吸收光的步骤和当光源阵列1100关闭时吸收光的步骤。

图像传感器250可以通过使用具有不同相位差的多个基准信号来生成与各基准信号相对应的电信号。基准信号的频率可以被确定为等于从光源阵列1100输出的光的频率。因此,当光源阵列1100产生具有多个频率的光时,图像传感器250可以使用对应于各频率的多个基准信号来产生电信号。电信号可以包括关于与各基准信号相对应的电荷量或电压的信息。

根据实施例的处理器1000可以控制从多个光源中的各光源输出的光的延迟时间,并且可以确定通过多个光源输出的光的方向。在下文中,示出了处理器1000通过控制延迟时间来确定光的方向的实施例。

图3简要地示出了使用四个相位图像来获得深度图像的方法的示例,图4详细示出了图3的方法。

参考图3,摄像头模块可以依次获得第一深度图像(1)、第二深度图像(2)和第三深度图像(3)。具体地,摄像头模块100通过在第一-第一时段中获得0度相位图像、90度相位图像、180度相位图像和270度相位图像来获得第一深度图像(1),通过在第二-第一时段中获得0度相位图像、90度相位图像、180度相位图像和270度相位图像来获得第二深度图像(2),并且可以通过在第三-第一时段中获得0度相位图像、90度相位图像、180度相位图像和270度相位图像来获得第三深度图像(3)。

具体地,包括在块300中的第一像素至第四像素可以在一个时段中分别获得0度相位图像、90度相位图像、180度相位图像和270度相位图像。可以根据预定设置来确定第一像素至第四像素中的哪一个将获得哪个相位图像。第一像素至第四像素可以是接收像素。

由于一次从像素的打开时间到关闭时间接收到的信号的强度较弱,因此根据实施例的摄像头模块100可以重复数次相同的过程以获得深度图像。例如,块300可以重复数次(例如100次或更多次)获得相位图像的过程,以通过信号的合并或累加来获得深度图像。

参考图3,可以在每个周期T期间对块300中包括的每个像素施加不同的相位信号。例如,块300可以包括第一像素、第二像素、第三像素和第四像素,并且在每个周期T期间将0度相位信号施加到第一像素,可以将90度相位信号施加到第二像素,可以将180度相位信号施加到第三像素,并且可以将270度相位信号施加到第四像素,但不限于此。

由于在一个周期T期间每个像素接收到的信号的强度较弱,因此相同的过程可以重复数次。摄像头模块100可以通过重复周期T(其中针对每个像素而不同的相位信号被施加数次,例如100次或更多次)来合并或累加信号。之后,从第一像素中读出关于0度相位的信息,从第二像素中读出关于90度相位的信息,从第三像素中读出关于180度相位的信息,并从第四像素中读出关于270度相位的信息。另外,可以使用从第一像素获得的关于0度相位的信息、从第二像素获得的关于90度相位的信息、从第三像素获得的关于180度相位的信息以及从第四像素获得的关于270度相位的信息来获得第一深度图像(1)。

这样,在每个周期T期间对一个块30中包括的每个像素施加不同的相位信号,并且当使用关于从每个像素获得的每个相位的信息来提取深度图像时,可以减少获得深度图像所需的时间。

在每个周期T期间,可以将不同的相位信号施加到相邻的像素,并且在每个周期T期间,将0度相位信号施加到第一像素的段、将90度相位信号施加到第二像素的段、将180度相位信号施加到第三像素的段和将270度相位信号施加到第四像素的段中的至少两个的至少一部分可以彼此重叠。因此,与施加0度相位信号的段、施加90度相位信号的段、施加180度相位信号的段和施加270度相位信号的段彼此不重叠的情况相比,获得一个深度图像所需的时间可以减少。

图4是示出根据实施例的摄像头模块100通过以线为单位控制接收器120中包括的接收像素和光源阵列1100中包括的多个光源,从而在每个周期T中将不同的相位信号施加到块400中包括的接收像素的示例的图。

多个光源包括第一输出线411上的光源和第二输出线412上的光源,并且从第一输出线411上的光源输出的光与从第二输出线412上的光源输出的光的相位差可以为第一值。另外,接收像素包括第一接收线421上的像素和第二接收线422上的像素,并且第一接收线421上的像素接收光的时间点与第二接收线422上的像素接收光的时间点之间的相位差可以为第二值。此时,第一值和第二值可以不同。例如,第一值和第二值之差可以是90度。例如,如图4所示,第一值可以是90度,第二值可以是180度。作为另一示例,第一值可以是180度,第二值可以是90度。作为又一示例,第一值可以是270度,第二值可以是180度。作为再一示例,第一值可以是180度,第二值可以是270度,而不限于此。

参考图4,第一输出线411和第二输出线412可以彼此相邻,并且第一接收线421和第二接收线422可以彼此相邻。

参考图4,第一输出线411和第二输出线412在水平方向上,并且第一接收线421和第二接收线422在垂直方向上,但不限于此。另外,第一输出线411和第二输出线412可以彼此平行,并且第一接收线421和第二接收线422可以彼此平行。另外,第一输出线411和第一接收线421或第二接收线422可以彼此正交。

参考图4,第一输出线411设置在第二输出线412上方,并且第一接收线421设置在第二接收线422的左侧,但不限于此。例如,第一输出线411可以设置在第二输出线412下方,或者第一接收线421可以设置在第二接收线422的右侧。

参考图4,块400可以包括第一像素401、第二像素402、第三像素403和第四像素404。第一像素401、第二像素402、第三像素403和第四像素404可以是接收像素。

第一像素401是第一接收线421上的接收从第一输出线411上的光源输出的光的像素,第二像素402是第二接收线422上的接收从第一输出线411上的光源输出的光的像素,第三像素403是第一接收线421上的接收从第二输出线412上的光源输出的光的像素,第四像素404可以是第二接收线422上的接收从第二输出线412上的光源输出的光的像素。

根据实施例的处理器1000可以以线为单位控制光源阵列1100中包括的多个光源。相位延迟器430可以延迟每条线的相位。参考图4,相位延迟器430可以连接到第二输出线412和第二接收线422。相位延迟器430可以将相位延迟90度或180度。

因此,从第二输出线412输出的光的相位可以从第一输出线411输出的光的相位延迟90度。可替代地,光从第二输出线412输出的时间可以从光从第一输出线411输出的时间起延迟对应于90度相位的时间。

另外,在第二接收线422处开始光接收的时间点可以从在第一接收线421处开始光接收的时间点起延迟对应于180度相位的时间。

从第一输出线411输出的光可以在包括在第一接收线421中的第一像素401处被接收。由于从第一输出线411输出的光被延迟了0度,并且与光输出时间点相比在接收线421处的光的接收时间点被延迟了0度,因此可以将0度相位信号施加到第一像素401。

从第一输出线411输出的光可以在包括在第二接收线422中的第二像素402处被接收。由于从第一输出线411输出的光被延迟了0度,并且与光输出时间点相比在第二接收线422处的光的接收时间点被延迟了180度,因此可以将180度相位信号施加到第二像素402。

从第二输出线412输出的光可以在包括在第一接收线421中的第三像素403处被接收。由于从第二输出线412输出的光被延迟了90度,并且与光输出时间点相比在第一接收线421处的光的接收时间点被延迟了0度,因此可以将90度相位信号施加到第三像素403。

从第二输出线412输出的光可以在包括在第二接收线422中的第四像素404处被接收。由于从第二输出线412输出的光被延迟了90度,并且与光输出时间点相比在第二接收线422处的光的接收时间点被延迟了180度,因此可以将270度相位信号施加到第四像素404。

在所有第一像素401、第二像素402、第三像素403和第四像素404中,由块400接收的光的接收时间点可以不同。例如,施加到第一像素401、第二像素402、第三像素403和第四像素404的相位信号(或光的接收时间点)可以相差90度。参考图4,将0度相位信号施加到第一像素401,将180度相位信号施加到第二像素402,将90度相位信号施加到第三像素403,并且将270度相位信号施加到第四像素404,而不限于此,并且施加到每个像素的相位信号的类型可以根据相位延迟器430连接到哪条线而变化。

参考图4,第三输出线413和第四输出线414可以分别对应于第一输出线411和第二输出线412。具体地,第三输出线413可以输出延迟了0度的光,并且第四输出线414可以输出延迟了90度的光。另外,第三接收线423的光接收时间点可以被延迟0度,并且第四接收线424的光接收时间点可以被延迟180度。

与图4中所示不同,可以改变第一输出线411和第二输出线412的布置以及第一接收线421和第二接收线422的布置。另外,由被应用于多个光源的相位延迟器430延迟的相位和由被应用于接收像素的相位延迟器430延迟的相位可以不同。然而,施加到块400中包括的第一像素401、第二像素402、第三像素403和第四像素404的相位信号彼此不同,并且可以分别对应于0度、90度、180度和270度中的任一个。

图5是示出图4的摄像头模块100随时间的操作的时序图。

如图4所示,由于相位延迟器430连接到光源阵列1100中的第二输出线412,因此从第一输出线411输出的光被延迟0度。然后,从第二输出线412输出的光可以被延迟90度。

如图4所示,由于相位延迟器430连接到接收器120中的第二接收线422,因此在第一接收线421处开始光接收的时间点被延迟0度,并且从第二接收线422开始光接收的时间点可以延迟180度。

因此,参考图5,从第一输出线411输出的光在延迟了0度之后被输出,并且由于作为第一接收线421上的像素的第一像素401接收从第一输出线411输出的延迟了0度的光,因此第一像素401可以接收0度相位信号。

另外,从第一输出线411输出的光在延迟了0度之后被输出,并且由于作为第二接收线422上的像素的第二像素402接收从第一输出线411输出的延迟了180度的光,因此第二像素402可以接收180度相位信号。

另外,从第二输出线412输出的光在延迟了90度之后被输出,并且由于作为第一接收线421上的像素的第三像素403接收从第二输出线412输出的延迟了0度的光,因此第三像素403可以接收90度相位信号。

另外,从第二输出线412输出的光在延迟90度之后被输出,并且由于作为第二接收线422上的像素的第四像素404接收从第二输出线412输出的延迟了180度的光,因此第四像素404可以接收270度相位信号。

图6至图8是示出将90度相位延迟器用于光源阵列1100并且将180度相位延迟器用于接收器120的情况的示例的图。参考图6,示出了与180度相位延迟器连接的接收线相邻的情况的示例。

可以参考图4来理解图6。在图6中,与图4不同,第三接收线423可以位于右侧,第四接收线424可以位于左侧。在图6中,第三接收线423和第四接收线424的位置与图4中的位置不同,但是由于施加到块中包括的四个像素的相位信号不同,所以可以使用每个块中的四个相位信息来获得深度信息。

参考图7,示出了与90度相位延迟器连接的接收线相邻的情况的示例。可以参考图6来理解图7。在图7中,与图6不同,第三输出线413可以位于下方,第四输出线414可以位于上方。在图7中,第三输出线413和第四输出线414的位置与图6中的位置不同,但是由于施加到块中包括的四个像素的相位信号不同,所以可以使用每个块中的四个相位信息来获得深度信息。

参考图8,示出了接收线和输出线中与相位延迟器连接的线彼此不相邻的情况的示例。可以参考图4来理解图8。在图8中,与图4不同,第一接收线421在右侧,第二接收线422在左侧,第三接收线423在右侧,第四接收线424可以位于左侧。

另外,在图8中,与图4不同,第一输出线411位于第二输出线412下方,并且第三输出线413可以位于第四输出线414下方。

在图8中,第一接收线421、第二接收线422、第三接收线423和第四接收线424的位置与图4的情况不同,但是由于施加到块中包括的四个像素的相位信号不同,所以可以使用每个块中的四个相位信息来获得深度信息。

图9是示出摄像头模块100通过将180度相位延迟器用于光源阵列1100,将90度相位延迟器用于接收器120,以线为单位控制接收器120中包括的接收像素和光源阵列1100中包括的多个光源,从而在每个周期T中将不同的相位信号施加到块400中包括的接收像素的示例的图。可以参考图4来理解图9。

参考图9,第一输出线411设置在第二输出线412上方,并且第一接收线421设置在第二接收线422的左侧,而不限于此。

参考图9,块400可以包括第一像素401、第二像素402、第三像素403和第四像素404。第一像素401、第二像素402、第三像素403和第四像素404可以是接收像素。

第一像素401是第一接收线421上的接收从第一输出线411上的像素输出的光的像素,第二像素402是第二接收线422上的接收从第一输出线411上的像素输出的光的像素,第三像素403是第一接收线421上的接收从第二输出线412上的像素输出的光的像素,第四像素404可以是第二接收线422上的接收从第二输出线412上的像素输出的光的像素。

根据实施例的处理器1000可以以线为单位控制光源阵列1100中包括的多个光源。相位延迟器430可以延迟每条线的相位。参考图9,相位延迟器430可以连接到第二输出线412和第二接收线422。相位延迟器430可以将相位延迟90度或180度。

在图9中,与图4的情况不同,从第二输出线412输出的光的相位可以从第一输出线411输出的光的相位延迟180度。可替代地,光从第二输出线412输出的时间点可以从光从第一输出线411输出的时间点起延迟对应于180度相位的时间。

另外,在第二接收线422处开始光接收的时间点可以从在第一接收线421处开始光接收的时间点起延迟对应于90度相位的时间。

从第一输出线411输出的光可以在包括在第一接收线421中的第一像素401处被接收。由于从第一输出线411输出的光被延迟了0度,并且与光输出时间点相比在接收线421处的光的接收时间点被延迟了0度,因此可以将0度相位信号施加到第一像素401。

从第一输出线411输出的光可以在包括在第二接收线422中的第二像素402处被接收。由于从第一输出线411输出的光被延迟了0度,并且与光输出时间点相比在第二接收线422处的光的接收时间点被延迟了90度,因此可以将90度相位信号施加到第二像素402。

从第二输出线412输出的光可以在包括在第一接收线421中的第三像素403处被接收。由于从第二输出线412输出的光被延迟了180度,并且与光输出时间点相比在第一接收线421处的光的接收时间点被延迟了0度,因此可以将180度相位信号施加到第三像素403。

从第二输出线412输出的光可以在包括在第二接收线422中的第四像素404处被接收。由于从第二输出线412输出的光被延迟了180度,并且与光输出时间点相比在第二接收线422处的光的接收时间点被延迟了90度,因此可以将270度相位信号施加到第四像素404。

在所有第一像素401、第二像素402、第三像素403和第四像素404中,由块400接收的光的接收时间点可以不同。例如,施加到第一像素401、第二像素402、第三像素403和第四像素404的相位信号(或光的接收时间点)可以相差90度。参考图4,将0度相位信号施加到第一像素401,将90度相位信号施加到第二像素402,将180度相位信号施加到第三像素403,并且将270度相位信号施加到第四像素404,而不限于此,并且施加到每个像素的相位信号的类型可以根据相位延迟器430连接到哪条线而变化。

图10是示出图9的摄像头模块100随时间的操作的时序图。

如图9所示,在光源阵列1100中,由于相位延迟器430连接到第二输出线412,因此从第一输出线411输出的光被延迟0度,并且从第二输出线412输出的光可以被延迟180度。

如图9所示,由于相位延迟器430连接到接收器120中的第二接收线422,因此在第一接收线421处开始光接收的时间点被延迟0度,并且从第二接收线422开始光接收的时间点可以延迟90度。

因此,参考图10,从第一输出线411输出的光被延迟0度并被输出,并且由于第一像素401(其是第一接收线421上的接收从第一输出线411输出的光的像素)接收被延迟了0度的光,因此第一像素401可以接收0度相位信号。

另外,从第一输出线411输出的光被延迟0度并被输出,并且由于第二像素402(其是第二接收线422上的接收从第一输出线411输出的光的像素)接收被延迟了90度的光,因此第二像素402可以接收90度相位信号。

另外,从第二输出线412输出的光被延迟180度并被输出,并且由于第三像素403(其是第一接收线421上的接收从第二输出线412输出的光的像素)接收被延迟了0度的光,因此第三像素403可以接收180度相位信号。

另外,从第二输出线412输出的光被延迟180度并被输出,并且由于第四像素404(其是第二接收线422上的接收从第二输出线412输出的光的像素)接收被延迟了90度的光,因此第四像素404可以接收270度相位信号。

图11是示出摄像头模块100使用超分辨率技术来提高图像的分辨率的方法的图。

同时,根据实施例,摄像头模块100可以使用超分辨率(SR)技术来提高深度图像的分辨率。SR技术可以广泛地指从多个低分辨率图像获得高分辨率图像的方法。

具体地,处理器1000可以以块为单位获得一个深度信息。如果可以针对每个像素获得一个深度信息,则可以从16个像素获得16个深度信息。然而,如果可以以块为单位获得一个深度信息,则可获取的信息减少。由于可以通过收集四个像素的信息来获得一个深度信息,所以原则上,可以将能够获得的信息减少到四分之一。例如,处理器1000可以从第一块1110、第二块1120、第三块1130和第四块1140获得四个深度信息。

然而,当通过收集从四个像素获得的信息来获得一个深度信息时,在使用的像素被重复使用的情况下,可以获得更多的信息。例如,处理器1000包括第一块1110至第四块1140,可以进一步使用第五块1150、第六块1160、第七块1170和第八块1180。另外,在某些情况下,可以通过四个非相邻像素获得一个深度信息。

为了从四个像素获得一个深度信息,施加到四个像素的每个光可以包括不同相位的相位信号。例如,可以将0度相位信号、90度相位信号、180度相位信号和270度相位信号分别施加到第五块1150中包括的四个像素。

在图11中,根据示例性实施例描述了包括在块中的像素的数量是4并且在重叠的块之间重叠的像素的数量是2的情况,而不限于此。

图12是用于示出根据实施例的根据超分辨率技术来提高分辨率的示例的图。

参考第一分辨率图1210,当以像素为单位获得信息时,可以获得与像素数量相对应的分辨率。然而,在以块为单位获得信息的情况下,当一个像素仅使用一次时,因块中包括的像素数量,分辨率可能会降低。例如,与第一分辨率图1210相比,第二分辨率图1220的分辨率减小到四分之一。然而,当使用上述SR技术时,可以显著提高分辨率,并且可以通过附加算法来实现比在第三分辨率图1230中表达的分辨率高的分辨率。

图13是示出根据实施例的获得关于物体的深度信息的方法的流程图。可以参考以上描述的图1至图12的内容来理解图13。

在步骤S1310中,根据实施例的摄像头模块100通过第一输出线上的光源和第二输出线上的光源向物体输出光,并且在步骤S1320中,根据实施例的摄像头模块100通过第一接收线上的像素和第二接收线上的像素接收从物体反射的光。

从第一输出线上的光源输出的光与从第二输出线上的光源输出的光之间的相位差是第一值,并且当在第一接收线上的像素接收光的时间点与在第二接收线上的像素接收光的时间点之间的相位差是第二值时,第一值和第二值可以彼此不同。

在步骤S1330中,根据实施例的摄像头模块100通过使用输出光和接收光之间的相位差来获得关于物体的深度信息。可替代地,摄像头模块100可以通过比较输出光的输出时间点和接收光的接收时间点来获得关于物体的深度信息。

同时,上述方法可以被编写为可以在计算机上执行的程序,并且可以在使用计算机可读记录介质来操作该程序的通用数字计算机中实现。另外,可以通过各种方式将在上述方法中使用的数据的结构记录在计算机可读记录介质上。可以用上述计算机读取的记录介质包括诸如磁性存储介质(例如ROM、RAM、USB、软盘、硬盘等)的存储介质以及光学读取介质(例如CD-ROM、DVD等)。

以上已经参考附图描述了本发明的实施例,但是本发明所属领域的技术人员可以理解的是,在不改变技术理念或实质特征的情况下,本发明可以以其他特定形式来实现。因此,应理解,上述实施例在所有方面都是说明性的而非限制性的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号