首页> 中国专利> 确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置

确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置

摘要

本发明涉及确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置。一种方法和装置能够确定用于具有各种视场的多相机设备的镜头阴影校正。根据可能的实施例,能够使用具有用于多相机设备的第一镜头的第一相机来拍摄平场图像。能够对于第一相机断定第一镜头阴影校正比。能够对于具有用于多相机设备的第二镜头的第二相机确定第二镜头阴影校正比。第二相机能够具有与第一相机不同的视场。第二镜头阴影校正比能够基于第一镜头阴影校正比并且能够基于由第一相机获得的平场图像。

著录项

  • 公开/公告号CN106067953A

    专利类型发明专利

  • 公开/公告日2016-11-02

    原文格式PDF

  • 申请/专利权人 摩托罗拉移动有限责任公司;

    申请/专利号CN201610256413.5

  • 发明设计人 拜-埃尔·W·理查兹;

    申请日2016-04-22

  • 分类号H04N5/357(20110101);G06T5/00(20060101);

  • 代理机构11219 中原信达知识产权代理有限责任公司;

  • 代理人戚传江;谢丽娜

  • 地址 美国伊利诺伊州

  • 入库时间 2023-06-19 00:43:59

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-01-10

    授权

    授权

  • 2016-11-30

    实质审查的生效 IPC(主分类):H04N5/357 申请日:20160422

    实质审查的生效

  • 2016-11-02

    公开

    公开

说明书

技术领域

本公开针对一种确定用于具有各种视场的多相机设备的镜头阴影校正(lens shading correction)的方法和装置。

背景技术

目前,便携式设备,诸如移动电话、平板设备、数码相机、多媒体设备、和其他类型的计算和电子设备通常包括用来拍摄数字图像的数码相机设备。数码相机包括镜头和图像传感器。在操作图像传感器中产生的一个问题是需要执行镜头阴影校正。图像传感器通常具有感光像素(photo-sensitive pixel)的二维阵列。相机镜头能够是将光聚焦在图像传感器的单个像素上的单镜头或微透镜阵列。然而,相机镜头中的各种缺陷产生阴影效果。一种常见的阴影效果是图像在中心更亮,并且在像素阵列的边缘处亮度降低。更普遍的是,将存在由光学组件中的光学元件导致的、跨像素阵列的阴影的二维变化以及难以跨图像传感器的视场均匀地投影图像。未校正的阴影效果能够导致终端用户可辨别的、整个图像的强度的不期望变化。镜头阴影校正算法用来校正图像传感器中的阴影。使用经验数据来确定用来调整各个像素的增益的增益校正函数的系数以便补偿镜头阴影。

一些便携式设备包括面对同一方向的多个数码相机。具体地,多相机系统中的每一相机具有彼此不同的场景的视场。在这种系统中的多数码相机能够通过同一场景的不同视场来产生多个图像,并且能够将多个图像合并成一个图像。不幸的是,在没有匹配算法的情况下,当合并来自多个相机的图像时,应用于多相机设备中的不同相机的不同镜头阴影校正导致不完美。由此,存在对于确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置的需要。

附图说明

为了描述能获得本公开的优点和特征的方式,通过引用在附图中示出的其具体实施例,呈现本公开的描述。这些附图仅描绘本公开的示例实施例,并且因此不被认为限制其范围。

图1是根据可能实施例的系统的示例图示;

图2是根据可能实施例的装置诸如移动设备的示例框图;

图3是根据可能实施例的系统的示例图示;

图4是图示根据可能实施例的装置的操作的示例流程图;

图5是根据可能实施例,当第二相机具有比第一相机更窄的视场时,没有任何镜头阴影校正,第一相机衰减(fall-off)像素轮廓(pixelprofile)和第二相机衰减轮廓的示例曲线图;

图6是根据可能实施例,当第二相机具有比第一相机更宽的视场时,没有任何镜头阴影校正,第一相机衰减像素轮廓和第二相机衰减轮廓的示例曲线图;

图7是根据可能实施例,当第二相机具有比第一相机更窄的视场时,由第一校正平场(flat-field)图像产生的第一相机衰减像素轮廓和由第二未校正平场图像产生的第二相机衰减轮廓的示例曲线图;并且

图8是根据可能实施例,当第二相机具有比第一相机更宽的视场时,由第一校正平场图像产生的第一相机衰减像素轮廓和由第二未校正平场图像产生的第二相机衰减轮廓的示例曲线图。

具体实施方式

实施例提供确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置。能够在多相机设备中的每两个相机上,一次执行镜头阴影校正的匹配算法。对于每两个相机,能够具有第一相机和第二相机。根据可能的实施例,能够使用具有用于多相机设备的第一镜头的第一相机来拍摄平场图像。能够对于第一相机,断定第一镜头阴影校正比。能够对于具有用于多相机设备的第二镜头的第二相机,确定第二镜头阴影校正比。第二相机能够具有与第一相机不同的视场。第二镜头阴影校正比能够基于第一镜头阴影校正比,并且能够基于从第一相机获得的平场图像。

图1是根据可能实施例的系统100的示例图示。系统100能够包括移动设备110和场景120。移动设备110能够包括多相机系统130。移动设备110能够是包括多相机系统130的任何类型的移动电话、智能电话、平板设备、数码相机、膝上计算机或其他类型的便携式计算和/或电子设备。在该示例实施例中,多相机系统130能够包括能拍摄数字图像的两个相机140和150。多相机系统130还能够包括多于两个相机。第一相机140能够包括第一镜头142和第一图像传感器144。类似地,第二相机150能够包括第二镜头152和第二图像传感器154。第二相机150能够具有与第一相机140不同的视场。例如,第一相机140能够具有宽视场并且能够拍摄场景120的第一图像160并且第二相机150能够具有更窄视场并且能够与第一相机130拍摄第一图像160同时拍摄场景120的第二图像170。第二图像170能够具有比第一图像160更窄的视场。替代地,第二图像170能够具有比第一图像160更宽的视场。为实现这样,第一镜头142能够具有与第二镜头152不同的特性,诸如不同焦距。镜头142和152能够按不同物理形状和尺寸具有不同特性,并且也能够通过采用多个镜头来实现不同视场而具有不同特性。

例如,多相机系统130能够包括广角相机和远摄相机(telephotocamera)。术语“广角”和“远摄”在相机之间是相对的,并且当与其他设备上的相机相比时,每一相机可以或可以不被认为广角或远摄。广角相机能够拍摄具有比远摄相机更宽视场的图像并且远摄相机能够以比广角相机更窄的视场拍摄图像。采用多相机系统130的装置110能够合并每一场景的广角图像和远摄图像来提供变焦(zoomed)图像,其能够是比数字变焦图像更好的图像,并且假定相同变焦比,能够与光学变焦图像不相上下。镜头阴影校正也能够应用于图像。例如,在没有镜头阴影校正的情况下,在合并过程期间,广角图像的像面和远摄图像的像面不匹配。

图像可以由CMOS相机传感器上的多通道、诸如四通道RGrGbB或RGBC组成。对于每一图像的每一通道,像面能够来自平场图像,并且像素轮廓能够来自像面的对角截面。通过对每一图像的适当镜头阴影校正,在合并过程期间,能够每一通道地匹配广角图像的像面和远摄图像的像面。当镜头阴影校正比对于两个图像是高的时,诸如>=80%,与每一图像的中心相比,噪声能够在每一图像的四个角部处高得多。在每一通道的合并处理期间,在与其中广角图像的噪声较低的广角图像的合并像素坐标处,远摄图像的四个角部能够具有更高噪声。这是因为当增加四个角部处的信号来校正镜头渐晕(vignetting)时,镜头阴影校正在两个图像的四个角部处通过更高增益放大像素信号。同时,在每一图像的四个角部处,也更多地放大图像中的噪声。在低光照下,在整个图像上噪声更高,因此,在镜头阴影校正后,在四个角部处的噪声水平能够更糟。这能够使其难以在每一通道的远摄图像的四个角部周围生成平滑的合并图像区。实施例能够根据噪声水平和像素轮廓,通过提供在每一通道的广角图像和远摄图像上匹配镜头阴影校正的方法和装置来解决该问题和其他问题。例如,实施例能够提供在广角图像和远摄图像之间降低和匹配噪声水平的解决方案。

在一些实现中,在镜头阴影校正前,能够分别对于广角图像和远摄图像在整个图像的每一通道中应用非径向降噪滤波器。这能够在其得到放大前降噪。在镜头阴影校正后,能够分别对于广角图像和远摄图像在整个图像的每一通道中应用径向降噪滤波器。这能够在像素信号得到放大后,更积极地降低角部处的噪声。在协调跨所有光亮级(lightlevel)的每一通道的每一降噪滤波器期间,能够匹配用于广角和远摄相机的强度来在同一光亮级具有类似的信噪比(SNR)。

图2是根据可能实施例的装置200诸如移动设备110的示例框图。装置200能够包括外壳210、外壳210内的控制器220、联接到控制器220的音频输入和输出电路230、联接到控制器220的显示器240、联接到控制器220的收发器250、联接到收发器250的天线255、联接到控制器220的用户接口260、联接到控制器220的存储器270以及联接到控制器220的网络接口280。装置200还能够包括至少两个相机,诸如第一相机291和第二相机295,其能够分别等同于第一相机140和第二相机150。装置200能够执行实施例中所述的方法。

显示器240能够是取景器、液晶显示器(LCD)、发光二极管(LED)显示器、等离子显示器、投影显示器、触摸屏或显示信息的任何其他设备。收发器250能够包括发射机和/或接收机。音频输入和输出电路230能够包括麦克风、扬声器、变换器或任何其他音频输入和输出电路。用户接口260能够包括小键盘、键盘、按钮、触摸板、操纵杆、触摸屏显示器、另一附加显示器、或可用于提供在用户和电子设备之间的接口的任何其他设备。网络接口280能够是通用串行总线端口、以太网端口、红外发射机/接收机、USB端口、IEEE 1392端口、WLAN收发器、或能够将装置连接到网络或计算机的以及能够传送和接收数据通信信号的任何其他接口。存储器270能够包括随机存取存储器、只读存储器、光学存储器、闪存、可移除存储器、硬盘驱动器、高速缓存、或能够联接到无线通信设备的任何其他存储器。

装置200或控制器220可以实现任何操作系统,诸如MicrosoftAndroidTM或任何其他操作系统。装置操作软件可以以任何编程语言、例如诸如C、C++、Java或VisualBasic编写。装置软件还可以运行在应用框架、诸如例如框架、框架、或任何其他应用框架上。软件和/或操作系统可以存储在存储器270中或者在装置200上其他处。装置200或控制器220还可以使用硬件来实现公开的操作。例如,控制器220可以是任何可编程处理器。公开的实施例还可以实现在通用或专用计算机、编程微处理器或微处理器、外围集成电路元件、专用集成电路或其他集成电路、硬件/电子逻辑电路(诸如分立元件电路)、可编程逻辑设备(诸如可编程逻辑阵列、现场可编程门阵列)等上。通常,控制器220可以是能够操作电子设备并且实现公开的实施例的任何控制器设备或处理器设备或设备。网络接口280能够是有线通信接口,诸如通用串行总线接口、串行线接口、并行线接口、以太网接口或其他有线接口;能够是光学接口,诸如红外接口;能够是无线接口,诸如接口、Wi-Fi接口、无线局域网接口、蜂窝网接口、卫星网接口、无线广域网接口;或能够是任何其他接口或接口的组合。

第一相机291能够包括第一镜头292、第一传感器293和第一相机存储器294。第二相机295能够包括第二镜头296、第二传感器297和第二相机存储器298。第二相机295能够具有与第一相机291不同的视场。在操作中,第一相机192能够经由第一镜头292和第一传感器293拍摄第一图像。第二相机295能够拍摄第二图像。存储器294、298和270中的任何一个能够包括基于第一相机291的第一镜头阴影校正比的第一镜头阴影校正表和基于第二镜头阴影校正比的第二镜头阴影校正表。第二镜头阴影校正比能够基于第一镜头阴影校正比并且基于使用第一相机拍摄的平场图像。第二镜头阴影校正比还能够基于公开的实施例中的其他元件。根据可能的实施例,第一相机存储器294能够包括第一镜头阴影校正表,并且第二相机存储器298能够包括第二镜头阴影校正表。控制器220能够基于第一镜头阴影校正表而向第一图像提供镜头阴影校正以产生校正的第一图像,基于第二镜头阴影校正表而向第二图像提供镜头阴影校正以产生校正的第二图像,并且将校正的第一图像与校正的第二图像合并来产生合并图像。控制器220还能够输出合并的图像用于在显示器240上显示、用于在存储器270中存储、用于经由收发器250或网络接口280而传送到另一设备、和/或以其它方式输出合并图像。

图3是根据可能的实施例的系统300的示例图示。系统300能够包括装置310(诸如相机标定装置)、相机360、和测试物370(诸如扩散板、对比图、灰度卡、光源、或能够用于相机标定的任何其他物体)。装置310能够包括输入330、控制器320、存储器350、和至少一个输出341和/或342。输出341能够将数据从控制器320输出到存储器350,并且输出342能够将数据从控制器320输出到装置310的外部。装置310或控制器320可以实现任何操作系统,诸如MicrosoftAndroidTM、或任何其他操作系统。装置操作软件可以以任何编程语言诸如例如C、C++、Java或VisualBasic编写。装置软件还可以运行在应用框架诸如例如框架、框架或任何其他应用框架上。软件和/或操作系统可以存储在存储器350中或者装置310上其他处。装置310或控制器320还可以使用硬件来实现公开的操作。例如,控制器320可以是任何可编程处理器。公开的实施例还可以实现在通用或专用计算机、编程微处理器或微处理器、外围集成电路元件、专用集成电路或其他集成电路、硬件/电子逻辑电路(诸如分立元件电路)、可编程逻辑设备(诸如可编程逻辑阵列、现场可编程门阵列)等上。通常,控制器320可以是能够操作电子设备并且实现公开的实施例的任何控制器设备或处理器设备或设备。

在操作中,输入330能够接收使用具有用于多相机设备诸如设备110、多相机系统130、和/或任何其他多相机设备的第一镜头362的第一相机360拍摄的平场图像。控制器320能够断定用于第一相机360的第一镜头阴影校正比。控制器320能够断定用于第一相机的第一镜头阴影校正比来实现在平场图像的渐晕的校正和平场图像的角部噪声的改善之间的最佳折衷(optimal trade-off)。例如,能够选择第一镜头阴影校正比,使得在应用镜头阴影校正后,指定的颜色通道实现感兴趣的每一光源或光亮级的期望镜头阴影校正。

控制器320能够确定用于多相机设备的第二相机的第二镜头阴影校正比。第二相机能够具有与第一相机不同的视场。多相机设备中的每一相机能够包括镜头和图像传感器。第一和第二相机镜头能够具有不同焦距,因为第一相机能够使用具有第一焦距的镜头来产生第一图像,而第二相机能够使用具有与第一焦距不同的第二焦距的镜头来产生第二图像。例如,第一相机能够有具有第一视场的镜头,而第二相机能够有具有比第一视场更窄的第二视场的镜头,或反之亦然。镜头的焦距可不同,因为镜头可以具有不同物理特性,可以包括多个镜头,可以具有到相关图像传感器的不同距离,可以利用反射镜,或可以基于任何其他特性而具有不同焦距。

第二镜头阴影校正比能够基于第一镜头阴影校正比并且基于由第一相机获得的平场图像。第二镜头阴影校正比能够基于第一镜头阴影校正比来将第二校正的平场图像的第二像面与第一校正的平场图像的第一像面匹配。例如,使用第二镜头阴影校正表的第二校正的平场图像的第二像面能够与使用第一镜头阴影校正表的第一校正的平场图像的第一像面匹配。

例如,为了确定第二镜头阴影校正比,控制器320能够基于第一镜头阴影校正比和由第一相机获得的平场图像,来生成第一相机的校正的平场图像。控制器320能够确定在特定像素坐标处的第一相机的校正的平场图像的衰减像素轮廓比。然后,控制器320能够基于确定的在特定像素坐标处的衰减像素轮廓比,来确定用于第二相机的第二镜头阴影校正比。多相机设备还能够包括多于两个相机并且多相机中的每一个相机的镜头校正比能够基于第一镜头校正比,诸如基于确定的在特定像素坐标处的衰减像素轮廓比。

根据可能实施例,控制器320能够通过确定与将由第二相机拍摄的第二图像的边缘的像素坐标对应的、在第一相机的校正的平场图像的特定像素坐标处的衰减像素轮廓的像素强度(y),来确定衰减像素轮廓比,其中当第二图像的区域叠加在第一相机的校正的平场图像上时,第二图像的边缘在平场图像的边缘内。然后,控制器320能够基于像素强度(y)来确定第一相机的校正的平场图像的衰减像素轮廓比。当第一相机具有比第二相机更宽的视场并且第二相机的视场的角部在第一相机的视场内时,能够使用该实施例。

根据本实施例的可能实现,像素强度能够是第一像素强度。衰减像素轮廓比能够是在第一相机的校正的平场图像的衰减像素轮廓的第一像素强度(y)与在第一相机的校正的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强度(I0)之间的比。然后,控制器320能够基于第一和第二像素强度,来确定第一相机的校正的平场图像的衰减像素轮廓比。

根据另一可能实施例,控制器320能够通过确定在与将由第二相机拍摄的第二图像的边缘对应的特定像素坐标处,沿着第一相机的校正的平场图像的衰减像素轮廓的延伸的位置处的像素强度(y),而确定衰减像素轮廓比。然后,控制器320能够基于像素强度(y),而确定第一相机的校正的平场图像的衰减像素轮廓比。当第一相机具有比第二相机更窄的视场并且第二相机的视场的角部在第一相机的视场外时,能够使用该实施例。

根据本实施例的可能实现,像素强度(y)能够是第一像素强度。衰减像素轮廓比能够是第一相机的校正的平场图像的衰减像素轮廓的延伸的第一像素强度(y)与在第一相机的校正的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强度(I0)之间的比。然后,控制器320能够基于第一和第二像素强度而确定第一相机的校正的平场图像的衰减像素轮廓比。

输出341或340能够输出第二镜头阴影校正比。例如,输出341能够将第二镜头阴影校正比输出到本地存储器,诸如RAM、固态存储器、硬盘驱动器、或该装置本地的任何其他存储器。输出342还能够将第二镜头阴影校正比输出到另一设备,诸如在使用多相机设备的设备上的存储器、多相机设备中的存储器、或在第二相机中的存储器。输出342能够在局域网上、在广域网上进一步将第二镜头阴影校正比输出到显示器,或输出到接收第二镜头阴影校正比的输出的任何其他元件。例如,控制器320能够基于第一镜头阴影校正比而生成第一镜头阴影校正表,并且能够基于第二镜头阴影校正比而生成第二镜头阴影校正表。然后,控制器320能够将第一镜头阴影校正表和第二镜头阴影校正表存储在存储器350中或存储到外部存储器。控制器320还能够存储第二镜头阴影校正比,无需将其以表格存储在存储器中。存储器能够在相机模块中(诸如在第二相机的相机模块中)、能够在控制器320中、能够在装置310中、能够在相机模块存储器中、能够在使用多相机系统的设备上的存储器中、能够在云中,或能够在可用于使用多相机系统的设备的其他地方。存储器能够是一次编程(OTP)存储器、能够是可编程只读存储器(PROM)、能够是电可擦除可编程只读存储器(EEPROM)存储器、能够是现场可编程只读存储器(FPROM)存储器、能够是闪存、能够是光学存储器、能够是硬盘驱动器、和/或能够是能存储表的任何其他存储器。

图4是图示根据可能实施例的装置、诸如装置310的操作的示例流程图400。在410,流程图400能够开始。在420,能够使用具有用于多相机设备的第一镜头的第一相机来拍摄平场图像。

图5是根据可能实施例,当第二相机具有比第一相机更窄的视场时,没有任何镜头阴影校正,第一相机衰减像素轮廓510和第二相机衰减轮廓520的示例曲线图500。对于每一图像的每一通道,像面来自平场图像,并且在曲线图500中显示的像素轮廓来自像面的对角截面。第一衰减像素轮廓的峰值能够具有像素值(I0)并且像面的对角截面的边缘能够具有像素值(y1),示出产生衰减像素轮廓的渐晕效果。像素坐标(x1)能够与沿着第二相机衰减像素轮廓520由第二相机拍摄的第二图像的边缘对应。

图6是根据可能实施例,当第二相机具有比第一相机更宽的视场时,没有任何镜头阴影校正,第一相机衰减像素轮廓610和第二相机衰减轮廓620的示例曲线图。对于每一图像的每一通道,像面来自平场图像,并且在曲线图600中显示的像素轮廓来自像面的对角截面。第一衰减像素轮廓的峰值能够具有像素值(I0)并且像面的对角截面的边缘能够具有像素值(y2),示出产生衰减像素轮廓的渐晕效果。像素坐标(x2)能够与沿着第二相机衰减像素轮廓620由第二相机拍摄的第二图像的边缘对应,并且像素坐标(x3)能够与沿着第一相机衰减像素轮廓610由第一相机拍摄的第一图像的边缘对应。

在430,能够对于第一相机断定第一镜头阴影校正比。能够通过以下而断定(ascertain)第一镜头阴影校正比:基于设计参数生成它、通过将其接收为输入、通过从表获得它、通过执行计算、通过执行模拟、或通过用于断定第一镜头阴影校正比的任何其他操作。能够对于第一相机断定第一镜头阴影校正比以便实现在平场图像的渐晕的校正与平场图像的角部噪声的降低之间的最佳折衷。例如,能够选择第一镜头阴影校正比,使得在镜头阴影校正后,指定的颜色通道实现感兴趣的每一光源或光亮级的期望镜头阴影校正。在440,能够基于第一镜头阴影校正比和平场图像,来生成第一相机的校正的平场图像。在450,能够生成校正的平场图像的衰减像素轮廓。

在460,能够确定在两个像素坐标处的像素强度。根据可能实现,能够在沿着来自第一相机的校正的平场图像的衰减像素轮廓的位置处内插像素强度。例如,能够在与将由第二相机拍摄的第二图像的边缘的像素坐标对应的第一相机的校正的平场图像的衰减像素轮廓的特定像素坐标(x)处,确定校正的平场图像的衰减像素轮廓的像素强度(y)。当第二图像的区域叠加在第一相机的校正的平场图像上时,第二图像的边缘能够在平场图像的边缘内。例如,由第二相机拍摄的第二图像的边缘的像素坐标能够是叠加在第一相机的视场上并且以其为中心的第二相机的更窄视场的像素坐标。两个像素坐标能够包括以第一像素强度的形式的像素强度(y)并且能够包括第二像素强度(I0)。

图7是根据可能实施例,当第二相机具有比第一相机更窄的视场时,用于该实现的校正的平场图像710的第一相机衰减像素轮廓的示例曲线图700。在该实现中,像素强度(y3)能够是在诸如与在由第二相机拍摄的第二图像的边缘的曲线图500中的像素坐标(x1)对应的特定像素坐标(x1)处的第一像素强度,并且衰减像素轮廓比能够是在第一相机的校正的平场图像的衰减像素轮廓的第一像素强度(y3)与在第一相机的校正的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强度(I0)之间的比值。根据该实现,第一相机能够是具有第一视场的相机,而第二相机能够是具有比第一视场更窄视场的相机。相应的像素坐标能够是在来自第一和第二相机的图像当以彼此为中心时被合并后,在由第二相机拍摄的更窄视场第二图像的边缘处的各自的坐标。能够使用任何适当的内插方法。能够使用第二图像的每一边缘的多个像素坐标并且能够平均多个像素坐标的衰减像素轮廓比。

根据另一可能实现,能够在与将由第二相机拍摄的第二图像的边缘对应的特定像素坐标处的沿着第一相机的校正的平场图像的衰减像素轮廓的延长的位置处,确定像素强度(y)。在该实现中,由第二相机拍摄的第二图像的边缘的像素坐标能够是叠加在第一相机的视场上并且以其为中心的第二相机的视场的像素坐标,其中第二相机的视场的边缘能够在第一相机的视场的边缘外。

图8是根据可能实施例,当第二相机具有比第一相机更宽的视场时,用于该实现的校正的平场图像810的第一相机衰减像素轮廓的示例曲线图800。像素强度(y4)能够是第一像素强度并且衰减像素轮廓比能够是在从由第一相机拍摄的第一图像的边缘(x3)延伸的第一相机的校正的平场图像的衰减像素轮廓的(诸如与将由第二相机拍摄的第二图像的边缘的曲线图600中的像素坐标(x2)对应的)延伸特定像素坐标(x2)的第一像素强度(y4)与在第一相机的校正的平场图像的衰减像素轮廓的中心处的第一相机的校正的平场图像的第二像素强度(I0)之间的比值。

根据该实现,第一相机能够是具有第一视场的相机并且第二相机能够是具有比第一视场更宽的第二视场的相机。能够从第一相机的校正的平场图像的衰减像素轮廓外推沿着第一相机的校正的平场图像的衰减像素轮廓的延长的位置(x2)和相应的像素强度(y4)。能够使用任何有用的外推方法。根据可能实现,能够使用迭代方案。例如,在确定第一镜头阴影校正后,能够找到数学函数诸如多项式函数来建模第一相机的校正的平场图像的衰减像素轮廓或像面。然后,能够找到在用于从第二相机拍摄的第二图像的衰减像素轮廓的边缘处的外推点。例如,假定两个相机的规格,能够定位在第二图像的边缘处的像素坐标。该外推点能够提供用于第二图像的校正比的第一推测。该平场图像能够是第一平场图像,并且能够通过校正比的第一推测而获得第二相机的第二平场图像。能够在第一平场图像和第二平场图像之间比较像素轮廓或像面。如果在合并像素坐标处的两个像素轮廓或两个像面的差高于阈值,那么能够相应地调整第二图像的镜头阴影校正比。能够执行进一步迭代直到该差满足期望要求为止。

回到流程图400,在470,能够在特定像素坐标处确定第一相机的校正的平场图像的衰减像素轮廓比。该衰减像素轮廓能够是诸如由于镜头渐晕从图像的中心向图像的边缘衰减的像素亮度的轮廓。例如,能够基于在两个像素坐标处确定的像素强度,而确定第一相机的校正的平场图像的衰减像素轮廓比。

在480,能够对于具有用于多相机设备的第二镜头的第二相机,确定第二镜头阴影校正比,其中第二相机能够具有与第一相机不同的视场,并且其中第二镜头阴影校正比能够基于第一镜头阴影校正比且基于由第一相机获得的平场图像。第二镜头阴影校正比能够基于第一镜头阴影校正比来将第二校正的平场图像的第二像面与第一校正的平场图像的第一像面匹配。例如,能够将使用第二镜头阴影校正表的第二校正的平场图像的第二像面与使用第一镜头阴影校正表的第一校正的平场图像的第一像面匹配。能够基于在特定像素坐标处的确定的衰减像素轮廓比,而对于第二相机确定第二镜头阴影校正比。例如,能够基于第一像素强度(y)对于第二像素强度(I0)的比,而在特定像素坐标(x)处,确定衰减像素轮廓比。这样基于第一像素强度(y)和第二像素强度(I0)确定的像素轮廓衰减比能够是用于第二图像的镜头阴影校正比。例如,该比能够是y/I0*100%,其能够是第二图像的镜头阴影校正比。

在以上第一实现中,第二图像的校正比能够高于用于具有比第二图像更宽视场的第一平场图像的期望第一镜头阴影校正比。例如,假定具有较窄视场的相机,如果期望镜头阴影校正比对于具有较宽视场的相机能够是约80%。那么,测量的镜头阴影校正比对于具有较窄视场的相机能够是约85~86%。

在以上第二实现中,第二图像的校正比能够低于用于具有比第二图像更窄视场的第一平场图像的期望校正比。例如假定具有更窄视场的相机,如果期望镜头阴影校正比对于具有更窄视场的相机为约86%,那么测量的镜头阴影校正比对于具有更宽视场的相机能够为约80~81%。

多相机设备能包括多于两个相机并且多个相机中的每一个的相机的镜头校正比能够基于第一镜头校正比。能够逐个单元或使用经典校准来执行该方法,其中经典方法能够确定用于一对镜头的镜头阴影校正比,并且在生产中,将相同镜头阴影校正比用于每一对镜头。

在490,能够将第一和第二镜头阴影校正比或表存储在存储器中。例如,能够基于第一镜头阴影校正比生成第一镜头阴影校正表,并且能够将该第一镜头阴影校正表存储在存储器中。能够基于第二镜头阴影校正比生成第二镜头阴影校正表并且能够将该第二镜头阴影校正表存储在存储器中。另外,多个表能够用于多个各自的颜色通道。此外,能够对于多个不同光源执行流程图400的步骤。例如,多个光源能够包括荧光光源、钨光源、太阳光和/或其他光源。能够使用各自的表来存储用于多个光源的镜头阴影校正比或表。在495,流程图400能够结束。

流程图400能够在用于多相机设备的镜头阴影校正的协调期间执行。然后,能够对于实时处理生成查找表(LUT)。应理解到,尽管如图中示出特定步骤,但能够取决于实施例而执行各种另外或不同的步骤,并且能够取决于实施例而重新排列、重复或完全除去特定步骤中的一个或多个步骤。而且,在执行其他步骤时,能够同时在正在进行或继续基础上重复所执行的一些步骤。此外,能够由不同元件或在公开的实施例的单个元件中执行不同步骤。

公开的实施例能够提供用于确定用于具有各种视场的多相机设备的镜头阴影校正的方法和装置。关于镜头阴影校正比,一些镜头的光敏感度(light sensitivity)能够朝向视场的边缘减小。这能够被认为敏感度衰减。不同算法能够使用镜头阴影校正比来校正敏感度的这种变化,其中能够取决于从图像的中心到像素位置的距离而放大每一像素值。能够基于期望协调目标而对于第一相机选择第一镜头阴影校正比。通常,协调目标能够是找出在渐晕的校正和角部噪声的改善之间的最佳平衡。算法能够和第一镜头阴影校正比一起使用来生成校正的平场图像。然后,能够基于第一镜头阴影校正比,诸如基于第一相机的校正的平场图像,而对于第二相机确定镜头阴影校正比,该校正的平场图像基于使用镜头阴影校正比来生成校正的平场图像的算法。

能够在编程处理器上实现该公开的方法。然而,控制器、流程图和模块还可以实现在通用或专用计算机、编程微处理器或微控制器以及外围集成电路元件、集成电路、硬件电子或逻辑电路(诸如分立元件电路)、可编程逻辑器件等上。通常,可以使用能够实现图中所示的流程图的有限状态机存在其上的任何设备来实现本公开的处理器功能。

尽管通过其具体实施例描述了本公开,但显然的是,许多替代、修改和变型对于本领域的技术人员来说将是显而易见的。例如,在其他实施例中,可以互换、添加或替代实施例的各种部件。而且,每一图形的全部元件对于公开的实施例的操作不是必要的。例如,公开的实施例的领域的技术人员将使得能够通过简单地采用独立权利要求的元件而制造和使用本公开的教导。因此,如在此阐述的本公开的实施例旨在示例而不是限制。在不背离本公开的精神和范围的情况下,能够做出各种改变。

在本文档中,关系术语诸如“第一”、“第二”等可以仅用来将一个实体或动作与另一实例或动作区分,而不一定要求或暗示在这些实体或动作之间的任何这些实际关系或次序。清单后面的短语“至少一个”定义为意指清单中的元件的一个、一些或全部,但不一定全部。术语“包括”、“组成”或任何其他其变型旨在覆盖非排它性包括,使得包括元件的清单的过程、方法、制品或装置不是仅包括那些元件,而是可以包括这些过程、方法、制品或装置未明确列出或所固有的其他元件。由“一”、“一个”等在前的元件在没有更多约束的情况下,不排除在包括该元件的过程、方法、制品或装置中存在另外的相同的元件。而且,术语“另一”定义为至少第二个或更多个。如在此所使用的术语“包括”、“具有”等定义为“包括”。此外,背景部分撰写为在提交时的一些实施例的上下文的发明人的自己的理解并且包括现有技术方面的任何问题和/或在发明人自己的工作中经历的问题的发明人的自己的认知。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号