技术领域
本公开涉及用于通过利用多个相机或深度传感器中的至少一个来获取深度信息的电子装置和方法。
背景技术
在电子装置中，已经广泛地开发了用于获取对象的深度信息的技术，并且其利用正在增加。
用于获取目标对象的深度信息的一种方法是所谓的飞行时间(TOF)方案，其中电子装置将光照射到对象上并通过利用从对象反射的光的TOF来获取深度信息。另一种方法是立体方案，其中电子装置对利用两个或更多个相机获得的多个图像进行分析以获取深度信息。还有另一种方法是使用结构化光和三角测量。
发明内容
技术问题
在例如低照度环境或室外环境中，利用两个或更多个相机的立体方案可能会面对深度信息的感测性能的下降的情况。另外，当对象具有大量黑色或当附近的用户正在使用用于TOF方案的深度传感器时，TOF方案对深度信息的感测性能可能会降低。如果两种方案每次都一起使用，则电子装置在功耗、发热和系统复杂性方面可能会遇到效率降低的情况。
问题的解决方案
根据本公开的各种实施例，一种电子装置可以包括：第一相机，所述第一相机设置在所述电子装置的一个表面上；第二相机，所述第二相机设置在所述一个表面上；深度传感器，所述深度传感器设置在所述一个表面上；以及处理器，所述处理器被配置为：利用所述第一相机获取外部物体的一个或更多个第一图像；确定是否满足与从所获取的所述一个或更多个第一图像识别出的所述外部物体的颜色信息或纹理图案信息中的至少一个相关联的预定条件；当所述预定条件满足时，利用所述第一相机获取所述外部物体的一个或更多个第二图像，利用所述第二相机获取所述外部物体的与所述一个或更多个第二图像相对应的一个或更多个第三图像，并基于所述一个或更多个第二图像和所述一个或更多个第三图像之间的比较，生成与所述外部物体相对应的深度信息；以及当所述预定条件不满足时，利用所述深度传感器测量所述外部物体的深度，并基于测量出的深度生成与所述外部物体相对应的深度信息。
根据本公开的各种实施例，一种电子装置可以包括：第一相机，所述第一相机设置在所述电子装置的一个表面上；第二相机，所述第二相机设置在所述一个表面上；深度传感器，所述深度传感器设置在所述一个表面上；处理器，所述处理器被配置为：利用第一相机获取外部物体的一个或更多个第一图像；确定是否满足与从所获取的所述一个或更多个第一图像识别出的所述外部物体的颜色信息或纹理图案信息中的至少一个相关联的预定条件；当所述预定条件满足时，利用所述第一相机获取所述外部物体的一个或更多个第二图像，利用所述第二相机获取所述外部物体的与所述一个或更多个第二图像相对应的一个或更多个第三图像，并基于所述一个或更多个第二图像和所述一个或更多个第三图像之间的比较，测量所述外部物体的第一深度；当所述预定条件不满足时，利用所述深度传感器测量所述外部物体的第二深度，并利用测量到的第一深度或测量到的第二深度中的至少一个，生成与所述外部物体相对应的深度信息。
根据本公开的各种实施例，一种用于在电子装置中生成深度信息的方法可以包括：通过至少一个处理器，利用设置在所述电子装置的一个表面上的第一相机获取外部物体的一个或更多个第一图像；通过所述至少一个处理器，确定是否满足与从所获取的一个或更多个第一图像中识别出的所述外部物体的颜色信息或纹理图案信息中的至少一个相关联的预定条件；通过所述至少一个处理器，当满足所述预定条件时，利用所述第一相机获取所述外部物体的一个或更多个第二图像，利用设置在所述一个表面上的第二相机获取所述外部物体的与所述一个或更多个第二图像相对应的一个或更多个第三图像，并且基于所述一个或更多个第二图像与所述一个或更多个第三图像之间的比较，生成与所述外部物体相对应的深度信息；以及通过所述至少一个处理器，当不满足所述预定条件时，利用设置在所述一个表面上的深度传感器来测量所述外部物体的深度，并基于测量出的深度生成与所述外部物体相对应的深度信息。
发明的有益效果
根据本公开的各种实施例，通过考虑外部环境自动应用最佳深度信息生成方法，电子装置减少了电子装置的功耗并且提供了高质量的深度信息而不会在电子装置上产生过多的负载。
附图说明
通过以下结合附图的详细描述，本公开的某些实施例的上述和其他方面、特征和优点将变得更加明显，其中：
图1是示出根据各种实施例的在网络环境中的电子装置的框图。
图2是示出根据各种实施例的相机模块的框图。
图3是示出根据各种实施例的与电子装置的深度信息生成相关的配置的框图。
图4是示出根据各种实施例的用于在电子装置中生成深度信息的方法的流程图。
图5是示出根据各种实施例的电子装置的深度信息生成方法的流程图。
图6是示出根据各种实施例的深度信息生成方法的流程图。
图7是示出根据各种实施例的深度信息生成方法的流程图。
实施发明的优选方式
用于获取目标对象的深度信息的一种方法是所谓的飞行时间(TOF)方案，其中电子装置将光照射到对象上并通过利用从对象反射的光的TOF来获取深度信息。另一种方法是立体方案，其中电子装置对利用两个或更多个相机获得的多个图像进行分析以获取深度信息。还有另一种方法是使用结构化光和三角测量。
使用两个或更多个相机的立体方案在低照度环境和/或室外环境中可能无法很好地执行。另外，当对象具有大量黑色或距离很短时，TOF方案可能无法很好地执行。一起使用这两种方案的电子装置可能很复杂，使用过多的功率并产生过多的热量。
为此，本公开的某些实施例包括一种电子装置，该电子装置使用第一相机来获取外部物体的第一图像。然后，电子装置基于所获取的外部物体的图像的特征，使用立体相机方案或TOF方案来生成外部物体的深度信息。立体相机方案可以包括使用第一相机拍摄第二图像并且使用第二相机拍摄第三图像。在某些实施例中，TOF方案包括利用红外光使用深度传感器来测量外部物体的深度。
电子装置用来确定使用立体相机方案还是TOF方案的第一图像的特征可以包括诸如颜色信息(可以包括色温是否小于或等于5000K或暗度级(darkness level))和纹理图案信息(可以包括纹理变化水平和纹理变化频率)的特征。
在下文中，将参考附图详细描述本公开的实施例。图1是根据本公开的某些实施例的电子装置的框图。图2和图3是根据本公开的某些实施例的相机模块的框图。图4至图7描述了根据本公开的某些实施例的处理器的方法或操作。
具体实施方式
用于获取目标对象的深度信息的一种方法是所谓的飞行时间(TOF)方案，其中电子装置将光照射到对象上并通过使用从对象反射的光的TOF来获取深度信息。另一种方法是立体方案，其中电子装置对使用两个或更多个相机获得的多个图像进行分析以获取深度信息。还有另一种方法是使用结构化光和三角测量。
使用两个或更多个相机的立体方案在低照度环境和/或室外环境中可能无法很好地执行。另外，当对象具有大量黑色或距离很短时，TOF方案可能无法很好地执行。一起使用这两种方案的电子装置可能很复杂，使用过多的功率并产生过多的热量。
为此，本公开的某些实施例包括一种电子装置，该电子装置使用第一相机来获取外部物体的第一图像。然后，电子装置基于所获取的外部物体的图像的特征，使用立体相机方案或TOF方案来生成外部物体的深度信息。立体相机方案可以包括使用第一相机拍摄第二图像并且使用第二相机拍摄第三图像。在某些实施例中，TOF方案包括利用红外光使用深度传感器来测量外部物体的深度。
电子装置用来确定使用立体相机方案还是TOF方案的第一图像的特征可以包括诸如颜色信息(可以包括色温是否小于或等于5000K或暗度级)和纹理图案信息(可以包括纹理变化水平和纹理变化频率)的特征。
在下文中，将参考附图详细描述本公开的实施例。图1是根据本公开的某些实施例的电子装置的框图。图2和图3是根据本公开的某些实施例的相机模块的框图。图4至图7描述了根据本公开的某些实施例的处理器的方法或操作。
图1是示出根据某些实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个或更多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据某些实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的某些实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play Store
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
在某些实施例中，在电子装置101中，相机模块180可以包括包含第一相机和第二相机的相机模块180，而传感器模块176包括深度传感器。电子装置使用相机模块180的第一相机来获取外部物体的第一图像。然后，电子装置使用立体相机方案中的相机模块180的第一相机和第二相机或TOF方案中的传感器模块176中的深度传感器来生成外部物体的深度信息。
图2是示出根据某些实施例的相机模块180的框图200。参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、260度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图3是示出根据某些实施例的与电子装置101的深度信息生成相关的配置的框图。
参照图3，根据某些实施例的电子装置101(例如，图1中的电子装置101)可以包括至少一个处理器120(例如，图1中的处理器120)、相机模块180和深度传感器330。相机模块180可以包括第一相机310和第二相机320。
例如，处理器120可以包括图2所示的图像信号处理器260。处理器120(例如，图像信号处理器260)可以例如获取关于外部物体的深度信息，并且基于该深度信息，对图像进行3维(3D)建模，生成深度图，或执行图像校正。
使用第一相机310、第二相机320和深度传感器330中的至少一个，处理器120可以生成关于外部物体的深度信息。在某些实施例中，处理器120使用第一相机310和第二相机320或深度传感器330中选定的一个生成外部物体的深度信息，该选定的一个是基于一个或更多个第一图像中的与外部物体相对应的颜色信息或纹理图案信息的。
例如，处理器120可以分别利用第一相机310和第二相机320来获取外部物体的图像。然后，使用所获取的图像之间的视差，处理器120可以生成与外部物体相对应的深度信息。
在另一示例中，处理器120可以利用深度传感器330来测量外部物体的深度。然后，使用测量到的深度，处理器120可以生成与外部物体相对应的深度信息。
根据某些实施例，基于电子装置101的状态或成为通过电子装置101获取深度信息的目标的外部物体(例如，对象)的状态，处理器120可以应用用于生成深度信息的不同方法。
例如，处理器120可以控制第一相机310以获取外部物体的一个或更多个第一图像。然后，依据对获取的第一图像的分析结果，处理器120可以选择性地应用深度信息生成的不同方法。
例如，依据是否满足预定条件，处理器120可以选择性地使用利用多个相机310和320来生成深度信息的方法以及利用深度传感器330来生成深度信息的方法。或者，处理器120可以通过一起使用多个相机310和320以及深度传感器330来生成深度信息。
根据某些实施例，第一相机310可以被设置在电子装置101的一个表面上。另外，第二相机320和深度传感器330可以与第一相机310相邻地被设置在设置有第一相机310的表面的其他区域中。
图4是示出根据某些实施例的用于在电子装置101中生成深度信息的方法的流程图。
参照图4，在操作410，根据某些实施例的电子装置101可以通过其输入装置(例如，图1中的输入装置150)接收用于请求深度信息的输入。例如，深度信息请求输入可以包括用于捕获3D图像的请求、对离焦图像或应用了散景效果的图像的请求，或者用于用户面部识别的认证请求。
在操作420，根据某些实施例的处理器120可以响应于接收到在操作410输入的深度信息请求，通过使用第一相机310来获取外部物体的一个或更多个第一图像。
在一个实施例中，可以在接收到用于请求深度信息的输入之前驱动第一相机310。例如，当在通过显示器(例如，图1中的显示装置150)显示外部物体的预览图像时接收到深度信息请求输入时，处理器120可以获取与接收输入的时间点相对应的外部物体的第一图像。
在另一实施例中，仅在接收到用于请求深度信息的输入时，才可以开始驱动第一相机310。例如，当接收到深度信息请求输入时，处理器120可以响应于接收到的输入来驱动第一相机310，并且控制第一相机310以获取外部物体的第一图像。
在操作430，根据某些实施例，处理器120可以从在操作420获取的一个或更多个第一图像中识别外部物体的颜色信息或纹理图案信息中的至少一个。然后，在操作435，处理器120可以确定所识别的信息是否满足预定条件。
例如，使用所获取的一个或更多个第一图像的至少一部分，处理器120可以识别外部物体的颜色信息和/或纹理图案信息，然后确定是否满足与颜色信息和/或纹理图案信息相关联的预定条件。
外部物体的颜色信息可以包括例如外部物体的色温信息或外部物体的颜色信息(或指示暗度级的信息)中的至少一种。
在一个实施例中，处理器120可以基于一个或更多个第一图像中包含的像素的颜色坐标信息来识别外部物体的色温信息。然后，基于识别出的色温信息，处理器120可以确定外部物体的色温是否等于或小于5000K。即，当外部物体的色温等于或小于5000K时，处理器120可以确定满足预定条件。
在另一实施例中，处理器120可以基于一个或更多个第一图像中包含的像素的亮度信息来识别外部物体的暗度级信息。然后，基于识别出的暗度级信息，处理器120可以确定外部物体的暗度级是否等于或大于给定(或预定；现在将使用“给定”)阈值水平。即，当外部物体的暗度级等于或大于阈值水平时，处理器120可以确定满足预定条件。
例如，处理器120可以获得与第一图像的暗度相关的值，并将获得的值与给定的阈值进行比较。在另一示例中，处理器120可以获得第一图像中的每个像素的Y值，并将获得的每个像素的Y值与给定阈值进行比较。在这种情况下，Y值可以指通过0至255中的任何一个值指示图像的暗度的值(越大的值越暗)。然后，处理器120可以识别像素的数量或面积，这些像素中的每个像素具有给定阈值的Y值或更大的Y值。如果与第一图像的所有像素的数量或面积相比，所识别的像素的数量或面积等于或大于预定比率，则处理器120可以确定满足预定条件。
附加地或可替代地，处理器120可以通过经由拐角和/或边缘检测技术对第一图像进行滤波来识别外部物体的纹理图案信息。例如，处理器120可以识别滤波后的图像中的像素的数量或面积。如果与第一图像的所有像素的数量或面积相比，所识别的像素的数量或面积等于或大于预定比率，则处理器120可以确定满足预定条件。
外部物体的纹理图案信息可以包括例如外部物体的纹理变化水平信息或外部物体的纹理变化频率信息中的至少一种。
在某些实施例中，可以从JPEG压缩信息中获得纹理图案信息，在JPEG压缩信息中，图像被从空间域转换为频域，并检查较高幅值频率的系数的幅值。
在一个实施例中，处理器120可以基于一个或更多个第一图像中的像素信息(例如，颜色坐标信息)来识别外部物体的纹理变化水平信息(例如，指示相邻像素之间的深度差的信息)。然后，基于所识别的纹理变化水平信息，处理器120可以确定外部物体的纹理变化水平(例如，深度差)是否等于或大于给定的阈值。如果是这样，则处理器120可以确定满足预定条件。
在另一实施例中，处理器120可以基于一个或更多个第一图像中的像素信息来识别外部物体的纹理变化频率信息。例如，外部物体的纹理变化频率信息可以指示在某个区域范围内的相邻像素之间具有给定值或更大值的深度差的像素的频率。然后，基于所识别的纹理变化频率信息，处理器120可以确定外部物体的纹理变化频率是否等于或小于给定的阈值。如果是这样，则处理器120可以确定满足预定条件。
在操作435，处理器120可以确定外部物体的色温、外部物体的暗度级、外部物体的纹理变化水平和外部物体的纹理变化频率中的至少一项是否满足相应的预定条件。或者，处理器120可以确定它们是否都满足相应的预定条件。
同时，处理器120可以通过使用第一相机获取外部物体的照度信息，并且进一步确定所获取的照度信息是否满足相关照度条件。
也就是说，当外部物体的色温、外部物体的暗度级、外部物体的纹理变化水平和外部物体的纹理变化频率中的至少一个(或全部)满足相应的预定条件，并且当外部物体的照度信息满足相关照度条件时，处理器120可以确定满足预定条件。
当在操作435确定满足预定条件时，处理器120可以执行操作440。
在操作440，处理器120可以使用第一相机310和第二相机320。具体地，处理器120可以利用第一相机310获取外部物体的一个或更多个第二图像，并且还可以利用第二相机320获取外部物体的一个或更多个第三图像。一个或更多个第三图像可以对应于一个或更多个第二图像。例如，可以在同一时间点获取第二图像和第三图像。
在操作450，处理器120可以将所获取的一个或更多个第二图像与所获取的一个或更多个第三图像进行比较，并且基于比较结果，生成与外部物体相对应的深度信息。
根据某些实施例，第一相机310和第二相机320可以具有不同的光学特性。具体地，第一相机310可以包括具有第一焦距和第一视角的第一透镜组以及第一图像传感器。例如，第一透镜组可以包括标准视角透镜或远摄角透镜。另外，第二相机320可以包括具有第二焦距和第二视角的第二透镜组以及第二图像传感器。第二焦距可以小于第一焦距，并且第二视角可以大于第一视角。例如，第二透镜组可以包括广角透镜。根据实施例，第一相机310和第二相机320中的一个可以被定义为主相机，而另一个可以被定义为子相机。
当在操作435确定不满足预定条件时，处理器120可以执行操作460。
在操作460，处理器120可以使用深度传感器330来测量外部物体的深度。
例如，处理器120可以通过使用功能上连接到处理器120的电子装置101的光发射器来朝着外部物体输出光。例如，输出的光可以至少部分地包含红外波长范围的光。从光发射器输出的光可以被外部物体反射，然后至少部分地入射在电子装置101的深度传感器330上。因此，使用深度传感器330，处理器120可以检测由外部物体反射的光的至少一部分，并基于检测结果，测量外部物体的深度。
在操作470，处理器120可以通过使用在操作460处测量到的深度来生成与外部物体相对应的深度信息。例如，处理器120可以将关于通过光发射器输出的光的信息与关于使用深度传感器330检测到的光的信息进行比较，从而生成与外部物体相对应的深度信息。
注意，在图4中，立体相机方案(第一相机310和第二相机320)或TOF方案(深度传感器330)的使用是互斥的。在某些实施例中，可以针对是否使用立体相机方案(第一相机310和第二相机320)和TOF方案(深度传感器330)使用不同条件做出单独确定。
图5是示出根据某些实施例的电子装置101的深度信息生成方法的流程图。
图5的操作510至操作530可以分别对应于图4的上述操作410至操作430，因此在下文中将仅给出其简单描述。
参照图5，在操作510，根据某些实施例的电子装置101可以通过其输入装置接收用于请求深度信息的输入。
在操作520，根据某些实施例的处理器120可以控制第一相机310以获取外部物体的一个或更多个第一图像。
在操作530，根据某些实施例，处理器120可以从获取的一个或更多个第一图像中识别外部物体的颜色信息或纹理图案信息中的至少一个。如上所述，外部物体的颜色信息可以包括例如外部物体的色温信息和/或外部物体的颜色信息(或指示暗度级的信息)。另外，外部物体的纹理图案信息可以包括例如外部物体的纹理变化水平信息和/或外部物体的纹理变化频率信息。
尽管在本公开中描述了使用通过第一相机310获取的第一图像，但是可以替代地使用通过第二相机320获取的图像。
在操作532，处理器120可以确定所识别的外部物体的颜色信息或所识别的外部物体的纹理图案信息中的至少一个是否满足预定的第一条件。
例如，预定的第一条件可以包括与外部物体的色温、外部物体的暗度级、外部物体的纹理变化水平(例如，相邻像素之间的深度差)或者外部物体的纹理变化频率(例如，在特定区域范围内的相邻像素之间具有给定值或更大的深度差的像素的频率)中的至少一个相关联的至少一个条件。
在一个示例中，第一条件可以指示外部物体的色温是否等于或小于5000K。在另一个示例中，第一条件可以指示外部物体的暗度级是否等于或大于第一阈值。在又一示例中，第一条件可以指示外部物体的纹理变化水平是否等于或大于第二阈值。在又一示例中，第一条件可以指示外部物体的纹理变化频率是否等于或小于第三阈值。
当在操作532确定满足预定的第一条件时，处理器120可以执行操作540。在操作540，处理器120可以通过使用第一相机310和第二相机320获取外部物体的一个或更多个第二图像和一个或更多个第三图像。一个或更多个第三图像可以对应于一个或更多个第二图像。
在操作550，处理器120可以将所获取的一个或更多个第二图像与所获取的一个或更多个第三图像进行比较，并且基于比较结果，测量外部物体的第一深度。
在操作534，处理器120可以确定所识别的外部物体的颜色信息或所识别的外部物体的纹理图案信息中的至少一个是否满足预定的第二条件。
例如，预定的第二条件可以包括与外部物体的色温、外部物体的暗度级、外部物体的纹理变化水平或外部物体的纹理变化频率中的至少一项相关联的至少一个条件。
在一个示例中，第二条件可以指示外部物体的色温是否大于5000K。在另一示例中，第二条件可以指示外部物体的暗度级是否小于第一阈值。在又一示例中，第二条件可以指示外部物体的纹理变化水平是否小于第二阈值。在又一示例中，第二条件可以指示外部物体的纹理变化频率是否大于第三阈值。
当在操作534处确定满足预定的第二条件时，处理器120可以执行操作560。在操作560处，处理器120可以通过使用深度传感器330来测量外部物体的第二深度。例如，处理器120可以控制光发射器输出至少部分包含红外波长范围的光的光，控制深度传感器330检测由外部物体反射的光的至少一部分，并基于关于输出的光的信息和关于检测到的光的信息，测量外部物体的第二深度。
根据某些实施例，当第一条件和第二条件没有满足时，处理器120可以不测量第一深度和第二深度。例如，如果确定第一条件和第二条件都不满足，则处理器120可以生成相关的用户通知以指示用户改变深度测量环境。另外，当第一条件和第二条件都被满足时，处理器120可以测量第一深度和第二深度。另外，当仅满足第一条件和第二条件中的一个时，处理器120可以仅测量第一深度和第二深度中的一个。
在操作580，处理器120可以通过使用在操作550处测量到的第一深度和在操作560处测量到的第二深度中的一个或两个来生成与外部物体相对应的深度信息。
即，处理器120可以基于使用第一相机310和第二相机320测量到的第一深度来生成与外部物体相对应的深度信息，和/或基于使用深度传感器330测量到的第二深度来生成与外部物体相对应的深度信息。
根据实施例，基于是否满足第一条件和第二条件中的至少一些，处理器120可以确定是否通过使用第一深度和第二深度中的一个或两个来生成深度信息。
根据实施例，基于是否满足第一条件和第二条件中的至少一些，处理器120可以通过使用第一深度和第二深度两者来生成深度信息。在这种情况下，处理器120可以合成关于第一深度的信息和关于第二深度的信息，从而生成与外部物体相对应的深度信息。
图6是示出根据某些实施例的深度信息生成方法的流程图。
参照图6，在操作610，根据某些实施例的处理器120可以检查电子装置101的加热状态。也就是说，处理器120可以周期性地检查电子装置101的加热状态，从而确定电子装置101是否达到阈值温度。然后，基于电子装置101的加热状态，处理器120可以确定深度信息生成方法。
当在操作610处确定电子装置101达到阈值温度时，在操作620处，处理器120可以移动到上述图4的操作440。也就是说，当电子装置101具有阈值温度或更高时，处理器120可以通过使用第一相机310和第二相机320获取第二图像和第三图像，然后通过比较第二图像和第三图像来生成深度信息。
当在操作610处确定电子装置101未达到阈值温度时，在操作630处，处理器120可以移动到上述图4的操作460。即，当电子装置101的温度小于阈值温度时，处理器120可以通过使用深度传感器330来测量外部物体的深度，然后生成深度信息。
根据实施例，可以在上述图4的操作435之后执行操作610。例如，如果在操作435确定不满足预定条件，则处理器120可以在操作610检查电子装置101的加热状态。然后，如果在操作610确定电子装置101达到阈值温度，则处理器120可以执行操作440而不是操作460。
根据另一实施例，可以在上述图5的操作534之后执行操作610。例如，如果在操作534中确定满足第二条件，则处理器120可以在操作610中检查电子装置101的加热状态。然后，如果在操作610中确定电子装置101达到阈值温度时，则处理器120可以执行操作540而不是操作560。
根据又一实施例，如果在操作435确定不满足预定条件，并且如果在操作610确定电子装置101达到阈值温度，则处理器120可以不执行操作440，而是生成用户通知以指示用户更改深度测量环境。然后，处理器120可以执行操作420。
图7是示出根据某些实施例的深度信息生成方法的流程图。
参照图7，在操作710，处理器120可以确定深度传感器是否检测到光。具体地，在光发射器不向外部物体输出光的状态下，处理器120可以确定深度传感器是否检测到由外部物体反射的光。
即，如果即使光发射器没有将光发射到外部物体，深度传感器也检测到了由外部物体反射的任何光，则处理器120可以将所检测到的光视为由于外部环境因素而发生。
在一些实施例中，当在图4的操作435处确定不满足预定条件时，或者当在图5的操作534处确定满足第二条件时，处理器120可以执行操作710。在操作710处，当在没有向外部物体发射光的情况下从深度传感器检测到光时，处理器120可以执行上述操作440而不是执行上述操作460。
在另一个实施例中，当在图4的操作435处确定不满足预定条件时，并且当在操作710处在没有向外部物体发射光的情况下从深度传感器检测到光时，处理器120可以既不执行操作460也不执行操作440。相反，处理器120可以生成指示生成深度信息失败的用户通知，在显示器上显示用户通知，并诱使用户改变深度测量环境。
如上所述，根据本公开的电子装置可以考虑外部环境来自动应用最佳深度信息生成方法。因此，电子装置可以减少功耗，并且还可以在不承担过多负担的情况下获取高质量的深度信息。
尽管已经参照本公开的示例性实施例具体地示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求限定的主题的范围的情况下，可以在形式和细节上进行各种改变。
机译： 通过使用相机或深度传感器中的至少一个来获取深度信息的电子设备和方法
机译： 通过使用相机或深度传感器中的至少一个来获取深度信息的电子设备和方法
机译： 通过使用相机或深度传感器中的至少一个来获取深度信息的电子设备和方法
