3D深度成像方法、主控装置、以及3D成像设备

摘要

本申请提供了一种3D深度成像方法，包括：基于直接飞行时间测量和二维成像技术同步获取场景的第一深度图和二维图像；对第一深度图进行增殖生成第二深度图；将第二深度图的各子深度像素映射于二维图像的各图像像素，同一子深度像素映射的至少一个图像像素组合构成超像素；根据超像素映射的图像像素将超像素划分为不同的群簇；根据超像素群簇和映射关系将各子深度像素划分为与超像素群簇相对应的子深度像素群簇；根据第一深度图的各原始深度像素的深度值和子深度像素群簇对各子深度像素进行深度赋值。本申请技术方案能够有效提高三维深度图的分辨率。此外，本申请还提供了一种主控装置以及一种3D成像设备。

说明书

技术领域

本申请涉及成像技术领域，尤其涉及一种结合直接飞行时间测量和二维成像技术的3D深度成像方法、主控装置、以及3D成像设备。

背景技术

随着数码技术、半导体制造技术、以及网络的迅速发展，传统图像传感器的二维成像技术日益成熟，其采集到的图像可以是色彩模式，也可以是灰度模式，且具有很高的分辨率。但是，其采集到的图像信息在一定程度上并不完整，如缺乏深度信息。

随着科学技术的发展，越来越多的行业领域已经不再满足二维成像捕捉或者二维显示呈现的平面信息，要求更加真实地反映实际的三维世界。因而，能够输出三维图像信息的深度传感器的应用越来越广泛。然而，受限于复杂的制备工艺、严苛的模组性能、以及仍不完善的感测技术，相较于传统的二维图像传感器，深度传感器采集的深度图分辨率较低，并不能满足用户的需求。

因此，结合传统高分辨率的二维图像和原始三维深度图的深度值，通过算法提高三维深度图的分辨率是本申请要公开和保护的内容。

发明内容

本申请提供了一种结合直接飞行时间测量和二维成像技术的3D深度成像方法、主控装置、以及3D成像设备，结合二维图像和通过直接飞行时间测量得到的深度图，达到提高三维深度图分辨率的效果。

第一方面，本申请实施例提供一种结合直接飞行时间测量和二维成像技术的3D深度成像方法，所述3D深度成像方法包括：

基于直接飞行时间测量和二维成像技术同步获取场景的第一深度图和二维图像，其中，所述第一深度图的分辨率低于所述二维图像的分辨率；

对所述第一深度图进行增殖生成第二深度图，其中，所述第二深度图的各子深度像素由所述第一深度图中的每个原始深度像素按照预设比例分裂形成，且每一所述子深度像素均对应一个所述原始深度像素；

将所述第二深度图的各子深度像素映射于所述二维图像的各图像像素，同一所述子深度像素映射的至少一个所述图像像素组合构成超像素，以使所述第二深度图中的各子深度像素与所述二维图像的各超像素形成一一对应的映射关系；

根据所述超像素映射的图像像素将所述超像素划分为不同的群簇；

根据所述超像素群簇和所述映射关系将所述第二深度图中的各子深度像素划分为与所述超像素群簇相对应的子深度像素群簇；

获取所述第一深度图的各原始深度像素的深度值，其中，所述深度值包括直方图的主峰对应的一个主深度值和可能存在的次峰对应的次深度值；

根据所述各原始深度像素的深度值和所述子深度像素群簇对所述第二深度图的各子深度像素进行深度赋值。

第二方面，本申请实施例提供一种主控装置，所述主控装置包括：

存储器，用于存储提高深度图分辨率的计算程序指令；以及

处理器，用于执行所述提高深度图分辨率的计算程序指令以实现如上所述的结合直接飞行时间测量和二维成像技术的3D深度成像方法。

第三方面，本申请实施例提供一种3D成像设备，所述3D成像设备包括飞行时间图像采集装置、二维图像采集装置、以及如上所述的主控装置，所述主控装置分别与所述飞行时间图像采集装置和所述二维图像采集装置电连接。

上述结合直接飞行时间测量和二维成像技术的3D深度成像方法、主控装置、以及3D成像设备，将基于直接飞行时间测量技术获取的第一深度图进行增殖生成第二深度图，并将第二深度图中的子深度像素与基于二维成像技术获取的二维图像的图像像素进行映射，得到二维图像的超像素。根据各超像素的超像素值将超像素划分为不同的群簇，并根据映射关系将子深度像素划分为相对应的群簇。根据第一深度图中各原始深度像素的深度值和子深度像素群簇对第二深度图的各子深度像素进行深度赋值，从而得到分辨率更高的第二深度图。结合高分辨率的二维图像和第一深度图中各原始深度像素的深度值，通过增殖及深度赋值的方式提高了第二深度图的分辨率。同时，深度赋值的过程也增加了第二深度图中各子深度像素深度值的精确度，使得生成的第二深度图具有较高分辨率的同时还具有较高的精确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本申请实施例提供的3D深度成像方法的流程图。

图2为本申请实施例提供的3D深度成像方法的第一子流程图。

图3为本申请实施例提供的3D深度成像方法的第二子流程图。

图4为本申请实施例提供的3D深度成像方法的第三子流程图。

图5为利用图1所示的3D深度成像方法进行3D深度成像的第一过程示意图。

图6为利用图1所示的3D深度成像方法进行3D深度成像的第二过程示意图。

图7为利用图1所示的3D深度成像方法进行3D深度成像的第三过程示意图。

图8为利用图1所示的3D深度成像方法进行3D深度成像的第四过程示意图。

图9为本申请实施例提供的主控装置的结构示意图。

图10为本申请实施例提供的3D成像设备的结构示意图。

元件符号说明

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

请结合参看图1，其为本申请实施例提供的3D深度成像方法的流程图。3D深度成像方法结合了直接飞行时间测量和二维成像技术，用于提高深度图图像的分辨率。3D深度成像方法具体包括如下步骤。

步骤S102，基于直接飞行时间测量和二维成像技术同步获取场景的第一深度图和二维图像。本实施例利用飞行时间图像采集装置10通过直接飞行时间测量技术获取场景的第一深度图T1，利用二维图像采集装置20通过二维成像技术获取场景的二维图像P。可以理解的是，飞行时间图像采集装置10和二维图像采集装置20设置于一起，且飞行时间图像采集装置10的视场方向和二维图像采集装置20的视场方向相同。当进行图像采集时，飞行时间图像采集装置10和二维图像采集装置20同步获取关于同一场景的第一深度图T1和二维图像P，以使得第一深度图T1和二维图像P具有时间一致性和空间一致性。其中，飞行时间图像采集装置10为飞行时间传感器，二维图像采集装置20为摄像装置。可以理解的是，第一深度图T1的分辨率低于二维图像P的分辨率。

步骤S104，对第一深度图进行增殖生成第二深度图。其中，第二深度图T2的各子深度像素T20由第一深度图T1中的每个原始深度像素T10按照预设比例分裂形成，且每一子深度像素T20均对应一个原始深度像素T10。在本实施例中，预设比例小于等于二维图像P的分辨率与第一深度图T1的分辨率之比。举例来说，若二维图像P的分辨率为5000，第一深度图T1的分辨率为50，则预设比例小于等于100。优选地，预设比例为4或者9。可以理解的是，当预设比例为4倍时，第一深度图T1中的每个原始深度像素T10分裂成四个第二深度图T2的子深度像素T20（如图5所示）。当预设比例为9倍时，第一深度图T1中的每个原始深度像素T10分裂成九个第二深度图T2的子深度像素T20（如图6所示）。在一些可行的实施例中，预设比例可以根据实际情况进行设置，在此不做限定。

步骤S106，将第二深度图的各子深度像素映射于二维图像的各图像像素。其中，同一子深度像素T20映射的至少一个图像像素P0组合构成超像素P01（如图7所示），以使第二深度图T2中的各子深度像素T20与二维图像P的各超像素P01形成一一对应的映射关系。可以理解的是，与每一子深度像素T20映射的图像像素P0的数量相同，则每一超像素P01中包含的图像像素P0的数量相同。在本实施例中，通过预设算法对第二深度图T2和二维图像P分别进行标定和裁剪，当子深度像素T20的特征与图像像素P0的特征相对应时，子深度像素T20与图像像素P0具有映射关系。其中，特征包括但不限于旋转角度、以及坐标等。

步骤S108，根据超像素映射的图像像素将超像素划分为不同的群簇。在本实施例中，获取二维图像的各图像像素的图像像素值。其中，图像像素值为图像像素P0的RGB值。根据图像像素值计算各超像素的超像素值，并根据超像素值将超像素划分为不同的群簇。在本实施例中，当超像素P01只包括一个图像像素P0时，超像素值为该图像像素P0的图像像素值；当超像素P01包括至少两个图像像素P0时，超像素值为至少两个图像像素P0的图像像素值的平均值。本实施例将超像素值呈平滑过渡的超像素P01划分在同一个超像素群簇P02中，将超像素值呈突变过渡的超像素P01划分在不同的超像素群簇P02中（如图8所示）。其中，若相邻超像素P01的超像素值的差值在10%以内，则表示相邻的超像素P01为平滑过渡；若相邻超像素P01的超像素值的差值超过10%，则表示相邻的超像素P01为突变过渡。优选地，相邻超像素P01的超像素值的差值在5%以内的为平滑过渡；相邻超像素P01的超像素值的差值超过5%的为突变过渡。举例来说，相邻两个超像素P01的超像素值分别为1500和1560，则两个超像素P01的超像素值的差值为60。60约为1560的3.8%，在5%以内，则两个超像素P01为平滑过渡，划分在同一个超像素群簇P02中。当二维图像采集装置20在采集关于场景的二维图像P时，场景中的同一部分在二维图像P中表现为相对应的图像像素P0的图像像素值相近，场景中的不同部分在二维图像P中表现为相对应的图像像素P0的图像像素值差异较大。可以理解的是，超像素值呈平滑过渡的超像素P01表示为场景中的同一部分，超像素值呈突变过渡的超像素P01表示为场景中的不同部分。即是说，同一超像素群簇P02表示为场景中的同一部分，不同超像素群簇P02表示为场景中的不同部分。在本实施例中，一个超像素P01可以被划分在多个不同的超像素群簇P02中，一个超像素群簇P02至少包含三个超像素P01。优选地，一个超像素群簇P02至少包括五个超像素P01。

步骤S110，根据超像素群簇和映射关系将第二深度图中的各子深度像素划分为与超像素群簇相对应的子深度像素群簇。相应地，一个子深度像素T20也可以被划分在多个不同的子深度像素群簇T200中。

步骤S112，获取第一深度图的各原始深度像素的深度值。在本实施例中，飞行时间图像采集装置10在进行图像采集时会生成关于每一原始深度像素T10的直方图，根据直方图计算各原始深度像素T10的深度值后再形成第一深度图T1。由于深度值是根据直方图中峰值所对应的飞行时间来进行计算，而同一直方图中可能存在多个峰值，因此，每一原始深度像素T10的深度值包括相应直方图的主峰对应的一个主深度值和可能存在的次峰对应的次深度值。其中，主峰表示直方图中峰值最大的峰，主深度值为根据主峰所对应的飞行时间进行计算得到的深度值。次峰表示直方图中除主峰外峰值较大的峰，次深度值为根据次峰所对应的飞行时间进行计算得到的深度值。当飞行时间图像采集装置10生成关于每一原始深度像素T10的直方图时，与原始深度像素T10相对应的场景中的部分中，深度相同且占据面积最大的部分相应在直方图中形成主峰。因此，主峰所对应的主深度值为原始深度像素中的深度相同且占据面积最大的部分的深度值。

步骤S114，根据各原始深度像素的深度值和子深度像素群簇对第二深度图的各子深度像素进行深度赋值。本实施例根据预设顺序依次对第二深度图T2的各子深度像素T20进行深度赋值。优选地，本实施例优先对子深度像素群簇T200中的子深度像素T20进行深度赋值，再对不包含于任何子深度像素群簇T200中的子深度像素T20进行深度赋值。如何根据各原始深度像素T10的深度值和子深度像素群簇T200对第二深度图T2的各子深度像素T20进行深度赋值具体将在下文详细描述。可以理解的是，深度赋值后的第二深度图T2的分辨率比第一深度图T1的分辨率高。因此，通过第一深度图T1和二维图像P可以提高三维深度图的分辨率。

上述实施例中，将基于直接飞行时间测量技术获取的第一深度图进行增殖生成第二深度图，并将第二深度图中的子深度像素与基于二维成像技术获取的二维图像的图像像素进行映射，得到二维图像的超像素。根据各超像素的超像素值将超像素划分为不同的群簇，并根据映射关系将子深度像素划分为相对应的群簇。根据第一深度图中各原始深度像素的深度值和子深度像素群簇对第二深度图的各子深度像素进行深度赋值，从而得到分辨率更高的第二深度图。结合高分辨率的二维图像和第一深度图中各原始深度像素的深度值，通过增殖及深度赋值的方式提高了第二深度图的分辨率。同时，深度赋值的过程也增加了第二深度图中各子深度像素深度值的精确度，使得生成的第二深度图具有较高分辨率的同时还具有较高的精确度。

请结合参看图2，其为本申请实施例提供的3D深度成像方法的第一子流程图。本实施例获取每一子深度像素群簇T200包含的子深度像素T20的数量，根据每一子深度像素群簇T200包含的子深度像素T20数量从多到少的顺序依次对子深度像素T200中的各子深度像素T20进行深度赋值。步骤S114具体包括如下步骤。

步骤S202，判断子深度像素群簇中的所有子深度像素是否对应多个原始深度像素。本实施例按照子深度像素群簇T200中子深度像素T20数量从多到少的顺序依次对子深度像素群簇T200进行判断，判断每一子深度像素群簇T200中所有子深度像素T20是否对应多个原始深度像素T10。当子深度像素群簇T200中的所有子深度像素T20对应多个原始深度像素T10时，执行步骤S204；当子深度像素群簇T200中的所有子深度像素T20只对应一个原始深度像素T10时，执行步骤S212。

步骤S204，将对应的多个原始深度像素的深度值组成深度值库。当子深度像素群簇T200中的所有子深度像素T20对应多个原始深度像素T10时，本实施例将每一子深度像素群簇T200对应的多个原始深度像素T10的深度值共同组成与该子深度像素群簇T200相对应的深度值库。

步骤S206，选取深度值库中预设误差内数量最多的相近深度值为第一基准值。由于每一原始深度像素T10包括至少一个深度值，而不同的原始深度像素T10包含的深度值可能相同，可能相近，也可能相差较大。本实施例选取预设误差内数量最多的相近深度值作为第一基准值。在本实施例中，预设误差为±0.5。举例来说，某一子深度像素群簇T200中的所有子深度像素T20对应5个原始深度像素T10，5个原始深度像素T10的深度值包括4、5、4.5、4、4、5、4.5、6。其中，以深度值4为基准，预设误差在±0.5内的相近深度值有5个；以深度值为4.5，预设误差在±0.5内的相近深度值有7个；以深度值为5，预设误差在±0.5内的相近深度值有4个；以深度值为6，预设误差在±0.5内的相近深度值有1个。则，预设误差内数量最多的相近深度值是以深度值4.5为基准的。因此，将深度值4.5作为第一基准值。在一些可行的实施例中，还可以将在深度值4.5预设误差内的4和5都作为第一基准值。在另一些可行的实施例中，预设误差可以根据实际情况进行设定。

在本实施例中，每次选取深度值作为第一基准值时，优先选取深度值中未作为基准值的深度值作为第一基准值。可以理解的是，由于一个超像素P01可以被划分在多个不同的超像素群簇P02中，则不同的子深度像素群簇T200对应的原始深度像素T10可能相同。若该原始深度像素T10的深度值已经被选为第一基准值，则下一次选取时只能选取深度值库中的其它深度值。在本实施例中，在选取深度值库中的其它深度值作为第一基准值时，判断深度值中未作为基准值的深度值是否包括多个。当深度值包括多个时，本实施例获取多个深度值在直方图中对应的强度值。其中，强度值为深度值在直方图中对应的峰值。选取强度值最大的深度值作为第一基准值。即是说，选取直方图中最大峰值对应的深度值作为第一基准值。当深度值只有一个时，将唯一的深度值作为第一基准值。

步骤S208，根据第一基准值在预设范围内生成若干子深度值。其中，预设范围在第一基准值的10%以内。优选地，预设范围在第一基准值的5%以内。举例来说，当第一基准值为4.5时，第一基准值的5%为0.2，则预设范围为4.3至4.7之间。因此，子深度值为4.3-4.7之间的任意数值。

步骤S210，将若干子深度值赋予子深度像素。由于子深度像素群簇T200与超像素群簇P02相对应，则同一子深度像素群簇T200中的子深度像素T20表示为场景中的同一部分。而当飞行时间图像采集装置10在采集关于场景的第一深度图T1时，场景中的同一部分在第一深度图T1中表现为相对应的原始深度像素T10的深度值近似，场景中的不同部分在第一深度图T1中表现为相对应的原始深度像素T10的深度值差异较大。因此，同一子深度像素群簇T200的子深度像素T20的深度值近似。当一个子深度像素T20被划分在多个不同的子深度像素群簇T200中时，可以多次对该子深度像素T20进行赋值,也可以在第一次对该子深度像素T20赋值后就不再对其进行赋值，在此不做限定。在本实施例中，生成的子深度值的数量与相对应的子深度像素T20的数量相同。

步骤S212，将原始深度像素的深度值作为第二基准值。当子深度像素群簇T200中的所有子深度像素T20只对应一个原始深度像素T10时，本实施例直接将与该子深度像素T20相对应的原始深度像素T10的深度值作为第二基准值。在本实施例中，每次选取深度值作为第二基准值时，优先选取深度值中未作为基准值的深度值作为第二基准值。可以理解的是，由于一个超像素P01可以被划分在多个不同的超像素群簇P02中，则不同的子深度像素群簇T200对应的原始深度像素T10可能相同。若该原始深度像素T10的深度值已经被选为第一或第二基准值，则下一次选取时只能选取该原始深度像素T10的其它深度值。在本实施例中，在选取原始深度像素T10的其它深度值作为第二基准值时，判断深度值中未作为基准值的深度值是否包括多个。当深度值包括多个时，本实施例获取多个深度值在直方图中对应的强度值，选取强度值最大的深度值作为第二基准值。当深度值只有一个时，将唯一的深度值作为第二基准值。

步骤S214，根据第二基准值在预设范围内生成若干子深度值。其中，预设范围在第二基准值的10%以内。优选地，预设范围在第二基准值的5%以内。

步骤S216，将若干子深度值赋予子深度像素。当一个子深度像素T20被划分在多个不同的子深度像素群簇T200中时，可以多次对该子深度像素T20进行赋值,也可以在第一次对该子深度像素T20赋值后就不再对其进行赋值，在此不做限定。在本实施例中，生成的子深度值的数量与相对应的子深度像素T20的数量相同。

上述实施例中，当子深度像素群簇中的所有子深度像素对应多个原始深度像素时，将多个原始深度像素的深度值组成深度值库，在深度值库中选取预设误差内数量最多的相近深度值作为第一基准值，并根据第一基准值生成若干子深度值赋予子深度像素。可以理解的是，由于子深度像素群簇中的子深度像素表示为场景中的同一部分，因此当子深度像素群簇中的子深度像素对应多个原始深度像素时，多个原始深度像素表示为场景中的同一部分。由于场景中的同一部分的深度值相近，因此将多个原始深度像素的深度值组成的深度值库中，预设误差内数量最多的相近深度值作为第一基准值，从而保证子深度像素的深度值的精确性。

当子深度像素群簇中的所有子深度像素对应一个原始深度像素时，选取该原始深度像素的深度值中未作为基准值的深度值作为第二基准值，并根据第二基准值生成若干子深度值赋予子深度像素。当深度值包括多个时，选取强度值最大的深度值作为第二基准值。可以理解的是，由于子深度像素群簇中的子深度像素表示为场景中的同一部分，因此当子深度像素群簇中的子深度像素对应一个原始深度像素时，子深度像素群簇中的子深度像素与原始深度像素中深度值相同且占据面积较大的部分相对应，因此将原始深度像素的深度值中强度最大的深度值作为第二基准值，从而保证子深度像素的深度值的准确性。

请结合参看图3，其为本申请实施例提供的3D深度成像方法的第二子流程图。其中，步骤S114具体包括如下步骤。

步骤S302，判断子深度像素是否不包含于任何子深度像素群簇。本实施例判断子深度像素T20是否不包含于任何子深度像素群簇T200。

步骤S304，当子深度像素不包含于任何子深度像素群簇时，将子深度像素对应的原始深度像素的深度值作为第三基准值。在本实施例中，每次选取深度值作为第三基准值时，优先选取深度值中未作为基准值的深度值作为第三基准值。可以理解的是，由于一个超像素P01可以被划分在多个不同的超像素群簇P02中，则不同的子深度像素群簇T200对应的原始深度像素T10可能相同。当子深度像素群簇T200中的子深度像素T20与多个原始深度像素T10相对应时，选取了由多个原始深度像素T10的深度值组成的深度值库中预设误差内数量最多的相近深度值作为第一基准值，则每一原始深度像素T10的主深度值可能被作为第一基准值，也可能没有被作为第一基准值；当子深度像素群簇T200中的子深度像素T20与一个原始深度像素T10相对应时，原始深度像素T10的主深度值或次深度值被作为第二基准值。则，原始深度像素T10的深度值中未作为基准值的深度值可能包括主深度值，也可能包括至少一个次深度值。当深度值包括多个时，本实施例获取多个深度值在直方图中对应的强度值，选取强度值最大的深度值作为第三基准值。当深度值只有一个时，将唯一的深度值作为第三基准值。

步骤S306，根据第三基准值在预设范围内生成子深度值。其中，预设范围在第三基准值的10%以内。优选地，预设范围在第三基准值的5%以内。

步骤S308，将子深度值赋予子深度像素。在本实施例中，生成的子深度值的数量与相对应的子深度像素T20的数量相同。

在本实施例中，当深度值中没有未作为基准值的深度值时，以相邻子深度像素T20的深度值做插值为子深度像素T20进行深度赋值。即是说，当深度值中没有未作为基准值的深度值时，选取与该子深度像素T20相邻的且已具有深度值的子深度像素T20作为参考像素。利用插值法根据参考像素的深度值计算该子深度像素T20的深度值，并赋予该子深度像素T20，使得该子深度像素T20的深度值与相邻子深度像素T20的深度值呈平滑过渡。

上述实施例中，当子深度像素不包含于任何子深度像素群簇时，优先获取子深像素对应的原始深度像素中未作为基准值的深度值。当深度值只有一个时，将该深度值作为第三基准值。当深度值包括多个时，选取多个深度值中对应峰值最大的一个作为第三基准值。可以理解的是，当若干子深度像素与一个原始深度像素相对应，且其中多个子深度像素包含于同一个子深度像素群簇中时，该原始深度像素的主深度值为多个子深度像素的深度值的基准值；当若干子深度像素与一个原始深度像素相对应，且其中几个子深度像素不包含于任何子深度像素群簇时，该原始深度像素的次深度值为几个子深度像素的深度值的基准值。通过选取峰值最大的深度值作为基准值，能够有效确保子深度像素的深度值的精确性。

请结合参看图4，其为本申请实施例提供的3D深度成像方法的第三子流程图。执行步骤S114之后，3D深度成像方法还包括如下步骤。

步骤S402，对第二深度图中各子深度像素的深度值进行平滑处理。当对第二深度图T2中的每一子深度像素T20均进行深度赋值后，本实施例对第二深度图T2中各子深度像素T20的深度值进行平滑处理，以使得在同一子深度像素群簇T200内的各子深度像素T20的深度值呈平滑过渡，在不同子深度像素群簇T200内的各子深度像素T20的深度值呈突变过渡。

步骤S404，判断第二深度图是否满足预设条件。本实施例判断第二深度图T2是否满足预设条件。当第二深度图T2满足预设条件时，输出第二深度图T2。其中，预设条件包括但不限于分辨率大于预设值。即是说，当第二深度图T2的分辨率大于预设值时，该第二深度图T2可以作为最终图像进行输出。在本实施例中，预设值可以根据实际情况进行设置，在此不做限定。

步骤S406，当第二深度图不满足预设条件时，对第二深度图进行增殖，并对增殖后的深度图的像素进行深度赋值直至深度赋值后的深度图满足预设条件。当第二深度图T2不满足预设条件时，本实施例对第二深度图T2进行增殖，并按照上述方式对增殖后的深度图的像素进行深度赋值。当深度赋值后的深度图仍不满足预设条件时，重复增殖及深度赋值的过程，直至新生成的深度图满足预设条件。

上述实施例中，对所有子深度像素都进行赋值后，对子深度像素的深度值进行平滑处理，使得同一子深度像素群簇中的子深度像素的深度值呈平滑过渡，不同子深度像素群簇中的子深度像素的深度值呈突变过渡，从而使得生成的第二深度图中各子深度像素的深度值与场景更加相符。当第二深度图不满足预设条件，即分辨率小于预设值时，对第二深度图继续执行增殖、以及深度赋值的过程，使得最终生成的深度图满足预设条件。

请结合参看图9，其为本申请实施例提供的主控装置的结构示意图。主控装置30包括存储器31和处理器32。在本实施例中，存储器31用于存储提高深度图分辨率的计算机程序指令。处理器32用于执行提高深度图分辨率的计算机程序指令以实现如上所述的结合直接飞行时间测量和二维成像技术的3D深度成像方法。

其中，处理器32在一些实施例中可以是一中央处理器（Central ProcessingUnit, CPU）、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器31中存储的提高深度图分辨率的计算机程序指令。

存储器31至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器31在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器31在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器31还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器31不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现结合直接飞行时间测量和二维成像技术的3D深度成像方法的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

请结合参看图10，其为本申请实施例提供的3D成像设备的结构示意图。3D成像设备100包括飞行时间图像采集装置10、二维图像采集装置20、以及主控装置30。在本实施例中，主控装置30分别与飞行时间图像采集装置10和二维图像采集装置20电连接。可选地，飞行时间图像采集装置10例如为直接飞行时间（DTOF）图像采集装置。然，可变更地，在其它实施例中，飞行时间图像采集装置10也可为其它合适类型的图像采集装置，在此不做限定。其中，主控装置30的具体结构参照上述实施例。由于3D成像设备100采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

本说明书中描述的许多功能单元已经作为模块被标注，以便更具体地强调他们的独立实施。例如，模块可以作为硬件电路而被实施，其中所述硬件电路包括定制的超大规模集成(VLSI)电路或门电路阵列、现成的半导体，诸如逻辑芯片、晶体管、或其他分立元件。模块还可以在可编程的硬件设备内被实施，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等等。

模块也可以在软件中被实施以便被各种类型的处理器执行。识别的可执行代码的模块可以，例如，包括一个或多个计算机指令的物理或逻辑块，其中物理或逻辑块可以例如被作为对象、程序、或功能而被组织。然而，识别的模块的可执行文件不需要物理上位于一起，但是可以包括储存在不同位置的不同的指令，当逻辑上结合到一起时，其包括模块且实现模块的规定的目标。

可执行代码的模块可以是单一指令或许多指令，并且甚至可以分布于不同程序间的众多不同的代码段，且遍及许多存储设备。同样地，可操作的数据在本文模块内会被识别及示出，并且可以以任何适合的形式被体现，且被组织在任何适合类型的数据结构内。可操作的数据可以作为单一数据集而被收集，或可以被分布于不同位置，其包括分布于不同的存储设备，并且可以至少部分地仅作为系统或网络上的电子信号而存在。

本领域的技术人员将意识到在所要求发明的范围内，可以针对描述的示例实施例进行修改，并且意识到许多其他实施例也是有可能的。

以上所列举的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。