基于景深的背景虚化方法及装置和电子装置

摘要

本发明公开了一种基于景深的背景虚化方法，用于处理电子装置采集的场景数据，场景数据包括场景主图像。背景虚化方法包括：处理场景数据以获取场景主图像的图像深度信息；根据图像深度信息获得场景主图像的最前点；确定除与最前点邻接且深度连续变化的区域外的区域为背景部分；获取背景部分的背景深度信息；根据背景深度信息划分背景部分为至少一个虚化区域，每个虚化区域对应的深度范围的跨度与深度范围距离场景主图像的最前点的距离正相关；确定每个虚化区域的虚化程度，每个虚化区域的虚化程度与对应的深度正相关；虚化背景部分。本发明还公开了一种基于景深的背景虚化装置和电子装置。本发明可使图像的虚化效果更自然、更接近光学虚焦效果。

说明书

技术领域

本发明涉及图像处理技术，尤其涉及一种基于景深的背景虚化方法及装置和电子装置。

背景技术

现有的背景虚化技术效果不理想。

发明内容

本发明的实施例提供了一种基于景深的背景虚化方法、基于景深的背景虚化装置和电子装置。

本发明实施方式的基于景深的背景虚化方法，用于处理电子装置采集的场景数据。所述场景数据包括场景主图像，所述背景虚化方法包括以下步骤：

处理所述场景数据以获取所述场景主图像的图像深度信息；

根据所述图像深度信息获得所述场景主图像的最前点；

确定除与所述场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分；

获取所述背景部分的背景深度信息；

根据所述背景深度信息划分所述背景部分为至少一个虚化区域，每个所述虚化区域对应的深度范围的跨度与所述深度范围距离所述场景主图像的最前点的距离正相关；

确定每个所述虚化区域的虚化程度，每个所述虚化区域的虚化程度与对应的深度正相关；和

虚化所述背景部分。

本发明实施方式的基于景深的背景虚化装置，用于处理电子装置采集的场景数据。所述场景数据包括场景主图像，所述背景虚化装置包括处理模块、第一获取模块、第一确定模块、第二获取模块、划分模块、第二确定模块和虚化模块。所述处理模块用于处理所述场景数据以获取所述场景主图像的图像深度信息；所述第一获取模块用于根据所述图像深度信息获得所述场景主图像的最前点；所述第一确定模块用于确定除与所述场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分；所述第二获取模块用于获取所述背景部分的背景深度信息；所述划分模块用于根据所述背景深度信息划分所述背景部分为至少一个虚化区域，每个所述虚化区域对应的深度范围的跨度与所述深度范围距离所述场景主图像的最前点的距离正相关；所述第二确定模块用于确定每个所述虚化区域的虚化程度，每个所述虚化区域的虚化程度与对应的深度正相关；所述虚化模块用于虚化所述背景部分。

本发明实施方式的电子装置包括成像装置和上述的背景虚化装置。成像装置和背景虚化装置电连接。

本发明实施方式的基于景深的背景虚化方法、基于景深的背景虚化装置和电子装置基于深度信息识别图像的背景部分，并根据深度信息划分多个虚化区域，其中每个虚化区域对应的深度范围的跨度随虚化区域所处的深度位置的增加而增大，并根据深度信息对不同虚化区域进行不同程度的虚化，使得图像的虚化效果更加自然、更接近光学虚焦效果，提升用户的视觉感受。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的基于景深的背景虚化方法的流程示意图；

图2是本发明实施方式的电子装置的功能模块示意图；

图3是本发明某些实施方式的背景虚化方法的状态示意图；

图4是本发明某些实施方式的背景虚化方法的状态示意图；

图5是本发明某些实施方式的背景虚化方法的流程示意图；

图6是本发明某些实施方式的处理模块的功能模块示意图；

图7是本发明某些实施方式的背景虚化方法的流程示意图；

图8是本发明某些实施方式的处理模块的功能模块示意图；

图9是本发明某些实施方式的背景虚化方法的流程示意图；

图10是本发明某些实施方式的划分模块的功能模块示意图；

图11是本发明某些实施方式的背景虚化方法的状态示意图；

图12是本发明某些实施方式的背景虚化方法的流程示意图；

图13是本发明某些实施方式的划分模块的功能模块示意图；

图14是本发明某些实施方式的背景虚化方法的流程示意图；和

图15是本发明某些实施方式的虚化模块的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1至2，本发明实施方式的背景虚化方法，用于处理电子装置100采集的场景数据。场景数据包括场景主图像，背景虚化方法包括以下步骤：

S11：处理场景数据以获取场景主图像的图像深度信息；

S12：根据图像深度信息获得场景主图像的最前点；

S13：确定除与所场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分；

S14：获取背景部分的背景深度信息；

S15：根据背景深度信息划分背景部分为至少一个虚化区域，每个虚化区域对应的深度范围的跨度与深度范围距离场景主图像的最前点的距离正相关；

S16：确定每个虚化区域的虚化程度，每个虚化区域的虚化程度与对应的深度正相关；和

S17：虚化背景部分。

本发明实施方式的基于景深的背景虚化方法可由本发明实施方式的基于景深的背景虚化装置10实现。背景虚化装置10包括处理模块11、第一获取模块12、第一确定模块13、第二获取模块14、划分模块15、第二确定模块16、虚化模块17。步骤S11可以由处理模块11实现，步骤S12可以由第一获取模块12实现，步骤S13可以由第一确定模块13实现，步骤S14可以由第二获取模块14实现，步骤S15可以由划分模块15实现，步骤S16可以由第二确定模块16实现，步骤S17可以由虚化模块17实现。

也即是说，处理模块11用于处理场景数据以获取场景主图像的图像深度信息；第一获取模块12用于根据图像深度信息获得场景主图像的最前点；第一确定模块13用于确定除与所场景主图像的最前点邻接且深度连续变化的区域外的区域为背景部分；第二获取模块14用于获取背景部分的背景深度信息；划分模块15用于根据背景深度信息划分背景部分为至少一个虚化区域，每个虚化区域对应的深度范围的跨度与深度范围距离场景主图像的最前点的距离正相关；虚化模块17用于虚化背景部分。

本发明实施方式的基于景深的背景虚化装置10应用于本发明实施方式电子装置100。也即是说，本发明实施方式的电子装置100包括本发明实施方式的背景虚化装置10。当然，电子装置100还包括成像装置20。其中，背景虚化装置10和成像装置20电连接。

在某些实施方式中，电子装置100包括手机、平板电脑、笔记本电脑等，在此不作任何限制。在本发明的具体实施例中，电子装置100为手机。

可以理解，成像装置20拍摄的图像中，前景部分一般为用户主要关注的部分。本发明实施方式的背景虚化方法基于深度信息识别图像的背景部分，并根据深度信息划分多个虚化区域，其中每个虚化区域对应的深度范围的跨度随虚化区域所处的深度位置的增加而增大，并根据深度信息对不同虚化区域进行不同程度的虚化，使得图像的虚化效果更加自然、更接近光学虚焦效果，提升用户的视觉感受。

具体地，请一并参阅图3至4，先根据图像深度信息获得场景主图像的最前点，最前点相当于前景部分的开端，从最前点进行扩散，获取与最前点邻接并且深度连续变化的区域，这些区域和最前点归并为前景区域。图3所示场景主图像中人物的手臂处于场景主图像的最前端，最前点为场景中任务手臂上的某一点，从该点进行扩散，将与该点相邻接且深度连续变化的区域归并为前景部分，前景部分即为图中的人像。因此除人像外的区域即划分为背景部分。随后，将原始图像中的背景部分划分为两个部分，原始图像中第一背景部分的深度相较于第二背景部分的深度较小，且第一背景部分对应的深度范围的跨度小于第二背景部分对应的深度范围的跨度。对第一背景部分和第二背景部分分别就进行不同程度的虚化处理，第一背景部分的虚化程度小于第二背景部分的虚化程度，虚化后的图像虚化的效果自然过渡，接近光学虚焦的效果，突出图像中的人物部分，视觉感受较好。

需要说明的是，最前点指的是深度最小的人或物体对应的像素点，即物距最小或者离成像装置20最近的人或物体对应的像素点。邻接是指两个像素点连接在一起。深度连续变化时指邻接的两个像素点的深度差值小于预定差值，或者说深度之差小于预定差值的两个邻接的像素点的深度连续变化。

请参阅图5，在某些实施方式中，场景数据包括与场景主图像对应的深度图像，步骤S11处理场景数据以获取场景主图像的图像深度信息包括以下子步骤：

步骤S111：处理深度图像以获取场景主图像的深度数据；和

步骤S112：处理深度数据以得到图像深度信息。

请参阅图6，在某些实施方式中，处理模块11包括第一处理单元111和第二处理单元112。步骤S111可以由第一处理单元111实现，步骤S112可以由第二处理单元112实现。

也即是说，第一处理单元111用于处理深度图像以获取场景主图像的深度数据；第二处理单元112用于处理深度数据以得到所述图像深度信息。

可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为RGB彩色图像，深度图像包含当前场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，可以根据深度图像获取到场景主图像的图像深度信息。

在某些实施方式中，成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。

具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二位光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取图像深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的图像深度信息的精确度。

基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景的深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的图像深度信息。基于TOF深度测距的深度摄像头计算图像深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算图像深度信息，具有很高的实时性。

请参阅图7，在某些实施方式中，场景数据包括与场景主图像对应的场景副图像，步骤S111处理场景数据以获取场景主图像的图像深度信息包括以下子步骤：

S113：处理场景主图像和场景副图像以得到场景主图像的深度数据；和

S114：处理深度数据以得到图像深度信息。

请参阅图8，在某些实施方式中，处理模块11包括第三处理单元113和第四处理单元114。步骤S113可以由第三处理单元113实现，步骤S114可以由第四处理单元1114实现。

也即是说，第三处理单元113用于处理场景主图像和场景副图像以得到场景主图像的深度数据；第四处理子单元114用于处理深度数据以得到图像深度信息。

可以理解，深度信息可以通过双目立体视觉测距的方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像和场景副图像均为RGB彩色图像。双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差。最后采用基于三角测量的方法恢复深度信息。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得当前场景的图像深度信息。

在某些实施方式中，成像装置20包括主摄像头和副摄像头。

可以理解，采用双目立体视觉测距方法获取深度信息时，需利用两个摄像头进行成像。场景主图像可由主摄像头拍摄得到，场景副图像可由副摄像头拍摄得到。其中，主摄像头和副摄像头的规格相同。如此，根据主摄像头和副摄像头拍摄得到的立体图像对获取当前场景的图像深度信息。

请参阅图9，在某些实施方式中，步骤S15根据背景深度信息划分背景部分为至少一个虚化区域包括以下子步骤：

S151：寻找背景部分的最前点；

S152：从背景部分的最前点开始到远景点划分成不同的深度范围；和

S153：将背景部分属于同一深度范围的区域划分为同一虚化区域。

请参阅图10，在某些实施方式中，划分模块15包括寻找单元151、第一划分单元152和第二划分单元153。步骤S151可以由寻找单元151实现，步骤S152可以由第一划分单元152实现，步骤S153可以由第二划分单元153实现。

也即是说，寻找单元151用于寻找背景部分的最前点；第一划分单元152用于从背景部分的最前点开始到远景点划分成不同的设定深度范围；第二划分单元153用于将背景部分属于同一设定深度范围的区域划分为同一虚化区域。

如此，根据背景部分的深度将背景部分划分为多个虚化区域，每个虚化区域对应一个设定深度范围，以便对各个虚化区域进行不同程度的虚化操作。

需要说明的是，每个虚化区域对应的深度范围的跨度与每个虚化区域所处的深度位置相关。虚化区域所处的深度越深，虚化区域对应的深度范围的跨度越大。其中，与场景主图像的最前点距离最近的第一深度范围为第一虚化区域，紧接第一虚化区域后的虚化区域为第二虚化区域，第二虚化区域具有第二深度范围，紧接第二虚化区域后的虚化区域为第三虚化区域，第三虚化区域具有第三深度范围，以此类推。其中，第一深度范围的跨度小于第二深度范围的跨度，第二深度范围的跨度小于第三深度范围的跨度，以此类推。如此，距离背景部分的最前点越远的虚化区域的设定深度范围跨度越大，虚化处理后的图片的虚化效果越接近光学虚焦的效果，用户的视觉感受更佳。

具体地，请参阅图11，图中背景部分的最前点处于深度即物距为1米的位置，对应于图中人像后脑勺的位置。将物距为1米至3米的背景部分划分为第一虚化区域，第一虚化区域的第一深度范围的跨度为2米，此时第一虚化区域对应于图像中人像后脑勺位置至人像背后的树干位置(包含树干)的部分。将物距为3米至10米的背景部分划分为第二虚化区域，第二虚化区域的第二深度范围的跨度为7米，此时第二虚化区域对应于图像中人像背后的树干位置至马路右侧的小树林位置(包含小树林)的部分。对第一虚化区域和第二虚化区域进行不同程度的虚化处理后，从图中可以看出，树干部分的虚化程度小于小树林部分的虚化程度。虚化处理后的图像的虚化效果接近光学虚焦的效果，用户的视觉感受更佳。

请参阅图12，在某些实施方式中，步骤S152从背景部分的最前点开始到远景点划分成不同的深度范围包括以下子步骤：

S1521：将大于深度阈值的深度范围划分为远景深度范围。

请参阅图13，在某些实施方式中，第一划分单元152包括处理子单元1521。步骤S1521可以由处理子单元1521实现。

也即是说，处理子单元1521用于将大于深度阈值的深度范围划分为远景深度范围。

可以理解，当背景部分的深度大于某一深度阈值时，获得的大于深度阈值部分的背景部各个物体的深度信息的精度较小，且对该大于深度阈值部分的背景继续划分多个虚化区域后各个虚化区域的虚化程度差异不明显，如此将大于该深度阈值的背景部分划分为多个虚化区域的作用不大。因此，将大于该深度阈值的背景部分直接划分为远景深度范围，远景深度范围为一个虚化区域。

需要说明的是，深度阈值的取值范围为5米至15米。也即是说，深度阈值的值可为5米、6米、10米、15米等数值。

具体地，请再参阅图11，物距大于10米的部分即为远景深度范围的部分，将该部划分为第三虚化区域，也即是说，此时的深度阈值的值为10米。第三虚化区域对应于图像中小树林位置至远景点的部分。如此，从图中可以看出，小树林部分的虚化程度小于远景点位置的虚化程度。虚化处理后的图像的虚化效果自然过渡，接近光学虚焦的效果。

请参阅图14，在某些实施方式中，步骤S17虚化背景部分包括以下子步骤：

S171：根据虚化程度确定对应的虚化区域的高斯核；和

S172：根据高斯核虚化对应的虚化区域。

请参阅图15，在某些实施方式中，虚化模块17包括确定单元171和虚化单元172。步骤S171可以由确定单元171实现，步骤S172可以由虚化单元172实现。

也即是说，确定单元171用于根据虚化程度确定对应的虚化区域的高斯核；虚化单元172用于根据高斯核虚化对应的虚化区域。

如此，采用不同的高斯核对场景主图像的背景部分的各个虚化区域进行不同程度的虚化处理，提升图像的虚化效果。

具体地，图像虚化一般采用高斯核函数进行模糊处理，其中，高斯核可看作为权重矩阵，对每个像素采用不同的权重矩阵进行高斯模糊值得计算，即可得到不同的虚化效果。权重矩阵与高斯核函数的方差有关，方差越大，表示高斯核函数的径向作用范围越宽，平滑效果越好即模糊程度越高。计算每个像素的高斯模糊值时，将所要计算的像素作为中心像素，并采用权重矩阵对中心像素周边的像素点的像素值进行加权计算最终得到所要计算的像素的高斯模糊值。在本发明的具体实施例中，同一虚化区域采用相同的权重矩阵使得同一虚化区域具有相同的虚化效果。不同的虚化区域采用不同的权重矩阵，距离背景部分的前景点越远的虚化区域的权重矩阵对应的方差越小，虚化程度越高。

电子装置100还包括壳体、存储器、电路板和电源电路。其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路用于为电子装置100的各个电路或器件供电；存储器用于存储可执行程序代码；背景虚化装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的背景虚化方法。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。