首页> 中国专利> 人脸幻构方法和人脸幻构系统

人脸幻构方法和人脸幻构系统

摘要

本发明提出了一种人脸幻构方法和一种人脸幻构系统,其中,人脸幻构方法包括:获取低分辨率人脸图片;根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布;根据调整后的所述每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;将所述高分辨率图像块进行合并,得到高分辨率人脸图片。通过本发明的技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-04-07

    专利权的转移 IPC(主分类):G06T 3/40 专利号:ZL2015108315216 登记生效日:20230328 变更事项:专利权人 变更前权利人:北京大学 变更后权利人:北京大学 变更事项:地址 变更前权利人:100871 北京市海淀区颐和园路5号 变更后权利人:100871 北京市海淀区颐和园路5号 变更事项:专利权人 变更前权利人:新方正控股发展有限责任公司 北京北大方正电子有限公司 变更后权利人:

    专利申请权、专利权的转移

  • 2022-07-08

    专利权的转移 IPC(主分类):G06T 3/40 专利号:ZL2015108315216 登记生效日:20220627 变更事项:专利权人 变更前权利人:北京大学 变更后权利人:北京大学 变更事项:地址 变更前权利人:100871 北京市海淀区颐和园路5号 变更后权利人:100871 北京市海淀区颐和园路5号 变更事项:专利权人 变更前权利人:北大方正集团有限公司 北京北大方正电子有限公司 变更后权利人:新方正控股发展有限责任公司 北京北大方正电子有限公司

    专利申请权、专利权的转移

  • 2020-07-14

    授权

    授权

  • 2017-06-23

    实质审查的生效 IPC(主分类):G06T3/40 申请日:20151125

    实质审查的生效

  • 2017-05-31

    公开

    公开

说明书

技术领域

本发明涉及计算机技术领域,具体而言,涉及一种人脸幻构方法和一种人脸幻构系统。

背景技术

目前,人脸幻构是指对于输入的低分辨率人脸图像重建得到其对应的高分辨率人脸图像,从而提升人脸识别、人脸探测等基础应用的性能。为更好地利用对应低分辨率图像和高分辨率图像块的关系,研究人员将邻域嵌入的超分辨率方法运用在人脸幻构上并取得了良好的效果。基于低分辨率和高分辨率图像块对具有相同的局部几何特征和邻域关系的假设,可以事先分别训练对应的高低分辨率的字典,将输入的低分辨率图像用低分辨率字典中的图像块线性表示,然后将该系数与对应的高分辨率字典中的图像块相乘即可得到高分辨率的图像。

然而,这种人脸幻构方法没有考虑到训练集图片和输入的低分辨率图像的光照情况不匹配的问题,例如,低分辨率图像由于强光源而在人脸上有明显的高光和阴影分布,而训练集图片的光照情况比较柔和,由于不同光照情况下的高频信息不一致,在重建过程中很难在训练集图片中找到高度相似的图像块,导致高分辨率重建的结果退化。

因此需要一种新的技术方案,可以提升重建高分辨率人脸图片的准确性。

发明内容

本发明正是基于上述问题,提出了一种新的技术方案,可以提升重建高分辨率人脸图片的准确性。

有鉴于此,本发明的一方面提出了一种人脸幻构方法,包括:获取低分辨率人脸图片;根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布;根据调整后的所述每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;将所述高分辨率图像块进行合并,得到高分辨率人脸图片。

在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

在上述技术方案中,优选地,在所述调整训练集中的每幅训练集图片的光照分布和细节分布之前,还包括:调整所述低分辨率人脸图片的人脸尺寸,使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符;以及通过人脸探测功能和特征标记功能,为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域;通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。

在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后,还包括:通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射,以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。

在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(ScaleInvariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,所述根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布,具体包括:将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层;对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理;以及用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层,得到调节光照分布后的每幅训练集图片。

在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,所述通过邻域嵌入方法建立高分辨率图像块,具体包括:根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数;在高分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率图像块。

在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确性。

本发明的另一方面提出了一种人脸幻构系统,包括:获取单元,获取低分辨率人脸图片;训练集图片调整单元,根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布;图像块建立单元,根据调整后的所述每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;图像块合并单元,将所述高分辨率图像块进行合并,得到高分辨率人脸图片。

在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

在上述技术方案中,优选地,还包括:人脸尺寸调整单元,在所述调整训练集中的每幅训练集图片的光照分布和细节分布之前,调整所述低分辨率人脸图片的人脸尺寸,使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符;区域划分单元,通过人脸探测功能和特征标记功能,为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域;区域对齐单元,通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。

在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,还包括:像素对齐单元,在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后,通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射,以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。

在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(ScaleInvariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,所述训练集图片调整单元包括:分层单元,将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层;细节层调整单元,对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理;以及光照层调整单元,用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层,得到调节光照分布后的每幅训练集图片。

在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,所述图像块建立单元包括:系数计算单元,根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数;图像块表出单元,在高分辨率空间中使用所述高分辨率表出系数线性表出所述高分辨率图像块。

在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确性。

通过以上技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

附图说明

图1示出了根据本发明的一个实施例的人脸幻构方法的流程图;

图2示出了根据本发明的一个实施例的人脸幻构系统的框图;

图3示出了根据本发明的另一个实施例的人脸幻构方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的一个实施例的人脸幻构方法的流程图。

如图1所示,根据本发明的一个实施例的人脸幻构方法,包括:

步骤102,获取低分辨率人脸图片;

步骤104,根据所述低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布;

步骤106,根据调整后的所述每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;

步骤108,将所述高分辨率图像块进行合并,得到高分辨率人脸图片。

在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

在上述技术方案中,优选地,在步骤104之前,还包括:调整所述低分辨率人脸图片的人脸尺寸,使所述低分辨率人脸图片的人脸尺寸与所述每幅训练集图片的人脸尺寸相符;以及通过人脸探测功能和特征标记功能,为所述低分辨率人脸图片和所述每幅训练集图片划分五官区域;通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐。

在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,在所述通过仿射变换将所述低分辨率人脸图片与所述每幅训练集图片的五官区域对齐之后,还包括:通过SIFT流为所述每幅训练集图片的每个像素与所述低分辨率人脸图片的每一个像素建立稠密映射,以根据所述稠密映射调整所述低分辨率人脸图片的每一个像素的位置。

在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(ScaleInvariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,步骤104具体包括:将所述低分辨率人脸图片和所述每幅训练集图片分解为细节层和光照层;对所述低分辨率人脸图片和所述每幅训练集图片的细节层进行能量分布处理;以及用所述低分辨率人脸图片的光照层替换所述每幅训练集图片的光照层,得到调节光照分布后的每幅训练集图片。

在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,步骤106具体包括:根据所述低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数;在高分辨率空间中使用所述高分辨率表出系数线性表示所述高分辨率图像块。

在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确性。

图2示出了根据本发明的一个实施例的人脸幻构系统的框图。

如图2所示,根据本发明的一个实施例的人脸幻构系统200,包括:获取单元202、训练集图片调整单元204、图像块建立单元206和图像块合并单元208。

其中,获取单元202用于获取低分辨率人脸图片;训练集图片调整单元204用于根据低分辨率人脸图片的光照分布和细节分布,调整训练集中的每幅训练集图片的光照分布和细节分布;图像块建立单元206用于根据调整后的每幅训练集图片,通过邻域嵌入方法建立高分辨率图像块;图像块合并单元208用于将高分辨率图像块进行合并,得到高分辨率人脸图片。

在该技术方案中,获取低分辨率人脸图片后,可以根据其光照分布和细节分布,调整每幅训练集图片的光照分布和细节分布,使每幅训练集图片的光照分布与低分辨率人脸图片的光照分布相同或相近,并使每幅训练集图片的细节分布与低分辨率人脸图片的细节分布相适应,这样,就将低分辨率人脸图片与每幅训练集图片放置在了同等光照和细节条件下,即可使用邻域嵌入方法建立高分辨率图像块,以合并得到高分辨率人脸图片。通过该技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

在上述技术方案中,优选地,还包括:人脸尺寸调整单元210、区域划分单元212和区域对齐单元214。

其中,人脸尺寸调整单元210用于在调整训练集中的每幅训练集图片的光照分布和细节分布之前,调整低分辨率人脸图片的人脸尺寸,使低分辨率人脸图片的人脸尺寸与每幅训练集图片的人脸尺寸相符;区域划分单元212用于通过人脸探测功能和特征标记功能,为低分辨率人脸图片和每幅训练集图片划分五官区域;区域对齐单元214用于通过仿射变换将低分辨率人脸图片与每幅训练集图片的五官区域对齐。

在该技术方案中,首先调整低分辨率人脸图片的大小,使其和训练集图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分区域,并利用仿射变换可以将人脸的嘴部和眼部大致对齐。这一方案是在假设训练集图片和低分辨率人脸图片中的人脸有相似的表情和姿态的基础上进行的。通过调整大小、对齐图片,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,还包括:像素对齐单元216,用于在通过仿射变换将低分辨率人脸图片与每幅训练集图片的五官区域对齐之后,通过SIFT流为每幅训练集图片的每个像素与低分辨率人脸图片的每一个像素建立稠密映射,以根据稠密映射调整低分辨率人脸图片的每一个像素的位置。

在该技术方案中,为了得到更加精确的对齐结果,采用SIFT(ScaleInvariant Feature Transform,尺度不变特征变幻)流将训练集图片的每一个像素和低分辨率人脸图片的每一个像素建立稠密映射,低分辨率人脸图片的像素位置可根据这一映射关系调整,从而将其图片内的低分辨率人脸和训练集图片内的人脸精确对齐,便于进一步进行光照和细节条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,训练集图片调整单元204包括:分层单元2042、细节层调整单元2044和光照层调整单元2046。

其中,分层单元2042用于将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层;细节层调整单元2044用于对低分辨率人脸图片和每幅训练集图片的细节层进行能量分布处理;以及光照层调整单元2046用于用低分辨率人脸图片的光照层替换每幅训练集图片的光照层,得到调节光照分布后的每幅训练集图片。

在该技术方案中,可以将低分辨率人脸图片和每幅训练集图片分解为细节层和光照层,再使用低分辨率人脸图片的光照层代替每幅训练集图片的光照层,即可认为低分辨率人脸图片和每幅训练集图片具有相同的光照条件,提升了重建高分辨率人脸图片的准确性。

在上述任一技术方案中,优选地,图像块建立单元206包括:系数计算单元2062和图像块表出单元2064。

其中,系数计算单元2062用于根据低分辨率人脸图片的任一图像块的线性表出系数计算高分辨率表出系数;图像块表出单元2064用于在高分辨率空间中使用高分辨率表出系数线性表出高分辨率图像块。

在该技术方案中,利用邻域嵌入方法重建高分辨率图像块,可使用非局部相似性对重建系数进行约束,从而提升重建高分辨率人脸图片的准确性。

图3示出了根据本发明的另一个实施例的人脸幻构方法的流程图。

如图3所示,根据本发明的另一个实施例的人脸幻构方法,包括:

步骤302,输入低分辨率图片和训练集图片序列。

步骤304,将低分辨率图片和训练集图片人脸对齐。

首先,认定训练集图片和低分辨率图片中的人脸有相似的表情和姿态。这样,将输入的低分辨率图片上插,使其和训练集图片具有相同尺寸,通过人脸探测和特征标记,根据五官对每个人脸划分区域,利用仿射变换可以将人脸的嘴部和眼部大致对齐。为了得到更加精确的对齐结果,可采用SIFT流将训练集图片的每一个像素和输入的低分辨率图片的每一个像素建立稠密映射,输入的低分辨率图片的像素位置可根据这一映射关系调整从而将输入的低分辨率人脸和训练集人脸精确对齐,并将这一对齐过程定义为函数M。

步骤306,将低分辨率图片和训练集图片分解为细节层和光照层。

具体来说,以训练集图片Yt为例,使用下式进行光照分离:

其中,l=1时Sl[Yt]为图片Yt减去光照层,即Yt-YtG(σ)为细节层,保留了图像的原始特征和细节部分,为细节层,l=2时YtG(σ)为光照层,主要体现了图片的光照分布。相似地,输入的低分辨率图片Xt也可以用相同的方法分解。

步骤308,根据低分辨率图片的细节层能量分布调整训练集图片的细节层,并将训练集图片的光照层替换为对齐后的低分辨率图片的光照层。

具体来说,对训练集图片的两层采取不同的方法处理。

对于细节层,应用能力计算公式计算下式得到训练集图片Yt的细节层能量图E1[Yt]:

为了使训练集图片的能量分布和输入的低分辨率图片相似,对Yt的细节层进行以下变换,作为处理后图像O的细节层:

其中,M为在步骤304中定义的对齐操作函数,ε为常数。为了补偿训练集图片的光照总量,直接使用对齐后的低分辨率图片的光照层作为处理后图片O的光照层,即:

S2[O]=M(S2[Xt])

最终经过光照调整的训练集图片O由下式可得:

O=Sl[O]+S2[O]

步骤310,合并处理后的光照层和细节层,扩充训练集。

步骤312,利用非局部相似性使用邻域嵌入方法重建高分辨率图像块。

具体来说,邻域嵌入方法是建立在认定低分辨率图片和高分辨率图像块对有相同的几何特征的基础上的,高分辨率图像块可以在高分辨率空间中用在低分辨率空间中估计出的系数线性表出。相似的图像块应该有相似的线性表出方式,根据这一特点,可约束高分辨率图像块的线性表出系数,从而提高求解系数的精确性。对于低分辨率输入图片Xt中的图像块xt,首先利用非局部相似性对图像块xt的线性表出系数α做出估计β。

其估计方法如下:在Xt中通过k-NN算法搜寻Xt的非局部相似块(包括xt)构成集合,集合Ω中所有图像块的最近邻构成集合将该集合中出现频率最高的K个图像块构成集合Nl,使用Nl线性表出Ω中的每个图像块其系数αi可以利用的关系计算得到。

由此对α做出估计β:

其中,wi是归一化后的权重,其数值取决于xt的距离,W为归一化因子,h为一常数。另外,系数α可利用的关系计算得到。

最后,再利用低分辨率最近邻Nl在训练集中对应的高分辨率最近邻Nh,得到重建后的高分辨率图像块Yt:

Yt=Nhα

步骤314,输出高分辨率图片,即合并所有重建后的图像块,得到高分辨率图像Y。

综上,本发明提出了一种光照适应的基于邻域嵌入的人脸幻构方法,主要针对输入的低分辨率图片和训练集图片光照条件不一致的情况,算法主要由三个步骤组成。首先,考虑到光源引起的高光和阴影在人脸上的不同分布,训练集的人脸需要利用SIFT流和输入的低分辨率图片中的人脸建立稠密映射,从而将人脸精确对齐。然后,通过对训练集中的人脸分为细节层和光照层,

根据输入人脸的光照情况分别对训练集人脸的两层采取不同处理,使训练集中人脸的光照情况和输入的低分辨率图片中人脸的光照情况一致。最后,利用邻域嵌入的方法重建高分辨率图像块,并用非局部相似性对重建系数进行约束。具体地,本发明在邻域嵌入的框架基础上,考虑到训练集和输入的低分辨率图片光照情况不一致的情形,通过对训练集和输入图片光照分离,将输入的低分辨率图片的人脸的光照分布迁移到训练集图片的人脸上,并且保留原始的训练集图片的人脸特征,从而将原始训练集扩充。

以上结合附图详细说明了本发明的技术方案,通过本发明的技术方案,实现了一种光照适应的人脸幻构方法,使低分辨率人脸图片与每幅训练集图片光照一致,从而达到高频信息一致,便于进行高分辨率重建,提升了重建高分辨率人脸图片的准确性。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号