法律状态公告日
法律状态信息
法律状态
2022-03-08
实质审查的生效 IPC(主分类):G06T 3/40 专利申请号:2020107578728 申请日:20200731
实质审查的生效
技术领域
本发明涉及图像超分辨率技术领域，尤其涉及一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。
背景技术
人脸超分辨率重建技术将输入的低分辨率图像修复为高分辨率图像。即利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术。它在智能视频监控、数字娱乐、人脸合成与识别等领域具有广泛的应用背景，可以有效增强低质量图像的分辨率。
随着机器学习在计算机视觉中的成功应用，近年来,学者们提出了大量的基于学习的人脸超分辨率方法。这类方法根据高低分辨率图像构成的训练集这一先验信息,输入一张低分辨率的人脸图像,就可以超分辨率重建出一张高分辨率的人脸图像。Ma等人在相关文献中首次提出一种基于位置图像块的超分辨率方法,利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块进行最小二乘表示来获得最优权重。有专利进一步改善了基于位置块的人脸超分辨率重建方法，还有文献在基于位置块的人脸超分辨率基础上，引入Tikhonov约束降低噪声对于重建的影响(TRNR)，获得了较好的效果。最近还有文献中提出一种错误收缩的方法对混合噪声(高斯噪声与椒盐噪声)情形下的人脸超分辨性能有一定的效果(ESSNR)。
现有技术中，大部分方法均是针对无噪声、单一噪声、低强度混合噪声图像的超分辨率重建，且重建引起的误差均使用简单的高斯分布来拟合。但在实际监控场景中,人脸图像往往不可避免的被高强度混合噪声所影响，此时，重建引起的误差不再服从简单的高斯分布。
发明内容
针对以上问题，本发明提出一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。
为实现本发明的目的，提供一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括如下步骤：
步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。
在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
在一个实施例中，将低分辨率人脸图像I
上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。
附图说明
图1是一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图；
图2是另一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参考图1所示，图1为一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图，包括如下步骤：
步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。
在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
在一个实施例中，将低分辨率人脸图像
在一个示例中，为了表述的简洁性，后续的x
上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。
在一个实施例中，步骤2中所述的对每一个位置处的图像块迭代更新获得最优权值系数，按如下步骤进行：
步骤2.1令外循环迭代次数τ＝0，以及内循环迭代次数k＝0，输入初始化的加权矩阵W
其中，diag(c
步骤2.2 k＝k+1判断是否当前迭代次数k＝maxK,maxK为预设迭代次数。若是，则输出所得的权值，记为c
步骤2.3根据权值系数c
x
步骤2.4更新加权矩阵
其中，
步骤2.5τ＝τ+1判断是否当前迭代次数τ＝maxτ,maxτ为预设迭代次数。若是，则输出所得的权值，记为c
在一个实施例中，步骤3中，用步骤2所得权重系数加权合成高分辨率人脸图像块,采用如下公式计算获得
y
其中,c
在一个实施例中，上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法也可以参考图2所示，具体步骤为：
步骤1，输入低分辨率人脸图像,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块。
低分辨率训练集中包含低分辨率人脸样本图像,高分辨率训练集中包含高分辨率人脸样本图像，低分辨率训练集和高分辨率训练集提供预先设定的训练样本对。低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个高分辨率人脸样本图像提取。实施例中,所有高分辨率的图像像素大小为120×100，所有低分辨率的图像像素大小为30×25。低分辨率人脸样本图像是高分辨率人脸样本图像通过Bicubic下采样四倍，并引入不同强度的混合噪声形成的结果。
本实施例中,将低分辨率人脸图像I
本发明对图像划分相互重叠的图像块采用一致的方式，即每个图像划分的A和B数值相同。具体划分方式可参见专利1。
步骤2、对每一个位置处的图像块x
步骤2.1、令外循环迭代次数τ＝0,以及内循环迭代次数k＝0,输入初始化的加权矩阵W
其中diag(c
步骤2.2、k＝k+1,判断内循环当前迭代次数是否k＝maxK,maxK为预设迭代次数，建议设为2。若是，则输出步骤2.1所得的权值，记为c
步骤2.3根据权值系数c
x
步骤2.4更新加权矩阵
其中，
步骤2.5τ＝τ+1判断外循环当前迭代次数是否τ＝maxτ,maxτ为预设迭代次数，建议设为2。若是，则输出步骤2.2所得的权值，记为c
步骤3，用步骤2所得权重系数加权合成高分辨率人脸图像块,采用如下公式计算获得
y
其中，c
为了验证本发明的有效性，采用FEI人脸数据库进行实验，选用所有200个个体的400张正面、预对齐的人脸图像。原始的高分辨率人脸图像为120×100像素。低分辨率人脸图像由高分辨率人脸图像4倍下采样后得到。随机选择张作为训练样本，将剩余360张作为测试图像。
实验采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)，来衡量对比算法的优劣,SSIM则是衡量两幅图相似度的指标，其值越接近于1，说明图像重建的效果越好。比较以上方法对全部张测试图像处理获得的平均PSNR和SSIM值，详见表1。从表中可以看出，本发明方法比对比方法中最好的算法的PSNR值和SSIM值大部分情况下均有不同程度的提高。
表1本发明方法和现有方法在不同噪声强度下的PSNR和SSIM值比较
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
