超分辨率重建

摘要： 传统的卷积稀疏编码超分辨率方法在特征空间转换时仅引入线性投影关系,且在特征图的学习中未能考虑局部细节信息,使重建结果在边缘和细节方面不尽如人意.为此,将卷积稀疏编码理论引入遥感影像的超分辨重建框架中,提出一种多尺度半耦合卷积稀疏编码的超分辨率重建方法.首先对输入影像进行多尺度分解,提取出平滑分量和多个尺度的纹理分量,并对最终的平滑分量进行双三次插值重建;然后将每个尺度的纹理分量进行半耦合卷积稀疏编码重建,利用非线性卷积算子作为每个尺度下纹理分量的高分辨率特征图与低分辨率特征图之间的投影函数,并在特征图的学习中引入非局部自相似性结构进行约束优化,从而更好地重建出每个尺度下的纹理分量;最后将重建后的平滑分量和每个尺度下的纹理分量进行叠加,获得最终的重建影像.以4种不同传感器的遥感影像作为实验影像,与几种先进的超分辨率重建方法对比的实验结果表明,所提方法获得的重建影像在定量分析指数PSNR和FSIM方面均优于其他方法,表现出更为清晰的边界和细节信息,且具有一定的抗噪性能.

摘要： 针对太阳能电池板隐裂缺陷在进行光学检测时存在的特征不明显问题,以及小样本导致的训练不充分问题,提出了基于元迁移的太阳能电池板缺陷图像超分辨率重建方法,采用联合训练方法,利用内部图像和外部大规模图像信息分别作为不同阶段的训练数据。首先将引入的大量数据用于模型的初步训练,学习外部大规模数据的公共特征,然后通过元学习模型MAML进行多任务训练,为快速适应小样本无监督任务寻找一个适合图像内部学习的初始参数,提高模型的泛化能力,最后将预训练参数迁移至改进的ZSSR中进行自监督学习。在DIV2K、Set5、BSD100和太阳能电池板电致发光成像数据集上进行训练,实验结果表明,与传统的CARN,RCAN,IKC,ZSSR方法相比,该方法具有更高的峰值信噪比,最高达到36.66,参数量更小,相比ZSSR降低了70000,图像重建时间更短,相比CARN降低了0.51s,具有更好的重建效果,更高的重建效率。

摘要： 针对图像采集设备和地质环境等因素导致的岩石显微图像普遍存在分辨率低,图像细节不清晰等问题,本文基于SRGAN和自注意力机制,对生成网络和判别网络进行调整,并在损失函数中结合岩石显微图像的孔隙度特征,提出一种岩石显微图像超分辨率重建算法。在4倍放大因子下,通过实验对岩石显微图像数据集DRSRD1_2D进行了测试。结果表明,本文所提算法在重建图像的峰值信噪比(PSNR)指标方面有显著改善。与SRGAN算法相比,在运行相同轮数的情况下,重建结果的边缘细节更清晰且亮度信息更准确,能更好地表达图像的高频特征。

摘要： 针对常规图像超分辨率重建方法应用于低照度环境下的图像时存在纹理信息丢失、颜色偏移失真和重建性能退化等问题,提出了一种颜色恢复和边缘保持的低照度图像超分辨率重建方法。在锚定邻域回归(ANR)的图像超分辨率重建方法基础上引入颜色恢复和边缘保持的照度增强函数,从而提高图像内容和边缘纹理的显著性;选择最小加权二乘滤波作为中心环绕函数(WLS)以抑制高频特征退化;同时针对YCbCr颜色空间的Y通道分量采用边缘保持的照度增强函数计算其反射分量,进一步增强边缘纹理特征。实验结果表明,所提方法获得了更好的视觉效果,相比于其他方法,该方法峰值信噪比(PSNR)提高了63.15%、结构相似度(SSIM)提高了46.86%、感知质量(PI)提高了4.12%。

摘要： 在遥感图像超分辨率重建领域,大部分数据集缺少成对的图像用于训练,当前的方法主要是通过双三次插值的方式来获取低分辨率图像,因退化模型过于理想化导致在处理真实低分辨率遥感图像时效果较差,基于此,文中提出了一种自然场景下真实遥感图像的超分辨率重建算法。针对缺少成对图像的数据集的问题,构建了一种更合理的退化模型,将成像过程中的退化先验知识(如模糊、噪声、降采样等)随机混洗,以模拟自然场景下低分辨遥感图像的生成过程,生成逼真的低分辨率图像用于训练;同时,改进了一种基于生成对抗网络的超分辨率重建算法,在生成网络中引入注意力机制,以增强遥感图像纹理细节。在UC Merced数据集上,所提方法的PSNR/SSIM较ESRGAN和RCAN分别提升了1.407 1 dB/0.067 2,0.821 1 dB/0.023 5;在真实遥感数据集Alsat2B上,所提方法在3种地形上的平均PSNR/SSIM较基线模型提升了1.758 4 dB/0.048 5,重建图像视觉效果也优于基线模型,从而验证了退化模型和重建模型的有效性。

摘要： 针对红外图像空间分辨率低、成像效果不好的问题,提出了一种基于对偶循环结构和注意力机制的红外图像超分辨率重建方法。对偶循环结构的引入能够更好地约束LR到HR的映射,通过引入融合了多维度的注意力机制CBAM,让网络在不显著提高计算量与参数的情况下取得了细节更丰富的重建效果。通过在真实红外数据集上与现有的典型方法进行比较,所提方法在显著降低了模型的参数量的情况下取得了不错的重建效果。

摘要： 超分辨率重建可以从低分辨率图像序列中重建出高分辨率图像,提高图像质量。重建出边缘保持且噪声低的高分辨率图像,仍具有挑战。针对此问题,在L_(1)先验模型中添加图像梯度的L_(0)范数作为先验知识,提出联合L_(1)和L_(0)先验模型的超分辨率重建算法,既保留L_(1)先验模型边缘保持的优点,又保留L_(0)先验模型抑制噪声的优点。将该算法与双三次插值、Total Variation(TV)先验模型和L_(1)先验模型作对比,通过仿真实验数据和真实实验数据的分析,验证本文算法的有效性。

摘要： 红外图像普遍存在分辨率低、细节模糊和视觉效果差的问题,使其难于直接应用在PCB故障诊断系统中。针对这一问题,本文提出了一种可充分利用红外图像层次特征的混合残差密集网络超分辨率重建算法。首先,使用卷积神经网络提取原始低分辨率图像的浅层特征信息;其次,设计多路径混合残差密集连接块,进一步提取更丰富的深层特征信息;最后,引入全局特征融合与残差学习自适应的学习并整合全局特征信息,应用转置卷积上采样完成红外图像的超分辨率重建。实验结果表明,本文算法能够有效提高重建后红外图像分辨率,使细节信息得到改善、视觉效果得到提升。基于公共/自建数据集得到的重建后图像峰值信噪比和结构相似性指标分别达到42.17 dB/39.32 dB和0.9503/0.9466,优于文中列举的双三次内插法、SRCNN和ESPCN模型,重建性能得到明显提高。

摘要： 针对目前基于深度学习的超分辨率算法特征提取较为单一、结构复杂且参数庞大的问题,提出了一种基于多层次特征提取的轻量级超分辨率重建算法。该算法采用了多层次特征提取的方式,首先提取图像的浅层特征;其次,使用包含多个并行卷积的深层特征提取模块提取图像的深层特征。设计了一种带学习权重的多尺度特征融合重建模块,以充分利用提取出的多层次信息重建图像。实验结果表明,其重建图像的峰值信噪比和结构相似性在多数情况下领先于目前主流算法;与对比算法相比,在参数量和运算时间上均保持领先,证明了网络的轻量化特性。

摘要： 岩石显微图像包含着油气藏分布信息,清晰的岩石显微图像能够提供更多的岩石物理特性信息。实际应用中,岩石显微图像往往存在分辨率低,图像细节不清晰的问题。文章将基于深度学习的卷积神经网络模型应用到岩石图像的超分辨率处理。目前大部分单幅图像超分辨率重建算法将低分辨率图像假设为由高分辨率图像双三次下采样得到,忽略了模糊核这一影响图像退化的关键因素,当实际退化与假设不符时,重建效果就会很差。针对这一问题文章提出了基于模糊核残差网络的单幅图像超分辨率算法。实验结果表明文章提出的算法在岩石图像重建效果上有所提高。

摘要： 智慧城市是当前研究的热点,平安城市建设中获取的海量视频数据为智慧城市提供决策信息来源,但是目前对这些视频数据挖掘还远远不够,在提高视频的图像质量方面还有很多工作要做.本文以此需求为契机,通过分析视频图像的成像机理和工作特点,针对图像中的兴趣点进行决状分割,提出一种BTM-MEM的运动估计方法,通过软件的方法从若干幅连续视频图像序列中重建一幅高分辨率的图像.同时结合公安刑事侦查案件等特殊领域的应用,利用其所具有的丰富数据来源和场景回现的先天优势,采用本文所提出的方法进行视频图像的超分辨率重建处理.通过实验证明,这种方法无论是从主观上还是从客观上,都较传统的方法有明显改善和提高,并可以达到实用的目的.

摘要： 针对模糊退化模型(PSF)未知的图像超分辨率重建问题,提出一种以学习重建结果为参考的模糊图像PSF辨识与重建方法.对学习重建算法获得的退化图像的恢复结果,采用不同尺度的方向滤波提取恢复效果良好的强边缘区域构建参考信息块,引导最大后验概率框架下的超分辨率重构算法按照正确的PSF重构高分辨率图像.以散焦模糊图像为例进行实验,实验结果表明,该算法对散焦型PSF的辨识较为准确,重建质量较好.

摘要： 针对传统序列图像重建方法中重建效果很大程度上受序列图像帧数制约,以及在重建过程中能够使用的先验知识太少的问题,提出一种基于稀疏表示的序列图像超分辨率重建方法.该方法在序列图像下利用稀疏表示进行字典学习,不仅很好地引入先验知识,而且降低了序列图像帧数对重建性能的影响.与传统的重建方法相比,该方法改善了重建图像的分辨率水平,在较少帧数的序列图像上的实验验证了算法的有效性和鲁棒性.

摘要： 图像超分辨率重建是从一系列分辨率较低的图像来重建图像空间分辨率更高图像的算法。从统计学角度出发，将MAP算法引入超分辨率重建，利用Huber-Markov随机场模型为先验限制模型，建立目标函数，用梯度下降法解目标函数。对仿真结果进行分析比较。

摘要： 超分辨率重建技术（SR）就是利用低分辨率图像序列来重建高分辨率图像，关于H.264 压缩视频的SR 重建算法是当前研究的前沿。本文首先基于压缩视频的降质模型，分析了H.264 标准中的DCT 变换和量化过程、以及基于量化集噪声模型(QCS)的POCS 重建算法。之后，根据DCT 系数块的活动性，提出一种新的基于窄量化噪声约束集(NQCS)的重建算法。仿真结果表明：该方法运算复杂度低，比传统QCS 方法重建图像的PSNR 值有明显的提高。适合H.264 压缩视频超分辨率重建应用。

摘要： TOF(Time of Flight)相机具有同时获取目标的灰度和深度图像的功能,从而能够实得到目标物体的三维点云,实现三维成像.在卫星导航与宇宙空间探测的研究中,利用TOF相机获得深度图像来进行工作也是当下的一个热门研究方向.但是目前用TOF相机所获得的深度图像仍然存在许多问题,例如图像易受噪声干扰,存在许多误差,使得深度图像中存在噪声黑洞;TOF相机获得的深度图像分辨率较低,不便于直接应用到实验研究等等,这些问题严重影响了TOF相机的实际应用.因此,对于TOF相机而言,如何对获得的深度图像进行增强是一个关键的研究方向.本文对TOF相机深度图像的增强技术算法进行研究,对不同思路的算法进行归类总结,并分析其原理和效果,增强算法主要可以分为深度图像修复与深度图像的超分辨率重建两大类.最后总结TOF深度图像增强算法并展望了未来发展趋势.

摘要： 超分辨率影像重建(Super Resolution Image Reconstruction)技术是一种使用多幅低分辨率影像进行融合及信息互补形成更高分辨率影像的图像处理技术.三线阵遥感卫星在相近时间获取同一拍摄区域不同角度影像,可以利用这些互补信息形成信息量更丰富的重建影像.这对于中国首颗民用高分辨率三线阵立体测图卫星资源三号,运用超分辨率影像重建技术改善影像分辨率与图像质量,提升该卫星影像的可用性具有较大的现实意义.本文探讨一种使用运动偏移计算和鲁棒超分辨率技术对资源三号三线阵影像进行处理的方法.结果表明,本研究提出的方法可以显著提高资源三号三线阵影像超分辨率,同时改善影像图像质量.

摘要： 由于传统的正则化方法中正则化参数是固定的,导致重建图像不能很好的保留图像边缘和纹理等细节的信息.针对这些缺点本文提出了一种基于L1范数的BTV自适应正则化图像超分辨率算法,通过变化的正则化参数来控制目标函数中数据保真项和正则项的比重.实验结果表明,与传统的重建方法相比本文的方法能够自适应的确定正则化参数,找到最优解,并在边缘和纹理等细节区域体现了更好的重建效果.

摘要： 利用超分辨率重建技术进行不同空间分辨率图像匹配.利用高分辨率图像信息对低分辨率图像进行超分辨率重建.采用基于canny边缘点特征的图像匹配方法,试验表明超分辨率后图像配准误差减小。

摘要： 针对传统凸集投影（POCS）超分辨率图像序列重建算法使用高斯滤波器来估计点扩散函数（PSF）导致边缘模糊的现象，本文采用双边滤波器来估计PSF，双边滤波方法是将高斯函数和图像亮度信息相乘，优化后的权系数再与图像作卷积，使重建后的图像边缘得到很好保持。运动估计是POCS超分辨率图像序列重建算法的关键技术, 本文选择结合图像金字塔的光流估计对图像序列进行配准，得到更加精确的估计结果。实验表明，可以使重建图像取得良好的视觉效果。

摘要： 本发明利用将与TV影像的劣化程度相应地特定出的PSF的亮度分布、由TV影像的Y(亮度)成分构成的劣化图像的亮度分布及复原图像初始值的推定亮度分布作为输入信息来多次执行基于Bayse概率论的基于实数的迭代运算的、基于软件或硬件的PSF复原单元及图像复原单元，来求出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布，并将其替换在提取了劣化图像的亮度分布时的TV影像的Y成分，由此接近实时地提供与劣化前的状态近似的TV影像，从而解决上述课题。

摘要： 本发明的课题在于，提供解决接近实时地减少TV影像的1帧内的光学劣化以复原成劣化前的原图像的装置的规模为150万逻辑门这种大规模的问题的方法及装置。本发明为在如下的图像复原单元中通过进行2次迭代运算来接近实时地提供与劣化前的原图像近似的TV影像的方法以及7万逻辑门规模的装置：将TV影像的1帧作为劣化图像的亮度分布及复原图像初始值的推定亮度分布，将与劣化图像的劣化程度相应地特定出的第一PSF的亮度分布用于第一次迭代运算，将通过图像复原单元复原第一PSF的亮度分布而得到的第二PSF的亮度分布用于第二次迭代运算，一边将由第一次迭代运算得到的复原图像的推定亮度分布作为第二次复原图像初始值的推定亮度分布，一边通过基于Bayse概率论的实数运算，求出劣化图像的亮度分布的最大似然的复原图像的推定亮度分布。

摘要： 本发明涉及基于超分辨率重建技术的低分辨率人脸图像的重建方法，属于图像处理领域，本发明包括：对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像；再通过生成训练集，对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本，通过LLE学习得到最终重建出的高分辨率图像。本发明采用的人脸图像的归一化方法不仅准确，而且和训练集的归一化方法一致，提升了低分辨率人脸图像的准确性。再采用基于低频分量的超分辨率人脸图像的重建方法，制作出低分辨率人脸图像的大尺寸重建像，较好地解决了低分辨率人脸图像的重建难题。

摘要： 本发明公开了基于超分辨率风格迁移网络的遥感影像超分辨率重建方法，包括以下步骤：构建超分辨率风格迁移网络模型；所述超分辨率风格迁移网络模型包括生成部分和判别部分；所述生成部分由超分辨率重建网络SSR和U‑net网络连接而成；利用训练集交替训练所述生成部分和判别部分，得到训练完成的超分辨率风格迁移网络模型；将低分辨率的遥感影像输入至所述训练完成的超分辨率风格迁移网络模型，得到超分辨率遥感影像。本发明克服了传统超分辨率网络模型泛化能力差和重建影像纹理细节丢失等缺点，能够生成清晰度和纹理特征更加接近真实高分辨率遥感图像的重建影像。

摘要： 本发明公开了一种用于低分辨率监控视频的超分辨率重建方法，该方法将低分辨率监控视频帧使用两个不同尺寸的卷积核用于特征表示，之后将两者提取的特征结合作为下一层的输入，并通过残差学习方式使网络训练更加容易，用反卷积层来对于学习到的特征进行超分辨率的重建，然后使用随机梯度下降算法对卷积神经网络优化，获取已训练的网络模型，再将待重建的低分辨率监控图片输入到已训练好的网络模型中，进行监控视频的超分辨率重建。本发明在不提高硬件成本的前提下，提高了监控视频的图像分辨率，使得能够更多地获取辨识人脸所需的特征信息，用于辅助刑事侦查确定犯罪嫌疑人身份，提高了刑事侦查中确定犯罪嫌疑人身份的准确率和效率。

摘要： 本发明公开了一种超分辨率重建影像空间分辨率评价方法，首先对原始影像进行超分辨率重建处理，对比原始影像与超分重建后的影像，找到原始影像上不清晰但是超分影像上变清晰的地物，选取超分影像上有明显距离间隔的地物，量测Google地图上高清影像上对应特征地物的距离间隔，计算超分影像上相应距离间隔所占的像元个数，利用超分影像分辨率计算公式求得超分影像的分辨率数值。本发明对原始影像进行超分辨率重建，对超分影像通过一系列的量测、计算，求得超分辨率重建后的影像的分辨率大小，通过对超分前后两张影像的分辨率进行分析，本发明方法的处理过程没有近似，且主要是对超分重建后的影像进行空间分辨率求解，可有效、直观的得到分辨率的数值。

摘要： 本发明涉及基于超分辨率重建技术的低分辨率人脸图像的重建方法，属于图像处理领域，本发明包括：对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像；再通过生成训练集，对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本，通过LLE学习得到最终重建出的高分辨率图像。本发明采用的人脸图像的归一化方法不仅准确，而且和训练集的归一化方法一致，提升了低分辨率人脸图像的准确性。再采用基于低频分量的超分辨率人脸图像的重建方法，制作出低分辨率人脸图像的大尺寸重建像，较好地解决了低分辨率人脸图像的重建难题。

摘要： 本发明公开了基于超分辨率风格迁移网络的遥感影像超分辨率重建方法，包括以下步骤：构建超分辨率风格迁移网络模型；所述超分辨率风格迁移网络模型包括生成部分和判别部分；所述生成部分由超分辨率重建网络SSR和U‑net网络连接而成；利用训练集交替训练所述生成部分和判别部分，得到训练完成的超分辨率风格迁移网络模型；将低分辨率的遥感影像输入至所述训练完成的超分辨率风格迁移网络模型，得到超分辨率遥感影像。本发明克服了传统超分辨率网络模型泛化能力差和重建影像纹理细节丢失等缺点，能够生成清晰度和纹理特征更加接近真实高分辨率遥感图像的重建影像。

摘要： 本发明公开了一种全知型视频超分辨率网络、视频超分辨率重建方法及系统，全知型视频超分辨率网络，由先驱网络和后继网络两个子网络组成；本发明首先选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取图像作为高分辨率学习目标，将其下采样r倍，得到低分辨率图像，作为网络的输入；然后根据全知型视频超分辨率框架的类型，将低分辨率帧依前向(局部全知型)或是后向(全局全知型)输入先驱网络，生成所有低分辨率帧对应的隐状态和高分辨率结构信息；接着将低分辨率帧，以及步骤2中得到的隐状态依前向输入后继网络，进一步生成隐状态和高分辨率细节信息；最后将高分辨率结构信息和细节信息相加，得到最终重建的高分辨率视频帧。

摘要： 本发明公开了一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法，涉及图像、视频处理技术领域。包括以下步骤：定位低分辨率人脸图像的特征点；摆正低分辨率人脸图像：勾选摆正的低分辨率人脸图像的重建区域；超分辨率重建。其中超分辨率重建又包括：对重建区域进行分块；对数据库中的高分辨率人脸图像模糊处理，得到模糊人脸图像；对高分辨率人脸图像和模糊人脸图像进行相同的分块操作；求解针对同一位置的各模糊人脸图像分块的权重；根据所述权重和对应的高分辨率人脸图像分块进行加权求和得到重建分块；将重建分块按照位置关系进行拼合。本发明克服了正常监控视频中人脸角度倾斜的问题。