基于深度学习的低质量鞋印图像重建、生成和属性预测

摘要

图像质量通常以成像系统对图片的获取，执行计算操作，压缩以及扩展为所需形式和跨平台传输的精度来衡量。换言之，图像质量是人类在感知和视觉系统的作用下对图像所包含信息详略程度以及带给人愉悦感受的相关程度的评价。图像质量有时也与图像的保真度有关，而保真度则进一步与真实图像的源分布相关联。衡量给定图像质量的指标有多种，其中图像-质量-评估(IQU)是常用的度量标准。此外，还有多种其他质量测量指标，包括PSNR、SSIM、MAE、MASE等。质量评估指标还可以按主观（定性）或客观（定量）度量来分类。其中每一种分类都要根据问题的实质加以应用。然而，这两种方法都不足以完全评估图片质量，这就要求不仅要引入度量标准来衡量图片质量，还要考虑图片自身内容所呈现出的自然性。在本文中，低质量鞋印图像不仅限于那些质量差、分辨率低的图像，还包括缺乏自然性特征的鞋印图像。这些图片缺失自然特征的现象在某些情景下又是无法避免的。为了比较图片的客观效果，本文采用了基于客观指标的评估方法。另一方面，为了评估视觉效果的自然度，本文还采用了基于主观指标的评估方法。　　低质量鞋印图片经常出现在收集和提取比较困难的场景下。现实生活中的鞋印通常都是带有上述低质量图片特征的印记。低质量图像的处理对所有方法都存在一个不适定问题，例如传统算法、自动化方法、机器学习以及最近基于深度学习的方法等。本文基于机器学习和深度学习方法来解决低质量鞋印图像处理。本文收集了大量的鞋印图像并生成了各种数据集版本，以便为最新的技术（即机器学习、深度学习等）提供数据集。此外，本文还提出了多个基于深度学习的从不同角度来处理鞋印图像的模型。这些模型包括从鞋印中预测生物性状及其相互关系的模型方法，同时本文还使用最新的机器学习策略对低质量鞋印图片进行重建与修复，并且巧妙地解决了在没有高分辨率对照组的情况下生成高分辨率和高保真鞋印图像的问题。　　深度学习技术往往需要以大量信息作为支撑，来用于训练和评估模型。为此，本文从50,000名年龄从7岁到80岁之间的个体中收集了总共100,000张鞋印图像。从每个参与实验的参与者那里收集了一对鞋印图像（左脚和右脚）。这是第一个包含年龄、性别、体重、身高等注释信息的大规模鞋印数据集，其中每个鞋印都带有沿自然方向的不规则标尺。为了支持多种深度学习模型在生物特征估计方面的能力，本文创建了不同版本的数据集，即Dataset-A到Dataset-F。　　Dataset-A中的所有图像都是未经精炼的、无组织的原始图片。在Dataset-B中，图片中的劣质图像都被手动移除，每个图像中测量形态特征的标尺都被删除，保留了有关法医研究所需的鞋印细节。在某些情况下，标尺可能无法与鞋印图像完全对齐，从而导致深度学习模型的训练过程出现分歧。为了剔除低质量图像，本文设置了如下标准：1）该领域的专家也无法对其进行有效评估的鞋印。2)超过75%的鞋印区域是磨损和缺失的。因此，本文将质量评价阈值设定为75%，即如果一幅图片有75%或更多与背景像素相似的负像素，则认为其是低质量的，需要从训练样本中剔除。Dataset-C仅由左脚鞋印图像组成；Dataset-D只包含右脚鞋印图像。Dataset-E中包含成对的鞋印，左侧是左脚鞋印图像，右侧是右脚鞋印图像。Dataset-F是专门为进行年龄预测和性别分类的研究而设计的数据集。左右鞋印图像都被组合为成对的鞋印作为个体表示。Dataset-F包含了在男女分类训练模型以及年龄预测方面按性别排序的鞋印。最后，Dataset-E内是样本数量平衡的鞋印，因为不同的年龄组的样本数量并不平衡。　　鉴于多种因素的影响，例如图像质量差、不完整的鞋印、噪声干扰、缺少和有刮痕的边界以及不完整的图案和纹理等，鞋印图像处理是一个具有挑战性的任务。鉴于上述低质量因素，利用手工方法、传统算法和先进的机器学习模型对处理这类图像仍然是一个不适定的问题。为了应对挑战，进行鞋印处理，以便与生物特征相关联以及重建、恢复、增强和生成高质量的图像，本文采用机器学习方法进行了一系列实验。这也是本文的一项创新性研究，旨在明确鞋印图像与生物特征之间的关联。　　为了研究生物特性与鞋底压力之间的关系，本文以年龄和性别特征作为研究对象。鞋印与年龄和性别的关联在日常生活应用中有着至关重要的作用。要研究这种关系和其联系，需要与人的步态结合进行分析。人类的步态在研究中有重要作用，因为随着年龄的增长，站立和行走模式会发生变化。人类的步态(行走和站立)是人体上下肢体运动的重复行为，包括社会、文化和行为特征在内的不同环境因素与步态模式以及站立和行走时观察到的变化密切相关。同样，人体发生的生理变化，如年龄和健康状况，也与步态模式的变化趋势有关。这些变化可以反映在人体生理中的步态速度、站姿宽度、步速、步幅和双足力量上。这些参数又反映在鞋印中，并可以用来估计年龄，这是迄今为止第一个系统论述步态、鞋印和年龄之间的关联关系。　　本文研究了年龄变化与受试者鞋印之间的关联，该关联已被用于基于深度学习技术预测年龄方面的工作。这项研究工作的目的之一是利用机器学习从获取的数字化鞋印中估计年龄和进行性别分类。通过年龄与性别的预测以及其他结果将极大地有益于案件调查，因为这将缩小嫌疑人排查范围。此外，对嫌疑人外底（鞋印）每个部分的压力评估，可以确认嫌疑人的年龄范围和性别。在年龄预测和性别分类之后，需要进一步的证据、识别嫌疑人的特征（年龄、性别、种族、民族等）。在法医调查和检查中，我们的模型使得年龄与性别这种生物学特征的获得变得容易和具体，并将极大的缩小嫌疑人范围。　　除了轮廓估计和压力分布分析外，鞋印重构在法医学调查和检验中也起着至关重要的作用。由于图案、纹理、尺寸、磨损和姿势的可变性不一致，鞋印重构是一个难以解决的问题。由于领域内专业算法的不足、证据不足、信息内容贫乏以及缺乏ground truth，鞋印重构是一个有挑战的问题。在典型情况下，鞋印图像的背景比较模糊，这使得识别有意义的图案更具挑战性。可以通过重构嫌疑人的鞋印来确定嫌疑人的身份。早些时候，手工的方法被用来将鞋印重构成更清晰、更完整的形状。采用端到端机器学习方法的图像重建研究数量有限，并且没有取得令人满意的结果。此外，传统上鞋印检验和分析依赖于人类的专业知识，而大多数最先进的(SOTA)模型由于受到不同的约束而无法取得较好的结果。现有模型通常采用通用的方法来提取特征，并且缺乏解决现实问题所需的专业知识。此外，在法医调查等现实场景中，目前没有理想的鞋印数据集来设计基于深度学习的网络模型来重构鞋印。为了解决上述问题，本文提出了一个深度学习模型，该模型不仅重构了原始纹理和图案，还可以重构原始鞋印中缺失的区域和边界。据我们所知，本文提出的模型ShoeRec(shoeprint-reconstruction)是第一个满足上述需求的鞋印重构方面的模型。　　GUV-Net从目前最负盛名的深度学习模型包括GAN、VAE和U-Net吸取了其最佳的模型设计。本文根据需要从上述模型中选择特征提取方法以解决缺少对应的ground truth鞋印图像问题。GUV-Net将低级特征编码并压缩为高级特征，以有效概率表示潜在空间，并通过选择不同的样本以及skipped sailent特征进行解码。然后，GUV-Net将样本从潜在空间中选择出来并沿着解码操作发送到细化阶段，从而产生高质量的鞋印。在几个阶段中，细化阶段(单元)在解码阶段接收不同级别的特征。此外，通过部署模型的关键特征，包括与解码器并行的高维空间的逆编码，细化过程变得更加高效和鲁棒。该模型能够根据给定的损失函数有效地调整网络参数，并在保持关键的法医取证所需质量的同时，使低质量或低分辨率图像可靠地转换为高保真或高分辨率图像。GUV-Net和SOTA模型均根据低质量的可用鞋印进行结果评估，其中GUV-Net优于其他用于比较模型。此外，通过改进模型保留鞋印到自然信息，模型可以变得更为有效。　　通常，在存在自然高分辨率图像的情况下，单图像超分辨率(SISR)通常用于在给定相应LR版本的情况下重建高分辨率(HR)图像。在法医环境中，SISR制作高质量的照片在检查和评估收集到的鞋印方面起着关键作用。在LR-HR配对缺失的情况下，利用SR生成的鞋印处理至关重要。当对应的LR图像没有可得到的真实环境中的高分辨率图像作为ground truth时，这项任务变得更具挑战性。如前所述，GUV-Net能从低质量的图片增强图片质量到高纬度空间。为了强调生成的鞋印中的自然特征而非仅是一个不错的结果，本研究还提出了GUV-Net的改进版本IPAS-Net。IPAS-Net采用U-Net(PU-Net)进行特征提取，将从LR空间学习到的参数共享到HR空间，并采用特殊的处理方法提升、细化和改进HR空间。IPAS-Net使用PU-Net模块在低层LR重构过程中提取特征，然后将学习到的特征输入到HR空间。为了对重建的LR图像进行放大、细化（UR-block）和增强，IPAS-Net集成了attention mechanism block(AMB)和one step high iter-ation(OSHI)单元。AMB和OSHI在保持自然信息的定性结果方面并行不悖。同样，AMB和OSHI都配备了相应的升级方案来弥补彼此的局限性。本文使用无参考或盲标准来对模型输出的高分辨率鞋印与当前最新的深度学习模型得到的结果进行比较与评估。IPAS-Net非常倾向于保留法医取证所需的自然特征。

目录