一种基于特征融合的人脸美学分析方法、终端及存储介质

摘要

本发明公开了一种基于特征融合的人脸美学分析方法、终端及存储介质，方法包括：获取待分析的人脸图像；检测所述人脸图像中用于美学分析的二维人脸地标点；将所述人脸图像输入三维重建网络，得到三维重建人脸模型，并检测所述人脸图像中用于美学分析的三维人脸地标点；从所述二维人脸地标点中提取二维几何特征，并从所述三维人脸地标点中提取三维几何特征；根据提取的二维几何特征和三维几何特征进行特征融合，并根据融合特征进行美学任务分析，输出分析结果。本发明经过2D几何特征和3D几何特征对人脸美丽程度影响的充分分析比较，提出了一种适用于人脸美学指数分析的2D和3D特征融合方法，提高了人脸美学指数分析的精度。

说明书

技术领域

本发明涉及生物特征识别应用领域，尤其涉及的是一种基于特征融合的人脸美学分析方法、终端及存储介质。

背景技术

爱美之心人皆有之，“美”在人们日常生活中备受瞩目，小到社交媒体中的照片美化、日常妆造评估，大到整容手术的指导方案都离不开客观化人脸美学评价体系的建立，如何发现并定义一套科学完善的美学评价体系就显得尤为重要。心理学研究显示，不同的人对美的看法是一致的，此外，还有研究表明，面部美的概念是统一的，可以通过计算机进行学习。由此衍生出了人脸美学研究，人脸美学研究结合了图像处理、生物特征识别技术、机器学习方法和深度学习方法来客观的研究定义“美”的本质。人脸美学主要通过研究人脸的几何结构特征、纹理特征和肤色特征来进行美学研究，其中人脸的几何结构特征由于其基本不随光照、妆容、年龄等变化而改变，故可以作为一种本质因素用以分析其对面部美丽程度的影响。

现阶段人脸美学研究按照数据类型可以分为基于2D人脸图像的研究和基于3D人脸扫描模型的研究。

一、基于2D人脸图像的研究

随着计算机视觉领域的飞速发展，人们易于采集获取2D人脸图像且现在已经公开了大量人脸图像数据库，因此现有的美学研究大多数都基于2D图像展开。

自古以来人们就在探索什么为“美丽”，早期的美学研究希望寻找一个固定的面部比例标准来衡量美丽程度，在此期间提出了如“黄金分割率”假说、“三庭五眼”假说、“平均脸”假说以及“对称脸”假说等，这些方法希望找到一个确定的标准来衡量面部的美感，即面部几何结构符合一些特定规则的人脸被认为是协调美观的(如：面部器官比例符合黄金分割率的人脸更为美观、或面部五官布局符合“三庭五眼”的人脸更为美观)。然而，研究指出这些特定的比例与面部美丽程度之间几乎没有相关性，许多美丽人脸实际上并不符合这样的比例。同样，一些研究也证明了对称理论的假设并不适用于美学分析，完全对称的人脸反而会让人觉得较为呆板且缺乏美感。因此，早期的美学研究结果已经不适用于现在的人脸美学分析。

近年来，受到模式识别和生物特征识别技术的启发，一些基于机器学习的美学分析方法得到了发展，这些方法侧重于分析面部几何特征、纹理特征及肤色特征等和面部美感的关系。此类方法首先进行人工提取特征，然后训练各类学习模型以进行美学分析。现阶段常用的纹理特征提取方法包括Gabor滤波器响应、局部二元模式(Local BinaryPatterns)和皮肤光滑度指标等，颜色特征包括色调、饱和度和明度(HSV)坐标以及颜色分布、颜色对称性等。如使用R、G、B三通道图像提取颜色信息并使用LBP提取人脸纹理信息用于美学分析，又如在特征提取阶段引入了亮度信息辅助美学分析。然而，由于纹理和颜色特征会随着面部妆造、环境光改变、表情变化和自然衰老而变化，以至于同一个体在不同条件下所提取的特征通常存在较大的差异，从而影响美学评价结果的准确性。

几何特征反映表示如器官之间的距离、器官的夹角、人脸的形状等信息，它对环境、妆造、年龄变化具有更强的鲁棒性。现有方法通过提取一定数量的关键地标，并计算这些地标之间的距离、角度等几何特征来表征人脸的器官、形状、比例等信息，这些特征具有良好的可解释性，便于美学分析研究的开展。如一些研究中基于人脸几何特征和半监督学习进行美学分析，该方法通过2D关键地标来表示几何信息，并用Hessian半监督学习模型进行训练。然而，他们简单地考虑了2D几何特征，而忽视了3D特征对人脸美感分析的贡献。事实上，现有方法在眼部、鼻部、唇部、下颌等具有明显深度信息的面部区域提取几何特征能力较差，这使得通过2D图片从这些区域提取的特征缺乏对美丽的区分度，难以用于后续人脸美学分析，这一缺陷极大限制了美学评价模型的性能。

近年来，卷积神经网络由于其提取高维特征的优越能力，被广泛应用于人脸美学分析。使用深度学习方法训练时需要大量训练样本，但现阶段美学数据库规模较小，单纯应用深度学习方法进行美学分析无法达到理想的结果，通常需要结合其他任务以提高网络泛化能力和鲁棒性。例如，通过特征提取网络提取人脸图像的高维特征表达后结合年龄识别和表情识别任务进一步提高网络的预测精度。又如通过卷积神经网络提取特征后训练模型进行美丽分数预测，同时结合明亮度辅助修正美丽分数预测。此外，深度学习方法提取的特征为局部特征，无法表示人脸的几何结构，缺乏可解释性，因为深度学习模型只从感受野范围内提取特征，忽略了面部轮廓、五官比例等全局特征；另外深度网络存在训练时间长，对硬件设备性能要求高等问题，使得在应用部署美学分析模型时较为困难。

二、基于3D模型的研究

医学方向的美容分析通常基于高精度的扫描3D人脸模型进行，即通过医疗影像设备对面部进行全方位扫描后建立3D模型，再通过3D模型提取一些几何特征用于美学分析。这些方法旨在确定一种新的生物形态学的面部吸引力标准，并为需要进行整容手术的患者制定合理的诊疗方案。如一些研究中选取了一些美丽的志愿者，在获取人脸3D模型后人工标注了部分面部关键地标，再基于这些地标提取了80个几何特征，随后基于学生t检验选定了一些对美学有关键影响的特征并统计其均值、方差、中位数、最大最小值等数据，以此确立了面部吸引力的标准。然而，对人脸进行3D扫描成像并建立3D模型的成本高昂，需要使用多个专业设备对志愿者进行扫描，需要消耗大量的时间金钱，也难以构建大规模的3D人脸数据库。因此，研究人员现阶段缺乏大型3D美丽人脸数据集(现有的公开三维人脸数据集，如3D Facial Norm(3DFN)和Bosphorus只包含约100余位志愿者的扫描人脸模型)，这些数据集的规模仅能使用简单的统计分析方法，难以保证获得结论的准确性，而且不足以进行基于深度学习方法和机器学习方法的面部美学分析。受制于现有3D人脸数据库的规模、3D模型的获取难度和成本此类方法的研究发展受到了极大阻碍。

在计算机视觉领域，随着人脸三维重建技术的发展，现在也有部分研究考虑使用人脸重建技术来获取3D模型，然后从中筛选面部关键地标并提取几何特征用于人脸美学分析。然而，这类方法简单的使用了3D特征进行美学分析，忽略了2D特征在美学分析中同样有着不可替代的关键作用，这一缺陷影响了人脸美学分析的结果，亟需对此进行改进。

因此，现有技术还有待改进。

发明内容

本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种基于特征融合的人脸美学分析方法、终端及存储介质，以解决因现有的基于2D图像或3D模型对于人脸美学指数分析精度低的技术问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种基于特征融合的人脸美学分析方法，基于特征融合的人脸美学分析方法包括以下步骤：

获取待分析的人脸图像；

检测所述人脸图像中用于美学分析的二维人脸地标点；

将所述人脸图像输入三维重建网络，得到三维重建人脸模型，并检测所述人脸图像中用于美学分析的三维人脸地标点；

从所述二维人脸地标点中提取二维几何特征，并从所述三维人脸地标点中提取三维几何特征；

根据提取的二维几何特征和三维几何特征进行特征融合，并根据融合特征进行美学任务分析，输出分析结果。

在一种实现方式中，所述从二维人脸地标点中提取二维几何特征，包括：

根据所述二维人脸地标点，遍历计算得到任意两个二维人脸地标点之间的关键向量；

遍历计算任意两个二维人脸地标点之间的距离特征、关键地标和关键向量之间的距离特征、两关键向量之间的距离特征、两关键向量之间的角度特征。

在一种实现方式中，所述遍历计算得到任意两个二维人脸地标点之间的关键向量，包括：

遍历计算得到任意两个二维人脸地标点之间连线形成的向量，得到所述关键向量。

在一种实现方式中，所述从二维人脸地标点中提取二维几何特征，还包括：

根据美学公开数据集，计算所述二维人脸地标点中各距离特征和人脸美丽分数的皮尔逊相关系数，并保留相关系数绝对值大于第一阈值的特征作为提取的二维几何特征。

在一种实现方式中，所述从三维人脸地标点中提取三维几何特征，包括：

遍历计算任意两个三维人脸地标点之间的距离特征、关键地标和关键向量之间的距离特征、两关键向量之间的距离特征、两关键向量之间的角度特征；

选取双眉端点和下巴端点形成的平面作为颌平面；

通过计算各三维人脸地标点与所述颌平面的距离，得到用于表示面部深度的深度特征。

在一种实现方式中，所述从三维人脸地标点中提取三维几何特征，还包括：

计算所述三维人脸地标点中各距离特征、角度特征、深度特征和人脸美丽分数的皮尔逊相关系数，并保留相关系数绝对值大于第二阈值的特征作为提取的三维几何特征。

在一种实现方式中，所述根据提取的二维几何特征和三维几何特征进行特征融合，并根据融合特征进行美学任务分析，包括：

分别将保留的二维几何特征和三维几何特征，融合绘制在人脸图像中；

根据美学强相关特征的面部分布，查找所保留的二维几何特征和三维几何特征在面部的侧重表征区域；

根据查找的侧重表征区域的几何特征进行美学任务分析。

在一种实现方式中，所述侧重表征区域的二维几何特征为：双眉、双眼以及鼻子的距离特征；

所述侧重表征区域的三维几何特征为：眼部、鼻部、唇部及整个下颌线区域的角度特征，眼部、眉部、唇部、鼻部以及下颌线区域的深度特征。

第二方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有基于特征融合的人脸美学分析程序，所述基于特征融合的人脸美学分析程序被所述处理器执行时用于实现如第一方面所述的基于特征融合的人脸美学分析方法。

第三方面，本发明提供一种存储介质，所述存储介质存储有基于特征融合的人脸美学分析程序，所述基于特征融合的人脸美学分析程序被处理器执行时用于实现如第一方面所述的基于特征融合的人脸美学分析方法。

本发明采用上述技术方案具有以下效果：

本发明通过3D重建技术对人脸图片进行重建后得到3D人脸模型，随后分别从人脸图像和人脸模型中的不同关键区域提取2D和3D几何特征来进行美学分析，起到了良好的相互补充作用；并且，通过分别遍历2D人脸关键地标和3D人脸关键地标来获取2D几何特征及3D几何特征后分别计算各特征和人脸美丽程度的相关性，随后保留强相关特征并在人脸关键地标中分别标记2D特征重点表示区域和3D特征重点表示区域；本发明经过2D几何特征和3D几何特征对人脸美丽程度影响的充分分析比较，提出了一种适用于人脸美学指数分析的2D和3D特征融合方法，提高了人脸美学指数分析的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明基于特征融合的人脸美学分析方法的流程图。

图2是本发明适用于人脸美学分析的2D和3D特征融合方法策略框图。

图3是本发明用于美学的2D和3D特征侧重区域选取流程图。

图4是本发明用于美学的面部深度信息提取方法示意图。

图5是本发明2D距离特征和3D距离特征分区域提取示意图；(左：2D距离特征；右：3D距离特征)。

图6是本发明2D角度特征和3D角度特征分区域提取示意图(左：2D角度特征；右：3D角度特征)。

图7是本发明所选68处人脸地标点示意图。

图8是本发明的一种实现方式中终端的功能原理图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

示例性方法

目前人脸美学分析大多基于单纯基于2D图像或单纯基于3D模型，这些方法未能充分考虑两者对面部美感的具体影响是否有差异及是否可以进行融合分析，因此还存在人脸美学指数分析精度低的技术问题。

针对上述技术问题，本发明实施例提供一种基于特征融合的人脸美学分析方法，本发明实施例经过2D几何特征和3D几何特征对人脸美丽程度影响的充分分析比较，提出了一种适用于人脸美学分析的2D和3D特征融合方法，提高了人脸美学指数分析的精度。

如图1所示，本发明实施例提供一种基于特征融合的人脸美学分析方法，基于特征融合的人脸美学分析方法包括以下步骤：

步骤S100，获取待分析的人脸图像。

在本实施例中，所述基于特征融合的人脸美学分析方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备。

本发明实施例提供的人脸美学分析方法基于人脸几何特征实现，通过获取待分析的人脸图像，可以分别提取图片中的2D关键地标和3D人脸模型中的3D关键地标，随后提取关键地标之间的距离特征和角度特征用于美学分析，并分别比较2D特征和3D特征用于人脸美学分析的差异。

如图2所示，在本实施例的一种实现方式中，适用于人脸美学分析的2维和3维特征融合方法策略，包括以下步骤：

步骤S11，输入人脸图片；

步骤S12，检测用于美学分析的2维人脸地标点；

步骤S13，将人脸图像输入重建网络，得到3维重建人脸模型；

步骤S14，检测用于美学分析的3维人脸地标点；

步骤S15，分别从2维地标点和3维地标点中提取2维几何特征和3维几何特征；

步骤S16，将提取到的2维和3维几何特征融合用于美学分析任务。

本发明实施例方法指出适合从2D人脸中获取的几何特征主要为距离特征，适用于表征人脸正视图的如眉部、眼部、下巴区域的长度、宽度等信息，而适合从3D人脸模型中获取的几何特征包括：距离特征、角度特征以及深度特征，这些特征适用于表征包含深度信息且难以从图像中获取美学信息的区域，如鼻部、眼部、唇部和整个下颌线位置。

本发明实施例从不同区域针对性提取2D和3D特征以实现美学分析时特征间的相互补充。在公开人脸标准数据集上的测试表明，按照本发明实施例的分区域提取特征获取的融合美学特征，用于美学分析结果略好于仅使用3D特征，明显好于仅使用2D特征，即适用本发明实施例提出的2D和3D特征融合方法能达到最好的美学分析效果。

如图1所示，在本发明实施例的一种实现方式中，基于特征融合的人脸美学分析方法还包括以下步骤：

步骤S200，检测所述人脸图像中用于美学分析的二维人脸地标点；

步骤S300，将所述人脸图像输入三维重建网络，得到三维重建人脸模型，并检测所述人脸图像中用于美学分析的三维人脸地标点。

在本实施例中，针对获取的待分析的人脸图像，通过预先标定的坐标点，检测人脸图像中用于美学分析的二维人脸地标点；与此同时，将人脸图像输入三维重建网络，得到三维重建人脸模型，并检测所述人脸图像中用于美学分析的三维人脸地标点。

在本实施例中，2D和3D特征点选取完全相同，一共提取了68个人脸关键地标点，如图7所示；当然，在别的实施例中，人脸关键地标点还可以根据需要进行适应性设置；通过提取二维人脸地标点和三维人脸地标点，可以根据这些地标点得到相应的几何特征，从而根据这些几何特征进行美学任务分析，输出分析结果。

如图1所示，在本发明实施例的一种实现方式中，基于特征融合的人脸美学分析方法还包括以下步骤：

步骤S400，从所述二维人脸地标点中提取二维几何特征，并从所述三维人脸地标点中提取三维几何特征。

在本实施例中，先使用卷积神经网络从图像中提取2D人脸关键地标(2D和3D特征点选取完全相同，一共提取了68个人脸关键地标)。

即在本实施例的一种实现方式中，步骤S400具体包括以下步骤：

步骤S410，根据所述二维人脸地标点，遍历计算得到任意两个二维人脸地标点之间的关键向量。

具体地，遍历计算得到任意两个二维人脸地标点之间的关键向量，包括：步骤S411，遍历计算得到任意两个二维人脸地标点之间连线形成的向量，得到所述关键向量。

步骤S420，遍历计算任意两个二维人脸地标点之间的距离特征、关键地标和关键向量之间的距离特征、两关键向量之间的距离特征、两关键向量之间的角度特征。

在本实施例中，由关键地标两两计算得到关键向量(其中，关键向量指的是由两个面部地标连线形成的向量，可以通过此向量计算后续的距离特征和角度特征)，随后遍历计算人脸关键地标之间的距离特征、关键地标和关键向量之间的距离特征、两关键向量之间的距离特征、两关键向量之间的角度特征。

步骤S430，根据美学公开数据集，计算所述二维人脸地标点中各距离特征和人脸美丽分数的皮尔逊相关系数，并保留相关系数绝对值大于第一阈值的特征作为提取的二维几何特征。

与一般方法主观选取特征不同，本方法通过遍历所有特征组合来增强客观性，避免由于主观筛选特征导致的漏选美学关键特征或误选美学不相关特征的问题。提取所有2D特征后，在美学公开数据集SCUT-FBP5500上计算各距离特征和人脸美丽分数的皮尔逊相关系数，计算角度特征和人脸美丽分数的皮尔逊相关系数，再保留相关系数绝对值大于0.7的特征作为提取的2D特征，用于后续美学分析。

以上步骤S410～430为从二维人脸地标点中提取二维几何特征的方式；而从三维人脸地标点中提取三维几何特征的方式具体如下。

即在本实施例的一种实现方式中，步骤S400具体还包括以下步骤：

步骤S440，遍历计算任意两个三维人脸地标点之间的距离特征、关键地标和关键向量之间的距离特征、两关键向量之间的距离特征、两关键向量之间的角度特征；

步骤S450，选取双眉端点和下巴端点形成的平面作为颌平面；

步骤S460，通过计算各三维人脸地标点与所述颌平面的距离，得到用于表示面部深度的深度特征；

步骤S470，计算所述三维人脸地标点中各距离特征、角度特征、深度特征和人脸美丽分数的皮尔逊相关系数，并保留相关系数绝对值大于第二阈值的特征作为提取的三维几何特征。

在本实施例中，本方法使用了人脸三维重建技术以从图像中重建出3D人脸模型，并基于此模型提取3D特征用于美学分析，本方法提取了包括距离特征、角度特征和深度特征在内三种几何特征。

具体来说，本方法考虑到3DMM模型从2D映射至3D空间前后，面部关键点一一对应，因此提取了和2D人脸关键地标相对应的3D人脸关键点用来提取3D几何特征。与2D特征类似提取方法类似，遍历计算人脸关键地标之间的距离特征、关键地标和关键向量之间的距离特征、两关键向量之间的距离特征和角度特征。

此外，如图4所示，本方法选取了双眉端点和下巴端点形成的平面作为颌平面(即图4中三角形所在平面)，此平面在不同姿态、不同个体下均能保持平行于面部平面，因此可以通过计算各地标和此平面的距离来表示面部深度信息(如图4中黑色直线表示鼻尖深度，类似的可以计算眼部、眉部、唇部、以及下颌线区域等区域地标点的深度信息)。同样的，计算各距离特征、角度特征、深度特征和人脸美丽分数的皮尔逊相关系数，同样保留相关系数绝对值大于0.7的特征作为提取的3D特征，用于后续美学分析。

如图1所示，在本发明实施例的一种实现方式中，基于特征融合的人脸美学分析方法还包括以下步骤：

步骤S500，根据提取的二维几何特征和三维几何特征进行特征融合，并根据融合特征进行美学任务分析，输出分析结果。

在本实施例中，本方法提出了一种分区域特征提取并融合策略，该方案能够从不同的面部区域分别针对性选取关键的2D和3D几何特征，进而用于美学分析，且已通过实验证明方案性能优于仅使用2D或仅使用3D特征进行美学分析。

步骤S510，分别将保留的二维几何特征和三维几何特征，融合绘制在人脸图像中；

步骤S520，根据美学强相关特征的面部分布，查找所保留的二维几何特征和三维几何特征在面部的侧重表征区域；

步骤S530，根据查找的侧重表征区域的几何特征进行美学任务分析。

在本实施例中，区域的选定策略具体为：

1、分别筛选并保留2D和3D与面部美感显著相关的特征。

2、分别将2D和3D特征中与面部美感显著相关的特征(角度特征、距离特征、深度特征)绘制在人脸图像中。

3、按照美学强相关特征的面部分布，找出2D和3D特征在面部的侧重表征区域，用于针对性提取分区域提取2D和3D几何特征。

在本实施例中，所述侧重表征区域的二维几何特征为：双眉、双眼以及鼻子的距离特征；所述侧重表征区域的三维几何特征为：眼部、鼻部、唇部及整个下颌线区域的角度特征，眼部、眉部、唇部、鼻部以及下颌线区域的深度特征。

如图5～图6所示，此方法对分区域选取的策略为：

(1)2D图像适合于提取距离特征，但不适合提取角度特征。本方法选定的2D特征关键区域，对关键地标之间距离特征的提取区域主要为人脸的双眉、双眼以及鼻子等部分，即集中在面部中心区域；角度特征中对美学影响较大的特征类似于距离特征(如图6中左边浅色直线标注的角度特征实质上表示眼睛距离特征)，其余角度特征在图像中获取误差较大，用于美学分析时难以起到区分作用，因此可以不从图像中获取角度特征。

(2)从3D人脸模型中适合提取距离特征、角度特征和深度特征。本方法选定了3D特征关键区域，具体来说：3D特征中对距离特征的提重点取区域与2D特征相似但也有区别，主要为人脸的双眼、鼻部、唇部、下巴、脸颊部分；3D模型还适合于提取角度特征用于美学分析，角度特征的主要提取区域包括眼部、鼻部、唇部及整个下颌线区域；深度特征对美学分析影响重大，眼部、眉部、唇部、鼻部以及下颌线都适合提取深度信息，这些区域的3D几何信息都能够很好地度量面部美感。

这一分区域特征提取策略能够指导2D和3D特征的提取，两者能够相互补充来表征面部美学信息。通过本方法提取的融合特征用于训练人脸美丽分数预测模型在，数据集SCUT-FBP5500上实验表明，这一发明能够使2D和3D特征相互补充，在不同模型下均能达到超过单一特征的模型性能。本发明设计了一种同时使用两个模态下分区域提取特征进行美学分析的方法，从而实现2D和3D特征融合以提升美学分析任务的性能。

如图3所示，在本实施例的一种实现方式中，用于美学的2维和3维特征侧重区域选取流程，包括以下步骤：

步骤S21，输入人脸图片；

步骤S22a，2维特征提取；步骤S22b，三维重建模块重建；

步骤S23，3维特征提取；

步骤S24，2维/3维特征面部重点关注区域分析；

步骤S25a，得到2维特征重点区域；步骤S25b，得到3维特征重点区域。

值得一提的是，本方法已经使用PyTorch及Matlab实现，在公开人脸美学图像集SCUT-FBP5500上进行了测试，实验结果显示，相较于现有的人脸美学分析方法(仅使用2D特征或仅使用3D特征)，本方案所提出的分区域特征提取方法获得的融合特征在多种常见回归模型下均能取得最高的美丽分数预测精度，在多种常见分类模型下均能取得最优的分类准确率。

本方案可行且在不同模型测试中性能良好，实现了从二维图像和三维人脸模型中分别提取关键美学特征用于美学分析，为美学研究提供了新的方案，能够有力促进人脸美学研究的进一步发展。

本实施例采用上述技术方案具有以下效果：

1、本实施例同时考虑使用2D人脸图像和3D人脸模型两个模态用于美学分析，该方法通过3D重建技术对人脸图片进行重建后得到3D人脸模型，随后分别从人脸图像和人脸模型中的不同关键区域提取2D和3D几何特征来进行美学分析，起到了良好的相互补充作用。

2、本实施例通过分别遍历2D人脸关键地标和3D人脸关键地标来获取2D几何特征及3D几何特征后分别计算各特征和人脸美丽程度的相关性，随后保留强相关特征并在人脸关键地标中分别标记2D特征重点表示区域和3D特征重点表示区域，以设计适用于美学的分区域提取特征的美学分析方法。

3、从2D人脸图像中适合提取距离特征，但不适合提取角度特征。本方法选定了2D特征关键区域，对关键地标之间距离特征的提取区域主要为人脸的双眉、双眼以及鼻子等部分，集中在面部中心区域；强相关角度特征主要仍是反映面部距离信息，其它角度特征在图像中获取误差较大，获得特征和面部美感相关度较低，因此没有适用于2D角度特征的提取区域。

4、从3D人脸模型中适合提取距离特征、角度特征和深度特征。本方法选定了3D特征关键区域，对关键地标之间距离特征的提取区域主要为人脸的双眼、鼻部、唇部、下巴、脸颊部分；3D模型还是适合于提取角度特征用于美学分析，角度特征的主要提取区域包括眼部、鼻部、唇部及整个下颌线区域。深度特征的关键区域则主要为眼部、眉部、鼻部、唇部以及下颌线区域，深度特征对美学的影响较为重要。

综上所述，本发明实例经过2D几何特征和3D几何特征对人脸美丽程度影响的充分分析比较，提出了一种适用于人脸美学指数分析的2D和3D特征融合方法，提高了人脸美学指数分析的精度。

示例性设备

基于上述实施例，本发明还提供一种终端，其原理框图可以如图8所示。

该终端包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该终端的处理器用于提供计算和控制能力；该终端的存储器包括存储介质以及内存储器；该存储介质存储有操作系统和计算机程序；该内存储器为存储介质中的操作系统和计算机程序的运行提供环境；该接口用于连接外部终端设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的基于特征融合的人脸美学分析信息；该通讯模块用于与云端服务器或移动终端进行通讯。

该计算机程序被处理器执行时用以实现一种基于特征融合的人脸美学分析方法。

本领域技术人员可以理解的是，图8中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，存储器存储有基于特征融合的人脸美学分析程序，基于特征融合的人脸美学分析程序被处理器执行时用于实现如上的基于特征融合的人脸美学分析方法。

在一个实施例中，提供了一种存储介质，其中，存储介质存储有基于特征融合的人脸美学分析程序，基于特征融合的人脸美学分析程序被处理器执行时用于实现如上的基于特征融合的人脸美学分析方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

综上，本发明提供了一种基于特征融合的人脸美学分析方法、终端及存储介质，方法包括：获取待分析的人脸图像；检测所述人脸图像中用于美学分析的二维人脸地标点；将所述人脸图像输入三维重建网络，得到三维重建人脸模型，并检测所述人脸图像中用于美学分析的三维人脸地标点；从所述二维人脸地标点中提取二维几何特征，并从所述三维人脸地标点中提取三维几何特征；根据提取的二维几何特征和三维几何特征进行特征融合，并根据融合特征进行美学任务分析，输出分析结果。本发明经过2D几何特征和3D几何特征对人脸美丽程度影响的充分分析比较，提出了一种适用于人脸美学指数分析的2D和3D特征融合方法，提高了人脸美学指数分析的精度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。