一种超逼真虚拟人快速重建的方法及系统

摘要

本发明公开了一种超逼真虚拟人快速重建的方法及系统，其中，所述方法包括：获得第一面部模型；对所述第一面部模型进行预处理；根据所述第一面部模型获得第一基表情信息；将所述第一基表情信息上传至数据库；根据所述第一基表情信息获得特征点；对所述特征点进行标记和追踪处理，获得二维特征点数据；将所述二维特征点数据输入训练模型；获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。解决了虚拟人脸建立过程中表情不够自然、肤质不够真实的技术问题。

说明书

技术领域

本发明涉及虚拟人构建技术领域，尤其涉及一种超逼真虚拟人快速重建的方法及系统。

背景技术

随着科技的发展，虚拟偶像早已出现在各个平台，商业和文化也在不断的融合，虚拟人背后的黑科技还在不断变化和进化，一步步实现更好的实时互动，以及更好的离线内容，从而使得文化、商业、生活充分结合在一起，让各行各业都产生IP化变革。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在虚拟人构建过程中，由于表情管理不够自然，肤质不够真实，导致应用效果不佳。

发明内容

本申请实施例通过提供一种超逼真虚拟人快速重建的方法及系统，解决了虚拟人脸建立过程中表情不够自然、肤质不够真实的技术问题，达到了通过对表情和肤质等进行精准的算法处理，使得虚拟人脸的重建更加逼真的技术效果。

本申请实施例提供了一种超逼真虚拟人快速重建的方法，其中，所述方法还包括：获得第一面部模型；对所述第一面部模型进行预处理；根据所述第一面部模型获得第一基表情信息；将所述第一基表情信息上传至数据库；根据所述第一基表情信息获得特征点；对所述特征点进行标记和追踪处理，获得二维特征点数据；将所述二维特征点数据输入训练模型，所述训练模型通过多组训练数据训练所得，所述多组训练数据中的每一组训练数据均包括：所述二维特征点数据和用来标识最佳特征点数据的标识信息；获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。

另一方面，本申请还提供了一种超逼真虚拟人快速重建的系统，其中，所述系统包括：第一获得单元：所述第一获得单元用于获得第一面部模型；第一处理单元：所述第一处理单元用于对所述第一面部模型进行预处理；第二获得单元：所述第二获得单元用于根据所述第一面部模型获得第一基表情信息；第一上传单元：所述第一上传单元用于将所述第一基表情信息上传至数据库；第三获得单元：所述第三获得单元用于根据所述第一基表情信息获得特征点；第二处理单元：所述第二处理单元用于对所述特征点进行标记和追踪处理，获得二维特征点数据；第一输入单元：所述第一输入单元用于将所述二维特征点数据输入训练模型，所述训练模型通过多组训练数据训练所得，所述多组训练数据中的每一组训练数据均包括：所述二维特征点数据和用来标识最佳特征点数据的标识信息；第四获得单元：所述第四获得单元用于获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；第一重建单元：所述第一重建单元用于根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过获得面部模型的基表情信息，进而根据基表情信息获得特征点，并对特征点进行标记和追踪，将众多特征点数据输入训练模型，通过训练模型的不断训练，使得输出的最佳特征点数据信息更加精准，进而根据最佳特征点数据信息对面部模型进行重建，达到了使得虚拟人脸的构建更加逼真、虚拟人的应用效果更佳的技术效果。

上述说明仅是本申请技术方案的概述，为能够更清楚了解本申请的技术手段，可依照说明书的内容予以实施，并且为让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种超逼真虚拟人快速重建的方法的流程示意图；

图2为本申请实施例一种超逼真虚拟人快速重建的系统的结构示意图；

图3为本申请实施例示例性电子设备的结构示意图。

附图标记说明：第一获得单元11，第一处理单元12，第二获得单元13，第一上传单元14，第三获得单元15，第四获得单元16，第一输入单元17，第五获得单元18，第一重建单元19，总线300，接收器301，处理器302，发送器303，存储器304，总线接口305。

具体实施方式

本申请实施例通过提供一种超逼真虚拟人快速重建的方法及系统，解决了虚拟人脸建立过程中表情不够自然、肤质不够真实的技术问题，达到了通过对表情和肤质等进行精准的算法处理，使得虚拟人脸的重建更加逼真的技术效果。

下面，将参考附图详细的描述根据本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

随着科技的发展，虚拟偶像早已出现在各个平台，商业和文化也在不断的融合，虚拟人背后的黑科技还在不断变化和进化，一步步实现更好的实时互动，以及更好的离线内容，从而使得文化、商业、生活充分结合在一起，让各行各业都产生IP化变革。在虚拟人构建过程中，由于表情管理不够自然，肤质不够真实，导致应用效果不佳。

针对上述技术问题，本申请提供的技术方案总体思路如下：

本申请实施例提供了一种超逼真虚拟人快速重建的方法，其中，所述方法还包括：获得第一面部模型；对所述第一面部模型进行预处理；根据所述第一面部模型获得第一基表情信息；将所述第一基表情信息上传至数据库；根据所述第一基表情信息获得特征点；对所述特征点进行标记和追踪处理，获得二维特征点数据；将所述二维特征点数据输入训练模型，所述训练模型通过多组训练数据训练所得，所述多组训练数据中的每一组训练数据均包括：所述二维特征点数据和用来标识最佳特征点数据的标识信息；获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

如图1所示，本申请实施例提供了一种超逼真虚拟人快速重建的方法，其中，所述方法还包括：

步骤S100：获得第一面部模型；

具体而言，所述第一面部模型为用来构建虚拟人脸的面部模型，可通过采集各种各样的面部模型为后续的虚拟人脸的构建提供丰富的模板。

步骤S200：对所述第一面部模型进行预处理；

具体而言，获得所述第一面部模型之后，为了获得更加细致的面部轮廓及五官特征，可对其进行预处理，使得所述第一面部模型更加具有立体感，更接近真实人脸。

步骤S300：根据所述第一面部模型获得第一基表情信息；

步骤S400：将所述第一基表情信息上传至数据库；

具体而言，所述第一基表情信息即基础的表情信息，可进一步理解为当人微笑时，嘴角微微上扬，当人生气时，眉头微皱等，可根据面部模型获得丰富的基表情信息，进而为后续的虚拟人的表情创造提供大量的模板，还可将所述第一基表情信息上传至数据库，确保基表情信息不被丢失，存取方便。

步骤S500：根据所述第一基表情信息获得特征点；

具体而言，所述特征点为所述第一基表情信息的表情特征，可进一步理解为开心的程度不一样，笑的表情也不一样，可对微笑时的表情进行特征标记，大笑时的表情进行特征标记以及冷笑时的表情进行特征标记等，诸如此类。

步骤S600：对所述特征点进行标记和追踪处理，获得二维特征点数据；

具体而言，所述二维特征点数据为综合各个表情信息的特征点进而获得的面部信息，可对所述特征点进行标记，使得所述特征点可被追踪到，便于特征点的获取及应用。

步骤S700：将所述二维特征点数据输入训练模型，所述训练模型通过多组训练数据训练所得，所述多组训练数据中的每一组训练数据均包括：所述二维特征点数据和用来标识最佳特征点数据的标识信息；

步骤S800：获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；

具体而言，可将所述二维特征点数据输入训练模型中，所述训练模型为根据训练数据进行不断的自我训练学习的模型，进一步而言，所述训练模型为神经网络模型，所述神经网络模型即机器学习中的神经网络模型，神经网络(Neural Networks，NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂神经网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络模型是以神经元的数学模型为基础来描述的。人工神经网络(Artificial Neural Networks)，是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型。基于大量的训练数据的训练，其中，训练数据中的每一组训练数据均包括所述二维特征点数据和用来标识最佳特征点数据的标识信息，所述神经网络模型不断地自我的修正，当所述神经网络模型的输出信息达到预定的准确率 /达到收敛状态时，则监督学习过程结束。通过对所述神经网络模型的数据训练，进而使得所述神经网络模型处理所述输入数据更加准确，进而使得输出的最佳特征点数据信息更加准确。基于训练模型经过训练后处理数据更加准确的特性，将所述二维特征点数据输入训练模型中，通过训练模型的输出信息准确获得最佳特征点数据信息，使得所述判断结果更加准确，进而达到使得虚拟人的面部信息的构建更加逼真的技术效果。

步骤S900：根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。

具体而言，所述虚拟人的面部信息为通过最佳点数据信息对所述第一面部模型进行面部表情重建而获得的，通过对所述第一面部模型进行重建，达到了使得虚拟人脸的构建更加逼真的技术效果。

为了获得更加逼真的虚拟人脸，本申请实施例还包括：

步骤S1010：采集第一皮肤图像信息，所述第一皮肤图像信息为带妆容的皮肤图像信息；

步骤S1020：根据所述第一皮肤图像信息获得第一材质数据信息；

步骤S1030：根据屏幕空间次表面散射算法对所述第一皮肤图像信息进行渲染，获得第一上妆效果；

步骤S1040：根据所述第一上妆效果，对所述虚拟人进行上妆，并对妆容进行不断优化。

具体而言，为了使得虚拟人脸的构建更加逼真，还可基于所述第一面部模型对虚拟人脸进行上妆，可采集第一皮肤图像信息，所述第一皮肤图像信息为带妆容的皮肤图像信息，进而根据所述第一皮肤图像信息获得第一材质数据信息，所述第一材质数据信息为进行上妆的面部材质，根据所述第一材质数据信息匹配合适的底妆，并根据屏幕空间次表面散射算法对所述第一皮肤图像信息进行渲染，获得第一上妆效果，所述屏幕空间次表面散射算法为通过在屏幕空间中执行扩散近似以简化渲染流水线，即使屏幕上同时存在多个角色，也能保证实时性能，所述第一上妆效果为对皮肤图像进行渲染之后的总体呈现的效果，进而根据所述第一上妆效果，对所述虚拟人进行上妆，并对妆容进行不断优化，达到了使得虚拟人的面部构建更加逼真的技术效果。

为了使得虚拟人的构建更加真实，应用效果更佳，本申请实施例还包括：

步骤S1110：获得常见头部配饰的数字模型；

步骤S1120：将所述数字模型上传更新至数据库；

步骤S1130：根据所述数据库，对所述虚拟人进行自定义头部配饰装扮。

具体而言，为了使得虚拟人的应用效果更佳，在对虚拟人进行上妆之后，还可对其进行头部装扮，可获得常见头部配饰的数字模型，所述常见头部配饰包括头巾、发箍、帽子等模型，进而将所述数字模型上传更新至数据库，使得数据库的头部配饰模型丰富多样，便于对虚拟人进行头部配饰的装扮，可根据所述数据库，对所述虚拟人进行自定义头部配饰装扮，所述自定义头部配饰装扮即按照虚拟人应用、角色需求等对虚拟人进行自定义的头部配饰装扮，满足预期的装扮效果，进而达到了使得虚拟人的构建更加真实，应用效果更佳的技术效果。

所述对所述第一面部模型进行预处理，步骤S200还包括：

步骤S210：对所述第一面部模型进行重拓扑处理；

步骤S220：获得所述第一面部模型的面部特征信息；

步骤S230：根据所述面部特征信息对所述第一面部模型进行分割，获得多个独立的基表情信息；

步骤S240：对所述多个独立的基表情信息进行重组，获得丰富的面部表情信息。

具体而言，对所述第一面部模型进行预处理，可通过对所述第一面部模型进行重拓扑处理，所谓重拓扑即对于一个通用面部模型进行变形处理，使得通用模型的形状与扫描模型的形状一样，使用同一个通用模型对于所有扫描模型进行处理，最终就能获得一组用于实现表情的模型，还可获得所述第一面部模型的面部特征信息，所述面部特征信息即面部五官的特征信息，并根据所述面部特征信息对所述第一面部模型进行分割，获得多个独立的基表情信息，进一步，可按照包括鼻子、眼睛、嘴巴等五官信息或面部肌肉分布信息对所述第一面部模型进行分割，使得获得所述多个独立的基表情信息，进而对所述多个独立的基表情信息进行重组，获得丰富的面部表情信息，达到了使得虚拟人的面部构建更加丰富，更加逼真，应用更加广泛的技术效果。

所述获得虚拟人的面部信息之后，步骤S900还包括：

步骤S910：获得预设虚拟人的面部信息；

步骤S920：判断所述虚拟人的面部信息是否满足所述预设虚拟人的面部信息；

步骤S930：如果所述虚拟人的面部信息不满足所述预设虚拟人的面部信息，对所述虚拟人的面部信息进行修正。

具体而言，在获得虚拟人的面部信息之后，若判断所述虚拟人的面部信息是否达到要求，还可获得预设虚拟人的面部信息，所述预设虚拟人的面部信息为预设的达到预期效果的虚拟人的面部信息，通过判断所述虚拟人的面部信息是否满足所述预设虚拟人的面部信息，即判断所述虚拟人的面部信息是否达到预期效果，如果所述虚拟人的面部信息不满足所述预设虚拟人的面部信息，即所述虚拟人的面部信息没有达到预期效果，对所述虚拟人的面部信息进行修正，最终使得所述虚拟人的面部信息达到预期效果，通过不断地对所述虚拟人的面部信息进行修正，使得虚拟人的面部构建更加贴近真实，进而达到预期应用的技术效果。

所述根据所述第一皮肤图像信息获得第一材质数据信息，步骤 S1020还包括：

步骤S1021：对所述第一皮肤图像信息进行高频分析，获得第一结果；

步骤S1022：根据所述第一结果，获得第一矫正指令；

步骤S1023：根据所述第一矫正指令，对所述第一皮肤图像信息进行矫正，获得高真实感皮肤材质信息。

具体而言，需要根据所述第一皮肤图像信息获得第一材质数据信息，可对所述第一皮肤图像信息进行高频分析，进一步可理解为，人脸皮肤包括低频和高频两种几何信息，低频几何信息主要是指鼻梁高低、脸型胖瘦等；高频几何信息主要是指毛孔、胡须、唇纹等。通过对所述第一皮肤图像信息进行高频分析，可以获得更加精准的皮肤材质信息，进而获得第一结果，所述第一结果为对所述第一皮肤图像信息进行高频分析之后的结果，进而根据所述第一结果，获得第一矫正指令，所述第一矫正指令为对所述第一皮肤图像信息进行矫正，最终获得高真实感皮肤材质信息，通过利用高频分析对所述第一皮肤图像信息进行分析，达到了使得虚拟人脸的面部皮肤更具真实感的技术效果。

综上所述，本申请实施例所提供的一种超逼真虚拟人快速重建的方法及系统具有如下技术效果：

1、通过获得面部模型的基表情信息，进而根据基表情信息获得特征点，并对特征点进行标记和追踪，将众多特征点数据输入训练模型，通过训练模型的不断训练，使得输出的最佳特征点数据信息更加精准，进而根据最佳特征点数据信息对面部模型进行重建，达到了使得虚拟人脸的构建更加逼真、虚拟人的应用效果更佳的技术效果。

2、通过对所述虚拟人进行上妆体验和头部配饰装扮的体验，使得虚拟人的构建更加贴近真实，并对没有达到预期效果的虚拟人的面部信息进行不断的修正，达到了使得虚拟人的面部构建更加丰富，更加逼真，应用更加广泛的技术效果。

基于与前述实施例中一种超逼真虚拟人快速重建的方法同样发明构思，本发明还提供了一种超逼真虚拟人快速重建的系统，如图2 所示，所述系统包括：

第一获得单元11：所述第一获得单元11用于获得第一面部模型；

第一处理单元12：所述第一处理单元12用于对所述第一面部模型进行预处理；

第二获得单元13：所述第二获得单元13用于根据所述第一面部模型获得第一基表情信息；

第一上传单元14：所述第一上传单元14用于将所述第一基表情信息上传至数据库；

第三获得单元15：所述第三获得单元15用于根据所述第一基表情信息获得特征点；

第二处理单元16：所述第二处理单元16用于对所述特征点进行标记和追踪处理，获得二维特征点数据；

第一输入单元17：所述第一输入单元17用于将所述二维特征点数据输入训练模型，所述训练模型通过多组训练数据训练所得，所述多组训练数据中的每一组训练数据均包括：所述二维特征点数据和用来标识最佳特征点数据的标识信息；

第四获得单元18：所述第四获得单元18用于获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；

第一重建单元19：所述第一重建单元19用于根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。

进一步的，所述系统还包括：

第一采集单元：所述第一采集单元用于采集第一皮肤图像信息，所述第一皮肤图像信息为带妆容的皮肤图像信息；

第五获得单元：所述第五获得单元用于根据所述第一皮肤图像信息获得第一材质数据信息；

第一渲染单元：所述第一渲染单元用于根据屏幕空间次表面散射算法对所述第一皮肤图像信息进行渲染，获得第一上妆效果；

第一上妆单元：所述第一上妆单元用于根据所述第一上妆效果，对所述虚拟人进行上妆，并对妆容进行不断优化。

进一步的，所述系统还包括：

第六获得单元：所述第六获得单元用于获得常见头部配饰的数字模型；

第二上传单元：所述第二上传单元用于将所述数字模型上传更新至数据库；

第一装扮单元：所述第一装扮单元用于根据所述数据库，对所述虚拟人进行自定义头部配饰装扮。

进一步的，所述系统还包括：

第三处理单元：所述第三处理单元用于对所述第一面部模型进行重拓扑处理；

第七获得单元：所述第七获得单元用于获得所述第一面部模型的面部特征信息；

第八获得单元：所述第八获得单元用于根据所述面部特征信息对所述第一面部模型进行分割，获得多个独立的基表情信息；

第一重组单元：所述第一重组单元用于对所述多个独立的基表情信息进行重组，获得丰富的面部表情信息。

进一步的，所述系统还包括：

第九获得单元：所述第九获得单元用于获得预设虚拟人的面部信息；

第一判断单元：所述第一判断单元用于判断所述虚拟人的面部信息是否满足所述预设虚拟人的面部信息；

第一修正单元：所述第一修正单元用于如果所述虚拟人的面部信息不满足所述预设虚拟人的面部信息，对所述虚拟人的面部信息进行修正。

进一步的，所述系统还包括：

第一分析单元：所述第一分析单元用于对所述第一皮肤图像信息进行高频分析，获得第一结果；

第十获得单元：所述第十获得单元用于根据所述第一结果，获得第一矫正指令；

第一矫正单元：所述第一矫正单元用于根据所述第一矫正指令，对所述第一皮肤图像信息进行矫正，获得高真实感皮肤材质信息。

前述图1实施例一中的一种超逼真虚拟人快速重建的方法的各种变化方式和具体实例同样适用于本实施例的一种超逼真虚拟人快速重建的系统，通过前述对一种超逼真虚拟人快速重建的方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种超逼真虚拟人快速重建的系统的实施方法，所以为了说明书的简洁，再次不再详述。

下面参考图3来描述本申请实施例的电子设备。

图3图示了根据本申请实施例的电子设备的结构示意图。

基于与前述实施例中一种超逼真虚拟人快速重建的方法的发明构思，本发明还提供一种超逼真虚拟人快速重建的系统，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种超逼真虚拟人快速重建的方法的任一方法的步骤。

其中，在图3中，总线架构(用总线300来代表)，总线300 可以包括任意数量的互联的总线和桥，总线300将包括由处理器302 代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

本申请实施例提供了一种超逼真虚拟人快速重建的方法，其中，所述方法还包括：获得第一面部模型；对所述第一面部模型进行预处理；根据所述第一面部模型获得第一基表情信息；将所述第一基表情信息上传至数据库；根据所述第一基表情信息获得特征点；对所述特征点进行标记和追踪处理，获得二维特征点数据；将所述二维特征点数据输入训练模型，所述训练模型通过多组训练数据训练所得，所述多组训练数据中的每一组训练数据均包括：所述二维特征点数据和用来标识最佳特征点数据的标识信息；获得所述训练模型的输出信息，所述输出信息包括最佳特征点数据信息；根据所述最佳特征点数据信息对所述第一面部模型进行面部表情重建，获得虚拟人的面部信息。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。