人脸动画

摘要： 针对人脸渐变动画真实性和过渡效果难以提高的问题,文中基于图形渐变动画技术,提出一种改进的Morphing算法.该算法通过多次使用Adaboost算法以提高人脸特征定位的准确性和效率,同时又通过彩色和灰色图像的混合交叉渐变处理提高了人脸图像渐变效果的稳定性和真实性.经过测试与实验结果表明,该算法在未大幅提高计算量的同时,获得了真实性、稳定性和普适性较好的人脸渐变动画效果,且渐变过渡较为自然,为当前人脸动画生成的需求提供一种较为理想的技术解决方案.

摘要： 针对人脸动画技术中的面部特征与语音特征的映射问题,提出了一种基于双向长短时记忆网络(Bi-LSTM)的映射模型学习方法.首先,在训练视频中同步地分别提取语音信号的MFCC参数和视频帧序列中的人脸特征点参数.其次,训练映射模型过程中将MFCC参数作为Bi-LSTM网络的输入,将面部特征参数作为网络的期望输出,并引入参数调优机制对迭代次数、隐层单元数、批处理大小、优化器类型等进行实验调优,以此得到最优的映射模型.对最优映射模型进行实验结果表明,采用双向Bi-LSTM网络明显优于单向的LSTM网络,而且经过参数调优后映射准确率达到0.895;因此,本文方法可以为后续的基于语音驱动的人脸视频合成应用提供有效的人脸特征预测参数.

摘要： Using speech data to drive facial animation is an important intellectual technology in areas such as Virtual Reality(VR). Recently the rapid development of VR stresses an urgent need for natural human-computer communication in immersive environment. The speech-driven facial animation technology can produce vivid animation with emotion, thus it can better help human-computer interaction and improve users'experience compared with the traditional presup-posed facial animation. In order to improve theintelligenceofthis technology and its applications, focusing on the key issue of speech-driven facial animation:audio and video mapping, methods including frame by frame analyzation, multi-frame analyzation and phoneme by phoneme analyzation are reviewed. Meanwhile, ideas of several facial models, means of ani-mation synthesis, emotion fusion andevaluation are summarized, and possible directions for future studies are provided.%利用语音来驱动人脸动画,是虚拟现实(Virtual Reality)等领域重要的智能技术,近年来虚拟现实技术的飞速发展更进一步地突出了在沉浸环境下的人机自然交流的迫切需求.语音驱动的人脸动画技术能够创造出自然生动、带有情感的动画,相对于传统预设的人脸动画而言能够更好地辅助人机交互、提升用户体验.为推进该技术的智能化程度和应用,针对语音驱动人脸动画的关键问题:音视频映射,综述了逐帧分析、多帧分析和逐音素分析的映射方法,同时也梳理了多种脸部模型的思想,动画合成、情感融合、人脸动画评价的方法,及可能的研究发展方向.

摘要： In 3D face synthesis,the lip movement is the most expressive.But in Uyghur lip animation,there has not been a realization method of 3D lip animation system.Therefore,this paper proposes a lip animation system.On the basis of the standard model and according to the current mainstream thinning algorithm,it uses the formula transformation to get the new transformation and model driven method,realizing fast refinement and the motion of the refined model.Experimental results show that the system can achieve the generation of facial details and smooth movement of the transition,so that the detail of the model is full,with a strong sense of reality.%在三维人脸合成中,最具有表现力的是唇部运动,而在维吾尔语唇形动画中,完整的基于维吾尔语的三维唇部动画系统的实现方法研究较少.为此,提出一种唇部动画系统.在标准模型的基础上,根据目前主流的细化算法,采用公式变换得到新的变换及模型驱动方式,实现模型的快速细化和细化后模型的运动.实验结果表明,该系统能实现人脸细节的生成及平滑流畅的运动过渡,使模型细节饱满,具有较强的真实感.

摘要： 本文以Candide-3模型为基础设计了一个人脸表情动画系统,系统在人脸特征点定位的基础上,根据人脸表情动画库中特征点的移动轨迹确定动画关键帧,应用关键帧插值法实现了人脸表情动画的设计,在设计过程中应用贴图方法解决了动画过程中人脸隐藏器官的显示问题. 整个系统运行流畅,占用资源少,计算效率高,具有较高真实感.

摘要： 人脸表情动画是计算机科学研究领域的研究热点。本文从数据驱动的角度，对人脸表情动画研究进行了大致分类：基于文本语音驱动的方法、基于表演驱动方法、基于参数驱动的方法以及基于重定向方法，对各类方法进行简述，最终归纳出当前人脸表情动画研究发展方向和存在问题，提出了展望。

摘要： Simulation of the tongue has important applications in biomechanics, linguistics, medical science, and graphics. This paper presents a 3D anatomically and biomechanically accurate tongue model. To ensure anatomical accuracy, the tongue and its muscles are constructed based on accurate medical data. Due to their complexity, muscles geometry and fiber arrangement are specially specified by a proposed interactive mus-cle marking method. To ensure biomechanical accuracy, a nonlinear, quasi-incompressible, isotropic, hy-perelastic constitutive model is applied for describing the tongue tissues, and particularly, tongue muscles are additionally endowed with an anisotropic constitutive model, which reflects the active and passive me-chanical behavior of muscle fibers. The dynamic simulation results of tongue movements subjected to cer-tain muscle activations are presented and validated with experimental data, and experiments show that our tongue model can synthesize realistic tongue animation.%针对舌头的建模与仿真，提出一个基于解剖学和生物力学的精确的三维舌头模型。首先是解剖学建模，依据核磁共振影像数据构建了舌头的三维模型，其内部的肌肉和肌纤维由一种基于解剖学资料的交互式肌肉标记法标记得到；然后是生物力学建模，采用精细的生物力学建模技术来体现舌头的弹性特性，包括舌头肌肉的主动和被动收缩特性；最后基于有限元方法计算得到舌头模型的动态形变。实验结果表明，该模型具有很高的精确性，能够根据肌肉激励生成逼真的舌头运动，合成高真实感的舌头动画。

摘要： 目的 目前针对舌头的语音同步动画技术还未得到广泛的研究.在此背景下,提出了一种基于生理模型的舌头动画合成方法.方法 首先构建了一个精细的、能够在肌肉激励下产生逼真舌头变形的舌头生理模型;其次利用该舌头模型合成了大量的舌头运动样本,并据此通过学习得到一个从肌肉激励到舌头轮廓的转换模型;然后对采集的动态2维舌头轮廓数据进行运动参数估计以得到与音素对应的体素(肌肉激励序列和刚体位移序列);最后将体素按一定的排列方式输入到舌头生理模型进行仿真以生成相应的舌头动画.结果 该系统可以合成听觉效果逼真的语音和视觉效果逼真且与合成语音同步的舌头动画.结论 本文方法可以根据汉语普通话或其他语言的2维舌头轮廓数据构建音素一体素数据库,并据此合成该语言对应的高真实感的3维舌头动画.

摘要： 为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.

摘要： 实现了基于MPEG-4动画框架,支持包括话语动作、表情动作及自由脸部动作等多种动因人脸动作及其融合的人脸动画编著系统.提出了能够对与话语无关的自由脸部动作的风格进行描述的ISM-FFA模型和模拟合成算法,使人脸动画效果更加生动自然且可以表现出个性化的脸部动作.提出了基于"主次动作及其重要性的动态调整"的动作融合算法,使并发脸部动作能够更协调平滑地融合.

摘要： 为了解决特定对象人脸动画的姿态可变和纹理自然这两个问题,本文描述了一种新的多角度人脸模型,通过采用机器学习技术对说话人视频进行训练学习,生成该对象的新多角度的生动说话动画.在建模方面,纹理模型是多角度的人脸纹理空间,人脸纹理得到了充分的表达,同时能合成新的动画纹理;而在形状模型中,人脸形状的各种变化则采用三维的点分布模型(PointDistributionModel,PDM)简练的表达.二维网格结构成为连接纹理模型与形状模型的桥梁.模型匹配则采用Levenberg-Marquardt优化方法,利用合成指导分析.从初步的实验结果中可以看出这种对人脸的建模方法能够实现特定对象的生动多姿态人脸动画.

摘要： 该文主要着眼于开发一个可应用于手机系统上的人脸动画系统.该系统主要功能为获取人脸2D相片并将相片数据传回服务器,然后在服务器上对相片人脸进行自动识别并提取人脸特征点,建立所需的3D人脸模型并将这些形成的人脸网格数据回传给手机终端.手机接收到数据后,通过控制驱动相片上人脸产生面部表情动画.最后借助MMS功能,通过相片和表情数据的传输,支持在手机间实现有异于纯文本短信的人脸动画可视化短信.该文首先提出了系统总体设计框架,然后分别介绍了相片获取、模型生成、人脸驱动和动画生成及图形显示的设计实现.最后,总结了系统的实现效果并提出了进一步工作的方向.

摘要： 提出了一种新的唇部肌肉模型，包括外圈和内圈的口轮匝肌模型以及下颌运动模型。通过口轮匝肌、口周围线性肌以及下颌3个运动参数的控制，可获得各种唇形，仿真结果表明：唇部运动逼真自然，不仅能有效模拟各种基本表情和非基本表情，还能模拟无表情时唇部有意识或无意识的各种动作，极大地增加了人脸动画的真实感。

摘要： 语音驱动唇部同步动画主要研究说话人在发出语音时的唇部动画。唇部动画是人脸动画系统的重要组成部分，在人机交互领域有着广泛的应用。本文提出了一种基于协同过滤算法的实时语音驱动唇部同步动画算法.该算法是一种基于样本的数据驱动方法，能够产生逼真的人脸唇部语音同步动画.语音参数采用语音识别中常用的梅尔倒谱系数(MFCC)，动画参数使用MPEG-4中定义的人脸动画参数(FAP)。用该算法实现的系统可以同时用于男女声语音驱动唇部动画，也可以驱动与MPEG-4兼容的任何人脸头像模型进行动画。系统能满足实时性的要求，在主观评测中得到很高的评分。

摘要： 提出一种针对动漫人物脸部造型的表情变形驱动方法。首先参照MPEG-4人脸动画标准建立标准人脸封套模型,对从已有的人脸表情变化图象序列中获取的人脸特征点的位置信息使用PCA(主成分分析)技术获得特征点的运动规则,求解情绪参数与主成分的系数向量之间的逼近函数,再插值计算出任意情绪参数下的特征点位置.最后通过变化的特征点对标准人脸封套模型的修改得到特定的人脸封套模型,并在自主研发的CVIDraw软件系统中采用常规的封套变形技术来驱动底层人脸图形图像变形.

摘要： 伴有说话者面部表情及唇动的文本.可视语音转换系统(TTVS)能够大大增强人机交互的生动性和真实感.结合当前主要的两类rⅣs技术,利用数据驱动法中的动态基元拼接获得参数序列,驱动MPEG-4人脸动画模型,在保留灵活性和可移植性等优点的前提下,以较小的数据量,获得了较为生动的效果,形成了具有较高真实感的中文可视语音合成系统.

摘要： 人脸表情合成是人机交互领域长期以来的研究热点。本文采用MPEG4人脸动画框架,提出了一种基于局部表情参数化的三维表情脸像合成方法。在人脸动画参数(FAP)的基础上,定义了局部表情状态参数(Partial Expression Parameter,简称PEP),建立了PEP与FAP参数之间的关联规则。在此基础上,实现了一个三维表情脸像编辑器,利用PEP参数可以快速编辑合成人脸表情,以适应可视语音、对话系统中人脸表情实时变化的需求。

摘要： 在计算机虚拟世界中,虚拟人脸是虚拟人表情达意的载体.提出了一种新的三维人脸模型:一个基于解剖学的多层次网格物理模型.包括一个改进的物理弹簧皮肤模型:使用非线性弹簧直接模拟软组织的非线性弹性行为,发展了一个新的边斥力弹簧来防止皮肤模型的崩溃,一系列不同类型的人脸肌肉元,以及下层的骨骼结构.从而更精确的模拟出人脸表情动画.

摘要： 人脸表情纹理细节(例如额头皱纹,鱼尾纹,酒窝等)的合成是逼真描述人脸动画的重要因素,传统的表情合成技术仅仅考虑面部特征几何位置的变换.更新的研究中考虑了表情纹理细节的合成,但仅能根据已有的表情样本来一对一地获取纹理细节,应用范围有限.本文有效地结合小波金字塔分解和表情比例图像两种技术,提出一种进行表情细节合成的新算法.该算法既保留了源图像的自身特征,又映射了表情纹理细节,且表情夸张程度可参数化地控制.

摘要： 本申请涉及一种方法和系统来使用纹理操作来创建动画化人脸。人脸模板被提供以使得用户可以定义人脸的特征。复合人脸由多个层组成，包括底层、动画层和静态层。复合人脸的动画化是通过选择性地为一个或多个层进行动画化来实现的。

摘要： 本发明公开了一种基于动作及语音特征的人脸图像动画方法和系统，包括：图像驱动方式及语音驱动方式；其中图像驱动方式为：输入一个人脸的谈话视频和另一个人的人脸，得到另一个人原本是静态图片的动态图像视频；语音驱动方式为：针对某个特定人物进行训练，当使用另一个人的特征进行预测的时候，对特征进行一步转化，将其转化为被训练的人的声音特征，将声音特征进行人脸特征转化，获取人脸图像动画。本发明能够实现视频与音频的两种驱动方式对目标人物进行驱动，驱动方式多样，可以满足多种需求。

摘要： 本发明公开了一种音频驱动人脸动画生成方法、装置、设备和介质，该方法包括以下步骤：步骤1，采集语音信号，提取MFCC特征并输入音素识别器，获得语音的音素分类概率；步骤2，将音素分类概率输入Embedding层，得到音素的Embedding编码；步骤3，将音素的Embedding编码输入表情预测器，得到3D人脸的顶点位移；步骤4，将3D人脸顶点位移与自然表情的人脸模板相加，得到带说话表情的3D人脸；步骤5，将连续时间内的3D人脸渲染为2D图像，生成动画视频。本发明将发音和人脸表情直接关联，能够识别全球超2000种语言，具有更强的泛化能力，同时，可以为不同语言的动画进行配音，大大降低动画制作成本。

摘要： 本发明提出了一种人脸动画实现的方法，所述方法包括：采集人脸图像；提取所述人脸图像中的人脸特征点；将所述人脸特征点与标准特征点进行比对得到几何特征上对应的第一形变系数；根据所述人脸特征点提取局部区域进行处理得到外貌特征上对应的第二形变系数；根据所述第一形变系数和所述第二形变系数驱动三维虚拟对象执行相应的表情。整个过程中不需要用户做任何预设值，操作简便，而且通过结合更精细的外貌特征上的识别能够得到更加准确的识别效果，且该方法采用普通的单目摄像头就可以实现，大大降低了使用的成本。此外，还提出了一种人脸动画实现的装置、计算机设备及存储介质。

摘要： 本发明公开了一种基于多模态相关性的人脸动画生成方法及系统，首先提出了一个基于多模态相关性的人脸动画生成神经网络框架；在网络结构上，首先提出使用多Transformer结构来建模语音驱动人脸动画生成任务中语音模态、图像模态以及语音/图像跨模态的相关性，并基于这种相关性计算驱动语音对应的人脸表情特征，从而提高生成的人脸动画的真实性和流畅性。在网络结构的基础上，创新性地将源视频引入训练过程，可以达到对驱动语音更准确的表情预测结果。另外，单语音模态驱动的方法只能在唇部上生成较好的动画结果，而引入源视频可以提高除唇部区域以外其他面部区域的真实性，从而生成更逼真的人脸动画结果。

摘要： 一种联合语气词特征的视音频驱动人脸动画方法及系统，通过提取语音特征构建出语音特征矩阵，利用语气词增强训练网络的多层卷积操作对特征矩阵进行采样并映射到低维空间的中间变量；对输入的语音转换成文字，从文字内容中识别出语气词并构建one‑hot向量，与中间变量拼接后得到包含语气词特征的中间变量；再通过语气词增强训练网络进行卷积后映射为当前帧的表情AU参数，用于与视频追踪、语音预测算法生成的AU参数拟合后作为人脸模型的驱动参数，实现表情增强。本发明通过输入用户面部的视频内容和用户发声的音频内容，就可以联合驱动虚拟场景中的三维Avatar模型，在实时驱动的基础上，使整体和局部的面部动画都得到较为逼真和生动的表现效果。

摘要： 本公开涉及一种人脸关键点信息获取方法、生成人脸动画的方法及装置。人脸关键点信息获取方法包括：获取对样本人脸同步录制的样本视频和样本音频；确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列；确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型；利用所述人脸关键点获取模型获取人脸关键点信息。通过本公开训练得到的人脸关键点获取模型，输出的人脸关键点准确性高、稳定性高。

摘要： 本发明涉及一种基于自监督和混合密度网络的人脸动画生成方法，从语音fbank特征中分离语音内容特征向量和身份特征向量，为提取高质量语音特征，引入记忆模块，在记忆模块中保存多个不同假设，将语音映射到唇部动作和头部动作时产生的不确定性分配给记忆模块，从而使特征提取器专注于特征提取。为了解决语音映射到头部动作时产生的不确定性问题，将混合密度网络引入到人脸关键点回归任务中，提出基于混合密度网络的人脸关键点回归网络。最后将人脸关键点和参考人脸图像输入到图片到图片转换网络中得到最终的人脸图像。

摘要： 本申请提出了一种为单个人脸扫描数据生成带细节表情动画的方法，涉及计算机图形学技术领域，其中，该方法包括：采集单个人脸扫描数据；对单个人脸扫描数据进行预处理，得到原始偏置贴图和人脸网格；使用一段含有人脸动作的视频提取人脸表情，生成一段表情系数序列；将原始偏置贴图和表情系数序列输入训练好的深度网络中，输出的图像作为新的偏移贴图；将人脸网格和所述新的偏移贴图导入至动画软件进行渲染，得到每一帧的动画结果，将所有的动画结果进行拼接，获得人脸动画视频。采用上述方案的本申请只需要输入用户在任意表情下采集到的单一扫描数据，即可生成各种表情下的表情动画，可以降低动画制作的成本，对三维人脸动画进行加速和数据压缩。

摘要： 本申请涉及计算机视觉技术领域，特别涉及一种语音驱动的人脸动画生成方法、装置、设备及存储介质，其中，方法包括：基于任一查询视角与多张参考图像，提取任一查询视角下对应的图像特征；逐帧提取音频的初始音频特征，并对音频特征进行时序滤波，获取满足帧间平滑条件的音频特征；利用图像特征和音频特征驱动动态人脸神经辐射场，并在体素渲染后，获取当前帧的生成图像。由此，解决了现有语音驱动的人脸动画合成方法的低泛化性问题，通过提出基于少样本学习的动态人脸辐射场，来更加准确地建模动态人脸，并通过参考图像机制实现少样本学习，提升模型泛化性。