一种基于动作捕捉技术的交互动画制作平台

摘要

本发明涉及动画制作技术领域，公开了一种基于动作捕捉技术的交互动画制作平台，包括：3D动画生成模块，其基于关联制作用户的肢体运动信息的3D模型生成3D动画图片；基于3D动画生成模块生成的3D动画图片生成第一人物和第一人物的肢体运动信息；然后生成第一序列片段；2D动漫处理模块基于2D动漫视频生成第二序列片段；第一序列片段匹配模块为第一序列片段匹配第二序列片段；第三动作处理模块基于使用用户的肢体运动信息生成第三序列片段；第二序列片段匹配模块，其用于为第三序列片段匹配第二序列片段；动画展示模块基于匹配的第二序列片段生成用于展示的2D动漫视频片段；本发明能够实现将使用人员的动作与2D动画互动的效果。

说明书

技术领域

本发明涉及动画制作技术领域，更具体地说，它涉及一种基于动作捕捉技术的交互动画制作平台。

背景技术

现有技术中基于使用人员的动作的动画互动一般是通过动作捕捉获得使用人员的肢体运动数据，并基于使用人员的肢体运动数据绑定3D人物模型，驱动3D人物模型动作来生成3D动画；但是2D动画采用绘画手段制作，运用了超现实的表现手法，无法通过驱动3D人物模型生成，难以实现将使用人员的动作与2D动画互动的效果。

发明内容

本发明提供一种基于动作捕捉技术的交互动画制作平台，解决相关技术中通过动作捕捉难以实现将使用人员的动作与2D动画互动的效果的技术问题。

本发明提供了一种基于动作捕捉技术的交互动画制作平台，包括：3D模型处理模块，其用于生成3D模型，并将制作用户的肢体运动信息与3D模型进行关联；3D动画生成模块，其基于关联制作用户的肢体运动信息的3D模型生成3D动画图片；第一动作生成模块，其基于3D动画生成模块生成的3D动画图片生成第一人物和第一人物的肢体运动信息；第一序列生成模块，其用于将第一人物的肢体运动信息按照时间节点由小至大的顺序排序生成第一动作序列；第一动作处理模块，其用于对第一动作序列进行处理生成第一序列片段。

2D动漫处理模块，其包括第一图像提取模块、第二肢体运动信息生成模块和第二序列生成模块，其中第一图像提取模块用于从2D动漫视频中提取第一图像；第二肢体运动信息生成模块基于第一图像识别第二人物并生成第二人物的肢体运动信息；第二序列生成模块基于一个2D动漫视频中提取的一个第二人物的肢体运动信息生成第二动作序列，第二动作序列的一个序列单元包括一个第一图像上的一个第二人物的肢体运动信息；第二动作处理模块基于第二动作序列生成第二序列片段；第一序列片段匹配模块，其用于计算第一序列片段和第二序列片段之间的第一相似度，并为第一序列片段匹配与其第一相似度最大的第二序列片段。

3D模型匹配模块，其用于为使用用户匹配3D模型；第三序列生成模块，其用于将使用用户的肢体运动信息生成第三动作序列；第三动作处理模块，其基于第三动作序列生成第三序列片段；第二序列片段匹配模块，其用于为第三序列片段匹配与其第一相似度最大的第一序列片段，然后将与该第一序列片段的第一相似度最大的第二序列片段与第三序列片段匹配；动画展示模块，其基于第三序列片段匹配的第二序列片段提取第一图像，并基于提取的第一图像生成用于展示的2D动漫视频片段。

进一步地，第一动作处理模块生成第一序列片段的方法包括以下步骤：步骤101，选择时间节点最早的第一人物的肢体运动信息作为第一肢体运动信息。

步骤102，从第一肢体运动信息开始按照时间顺序向后遍历第一动作序列的肢体运动信息，将遍历终止时的肢体运动信息设置为第二肢体运动信息，遍历终止的条件是：当前遍历的肢体运动信息与第一肢体运动信息的第一距离大于设定的第一距离阈值。

步骤103，将步骤102遍历终止时的肢体运动信息更新为第一肢体运动信息。

步骤104，迭代执行步骤102和103直至所有肢体运动信息被遍历。

步骤105，基于第二肢体运动信息和第一动作序列生成第一序列片段。

进一步地，第一序列片段中任意两个相邻的第二肢体运动信息之间的时间差小于或等于设置的第一时间阈值，并且第一序列片段仅保留第一动作序列的起始的肢体运动信息和第二肢体运动信息。

进一步地，生成第二序列片段的方法包括以下步骤：步骤201，选择第二动作序列中对应第一图像的时间节点最早的第二人物的肢体运动信息作为第三肢体运动信息。

步骤202，从第三肢体运动信息开始按照时间节点的顺序向后遍历第二人物的肢体运动信息，将遍历终止时的第二人物的肢体运动信息设置为第四肢体运动信息，遍历终止的条件是：当前遍历的第二人物的肢体运动信息与第三肢体运动信息的第一距离大于设定的第二距离阈值。

步骤203，将步骤202遍历终止时的第二人物的肢体运动信息更新为第三肢体运动信息。

步骤204，迭代执行步骤202和203直至所有第二人物的肢体运动信息被遍历。

步骤205，基于所有的第四肢体运动信息对第二动作序列进行截取获得第二序列片段。

进一步地，第二序列片段中任意两个相邻的第四肢体运动信息之间的时间差小于或等于设置的第一时间阈值，并且第二序列片段仅保留第二动作序列的起始的肢体运动信息和第四肢体运动信息。

进一步地，计算序列片段之间的第一相似度S的方法包括：

其中

进一步地，第一距离的计算公式：

其中

进一步地，生成第三序列片段包括以下步骤：步骤301，选择第三动作序列中采集时间最早的使用用户的肢体运动信息作为第五肢体运动信息。

步骤302，从第五肢体运动信息开始向后遍历使用用户的肢体运动信息，将遍历终止时的使用用户的肢体运动信息设置为第六肢体运动信息，遍历终止的条件是：当前遍历的使用用户的肢体运动信息与第五肢体运动信息的第一距离大于设定的第三距离阈值。

步骤303，将步骤302遍历终止时的使用用户的肢体运动信息更新为第五肢体运动信息。

步骤304，迭代执行步骤302和303直至所有使用用户的肢体运动信息被遍历。

步骤305，基于第六肢体运动信息对第三动作序列进行截取获得第三序列片段。

进一步地，第三序列片段中任意两个相邻的第六肢体运动信息之间的时间差小于或等于设置的第一时间阈值，并且第三序列片段仅保留第三动作序列的起始的肢体运动信息和第六肢体运动信息。

进一步地，动画展示模块将第二序列片段首尾的肢体运动信息对应的2D动漫视频的第一图像标记为第二图像，并提取时间节点在第二图像之间的第一图像。

本发明的有益效果在于：本发明基于动作捕捉技术预先制作3D动漫，然后通过制作的3D动漫图像生成的序列片段与2D动漫图像的序列片段进行匹配，通过制作的3D动漫作为匹配使用者的动捕数据和2D动漫片段的媒介，能够快速的响应使用者的动作，具有良好的互动效果。

附图说明

图1是本发明的一种基于动作捕捉技术的交互动画制作平台的模块示意图；

图2是本发明的2D动漫处理模块的模块示意图；

图3是本发明的生成第一序列片段的方法的流程图；

图4是本发明的生成第二序列片段的方法的流程图；

图5是本发明的生成第三序列片段的方法的流程图。

图中：动作捕捉模块101，3D模型处理模块102，3D动画生成模块103，第一动作生成模块104，第一序列生成模块105，第一动作处理模块106，2D动漫处理模块107，第一图像提取模块1071，第二肢体运动信息生成模块1072，第二序列生成模块1073，第二动作处理模块108，第一序列片段匹配模块109，3D模型匹配模块110，第三序列生成模块111，第三动作处理模块112，第二序列片段匹配模块113，动画展示模块114。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

实施例一，如图1-图5所示，一种基于动作捕捉技术的交互动画制作平台，包括：动作捕捉模块101，其用于采集用户的肢体运动信息。

3D模型处理模块102，其用于生成3D模型，并将制作用户的肢体运动信息与3D模型进行关联。

3D动画生成模块103，其基于关联制作用户的肢体运动信息的3D模型生成3D动画图片。

在本发明的一个实施例中，基于制作用户的肢体运动信息按照图像帧节点进行划分，生成角色动作序列，驱动3D模型运动，并生成与图像帧的时间节点对应的3D动画图片。

第一动作生成模块104，其基于3D动画生成模块103生成的3D动画图片生成第一人物和第一人物的肢体运动信息。

第一序列生成模块105，其用于将第一人物的肢体运动信息按照时间节点由小至大的顺序排序生成第一动作序列。

第一动作处理模块106，其用于对第一动作序列进行处理生成第一序列片段。

第一动作处理模块106生成第一序列片段的方法包括以下步骤：步骤101，选择时间节点最早的第一人物的肢体运动信息作为第一肢体运动信息。

步骤102，从第一肢体运动信息开始按照时间顺序向后遍历第一动作序列的肢体运动信息，将遍历终止时的肢体运动信息设置为第二肢体运动信息，遍历终止的条件是：当前遍历的肢体运动信息与第一肢体运动信息的第一距离大于设定的第一距离阈值。

步骤103，将步骤102遍历终止时的肢体运动信息更新为第一肢体运动信息。

步骤104，迭代执行步骤102和103直至所有肢体运动信息被遍历。

步骤105，基于第二肢体运动信息和第一动作序列生成第一序列片段。

具体的，通过第二肢体运动信息与第一动作序列进行截取获得第一序列片段，第一序列片段中任意两个相邻的第二肢体运动信息之间的时间差小于或等于设置的第一时间阈值，并且第一序列片段仅保留第一动作序列的起始的肢体运动信息和第二肢体运动信息。

截取时可以从第一动作序列的起始的肢体运动信息开始向后遍历第二肢体运动信息寻找相邻的两个第二肢体运动信息之间的时间差大于第一时间阈值的位置作为截断点。

2D动漫处理模块107，其基于2D动漫视频处理获得第二人物的肢体运动信息，并基于第二人物的肢体运动信息处理生成第二动作序列。

2D动漫视频来源于可使用的2D动漫视频数据库。

2D动漫处理模块107包括第一图像提取模块1071、第二肢体运动信息生成模块1072和第二序列生成模块1073，其中第一图像提取模块1071用于从2D动漫视频中提取第一图像。

第二肢体运动信息生成模块1072基于第一图像识别第二人物并生成第二人物的肢体运动信息。

第二序列生成模块1073基于一个2D动漫视频中提取的一个第二人物的肢体运动信息生成第二动作序列，第二动作序列的一个序列单元包括一个第一图像上的一个第二人物的肢体运动信息。

第二动作序列的序列单元是按照第二人物的肢体运动信息来源的第一图像对应的时间节点由小至大进行排序的。

基于2D动漫视频处理获得第二人物的肢体运动信息和基于3D动画图片获得的第一人物的肢体运动信息可以是在二维平面内的几何信息，基于第一图像和3D动画图片识别人物并生成人物的肢体运动信息可以参考一般的基于图像识别人物和人物姿态的算法。

第二动作处理模块108基于第二动作序列生成第二序列片段。

生成第二序列片段的方法包括以下步骤：步骤201，选择第二动作序列中对应第一图像的时间节点最早的第二人物的肢体运动信息作为第三肢体运动信息。

步骤202，从第三肢体运动信息开始按照时间节点的顺序向后遍历第二人物的肢体运动信息，将遍历终止时的第二人物的肢体运动信息设置为第四肢体运动信息，遍历终止的条件是：当前遍历的第二人物的肢体运动信息与第三肢体运动信息的第一距离大于设定的第二距离阈值。

步骤203，将步骤202遍历终止时的第二人物的肢体运动信息更新为第三肢体运动信息。

步骤204，迭代执行步骤202和203直至所有第二人物的肢体运动信息被遍历。

步骤205，基于所有的第四肢体运动信息对第二动作序列进行截取获得第二序列片段。

具体的，第二序列片段中任意两个相邻的第四肢体运动信息之间的时间差小于或等于设置的第一时间阈值，并且第二序列片段仅保留第二动作序列的起始的肢体运动信息和第四肢体运动信息。

第一序列片段匹配模块109，其用于计算第一序列片段和第二序列片段之间的第一相似度，并为第一序列片段匹配与其第一相似度最大的第二序列片段。

第二序列片段还包括用于截取该第二序列片段的第四肢体运动信息。

在本发明的一个实施例中，提供一种计算序列片段之间的第一相似度S的方法，包括：

其中

第一距离可以采用欧氏距离或余弦距离等。

在本发明的一个实施例中，提供一种第一距离的计算公式：

其中

X轴和Y轴分别为肢体运动信息投影的与地面垂直的二维平面内水平坐标轴和竖直坐标轴。

3D模型匹配模块110，其用于为使用用户匹配3D模型。

匹配可以是在使用用户身高和身体比例的基础上进行比较的。

第三序列生成模块111，其用于将使用用户的肢体运动信息生成第三动作序列。

具体的，将使用用户的肢体运动信息按照采集时间由小至大的顺序排序生成第三动作序列。

第三动作处理模块112，其基于第三动作序列生成第三序列片段。

生成第三序列片段包括以下步骤：步骤301，选择第三动作序列中采集时间最早的使用用户的肢体运动信息作为第五肢体运动信息。

步骤302，从第五肢体运动信息开始向后遍历使用用户的肢体运动信息，将遍历终止时的使用用户的肢体运动信息设置为第六肢体运动信息，遍历终止的条件是：当前遍历的使用用户的肢体运动信息与第五肢体运动信息的第一距离大于设定的第三距离阈值。

步骤303，将步骤302遍历终止时的使用用户的肢体运动信息更新为第五肢体运动信息。

步骤304，迭代执行步骤302和303直至所有使用用户的肢体运动信息被遍历。

步骤305，基于第六肢体运动信息对第三动作序列进行截取获得第三序列片段。

第三序列片段中任意两个相邻的第六肢体运动信息之间的时间差小于或等于设置的第一时间阈值，并且第三序列片段仅保留第三动作序列的起始的肢体运动信息和第六肢体运动信息。

第二序列片段匹配模块113，其用于为第三序列片段匹配与其第一相似度最大的第一序列片段，然后将与该第一序列片段的第一相似度最大的第二序列片段与第三序列片段匹配。

需要说明的是，使用用户的第三动作序列可能是不断增长的，因此第三动作处理模块112处理获得的第三序列片段也是不断增长的，生成的第三序列片段按照生成的时间排序，并从前至后依次匹配第一序列片段。

动画展示模块114，其基于第三序列片段匹配的第二序列片段提取第一图像，并基于提取的第一图像生成用于展示的2D动漫视频片段。

第二序列片段中仅包含了第二动作序列的部分肢体运动信息，并且是不连续的，因此无法直接映射提取获得2D动漫视频的第一图像，需要将第二序列片段首尾的肢体运动信息对应的2D动漫视频的第一图像标记为第二图像，并提取时间节点在第二图像之间的第一图像。

第一图像是指2D动漫视频的帧图像，其附带时间戳，基于时间戳能够对帧图像进行连续的排序生成视频；用户的肢体运动信息是由前述的动作捕捉模块101生成的，动作捕捉模块101是包含多个传感器的装置，其提取肢体运动信息的技术为常规技术手段。

第一人物的肢体运动信息和第二人物的肢体运动信息是基于图像进行提取的，可以采用以下算法：openpose算法、DeepCut算法、Mask RCNN算法。

肢体运动信息是基于人体骨架模型进行参数表达的，人体骨架模型的节点代表人体的关节，人体骨架模型的肢体代表人体的四肢、脊柱、颈椎；能够以肢体与参考坐标系的夹角来表达肢体运动信息或者通过欧拉角进行表达。

作为一种示例，在人体骨架模型的肢体部件为11个时，第一距离阈值为168。第二距离阈值为212。第三距离阈值为122。

作为一种示例，第一时间阈值为3min。

本实施例中考虑到2D动漫视频的人物动作大部分情况下是通过超越现实的表现手法绘制的，其人物动作与真实的人物动作的差异性较大，2D动漫视频的人物肢体运动信息是基于图像处理获得的，进一步增大了与动作捕捉获得的使用人员的肢体运动信息差异。

本实施例中通过预先通过制作人员进行动作捕捉获得的肢体运动信息制作3D动画图片，然后通过3D动画图片识别人物肢体运动信息，生成第一序列片段，将其与2D动漫视频生成的第二序列片段进行匹配，在捕捉到使用人员的肢体运动信息时能够通过与第一序列片段的匹配来匹配到第二序列片段，能够及时的对使用人员的动作进行响应，展示与使用人员的动作进行互动的2D动漫视频片段的延迟较低。

可以通过引导使用人员的动作来缩小使用人员产生的肢体运动信息与制作人员的肢体运动信息之间的差距，提高互动的效果。

上面对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，还可做出很多形式，均属于本实施例的保护之内。