荆楚民间故事泥塑人物数字化三维模型合成方法及系统

摘要

本发明公开了一种荆楚民间故事泥塑人物数字化三维模型合成方法，包括：步骤1，数字化采集荆楚民间故事泥塑人物的视频、图片；步骤2，分层的泥塑三维模型几何建模，建模过程可分为特征点提取、表面网格模型获取、创建骨骼、蒙皮、标准模板匹配、三维模型校准、三维模型调整和三维模型输出；步骤3，泥塑三维模型的行为建模，确定泥塑人物在运动过程中的各种姿态；步骤4，基于姿态捕获的三维姿态重建；步骤5，构建荆楚文化泥塑人物资源库。本发明还提供了一种荆楚民间故事泥塑人物数字化三维模型合成系统。本发明的有益效果为：不需要三维扫描仪或立体深度摄像机，建模成本低、速度快、可操作性强；提高了建模精度；效果更逼真生动，便于修改。

说明书

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种荆楚民间故事泥塑 人物数字化三维模型合成方法及系统。

背景技术

目前，围绕荆楚文化遗产数字化保护与共享有重大需求，通过汇集多样 化的荆楚文化资源，用以研究和集成文化遗产的数字化采集、表达、展示与 传播。传统文化遗产表现形式包括文物、建筑，以及服饰、道具、动作等工 艺和技艺，其数字化主要采用拍照、录像等传统数字化技术。荆楚民间故事 泥塑人物是荆楚文化遗产的典型代表，传统的数字化技术已经无法满足文化 遗产的创新发展，因此需要寻求传统文化遗产数字化表现的新形式和手段， 支撑文化遗产数字化技术的创新发展。然而，国内外对荆楚文化的泥塑人物 数字化三维模型合成的研究尚是空白。

发明内容

为解决上述问题，本发明的目的在于提供一种低成本、高精度的荆楚民 间故事泥塑人物数字化三维模型合成方法及系统。

本发明提供了一种荆楚民间故事泥塑人物数字化三维模型合成方法，方 法包括：

步骤1，数字化采集荆楚民间故事泥塑人物的视频、图片；

步骤2，将所述泥塑人物的泥塑三维模型分为骨骼层、肌肉层、皮肤层和 服饰层，所述服饰层在最外层，所述皮肤层由平面或曲面片组成的表面模拟 皮肤的几何外形，所述皮肤层环绕在所述肌肉层周围，所述骨骼层在最底层， 所述骨骼层为包括多个关节点的骨骼关节模型，其中将所述泥塑人物的臀部 关节作为根结点，将两个相邻的关节点中最靠近根结点位置的关节点作为父 结点，连接在父结点之下的关节点为子结点，按照树形层次结构将所述根结 点、所述父结点和所述子结点使用骨骼段连接起来，对分层后的泥塑三维模 型进行几何建模，得到所述泥塑人物的三维几何模型；

步骤3，对所述泥塑三维模型进行行为建模，分析所述骨骼层和所述皮肤 层的运动，在分析所述骨骼层的运动时，将所述父结点的运动分解为相对于 所述根结点的平移运动和旋转运动，所述子结点的运动分解为相对于所述父 结点的平移运动和旋转运动，所有子结点相对于其父结点均独立运动，根据 所述父结点和所述子结点的运动确定所述骨骼层的运动，所述骨骼层的运动 驱动所述皮肤层的变形和运动，根据所述骨骼层的运动，利用蒙皮权重这一 映射关系实现所述皮肤层的运动，根据所述骨骼层和所述皮肤层的运动确定 所述泥塑人物在运动过程中的各种姿态；

步骤4，对所述骨骼层运动过程中的各种姿态进行捕获，根据所述根结点 的运动参数确定所述泥塑人物的位置和朝向，根据父结点的平移运动参数和 旋转运动参数确定所述父结点相对于所述根结点的偏移距离和旋转角度，所 述子结点的平移距离是在其父结点坐标系下的偏移距离，根据所述子结点的 平移运动参数和旋转运动参数确定所述子结点相对于其父结点的偏移距离和 旋转角度，根据所有子结点和所有父结点的偏移距离和旋转角度完成所述骨 骼层运动姿态的重建，根据所述骨骼层和所述皮肤层的映射关系完成所述皮 肤层运动姿态的重建，最终完成所述泥塑三维模型的三维姿态重建；

步骤5，根据采集到的图片、视频、所述三维几何模型和所述泥塑三维模 型的三维姿态构建荆楚民间故事泥塑人物的资源库。

作为本发明进一步的改进，步骤2中几何建模的步骤具体包括：

步骤S1，对步骤1中采集到的视频、图片进行特征点提取；

步骤S2，根据提取到的特征点构建所述泥塑三维模型的网格模型；

步骤S3，创建所述泥塑人物的骨骼；

步骤S4，蒙皮，得到所述泥塑人物的三维几何模型；

步骤S5，将得到的三维几何模型与标准三维模板进行匹配；

步骤S6，对匹配后的三维几何模型进行校准，并进行纹理匹配；

步骤S7，调整三维几何模型与所述肌肉层的对应关系；

步骤S8，输出所述泥塑人物的三维几何模型。

作为本发明进一步的改进，在步骤3中，将静态的网格和内在的骨骼结 合在一起，网格上的每个顶点通过蒙皮权重将骨骼空间变换映射到网格顶点， 实现皮肤层的运动，在所述皮肤层中，每个顶点都对应两个参数，一个参数 控制该顶点的骨骼，另一个参数表示控制骨骼程度的权重，实现从所述骨骼 层到所述皮肤层的映射，所述皮肤层顶点的变形和运动通过变换影响该顶点 的所有骨骼来实现，通过线性混合蒙皮算法，将所述骨骼层的运动和所述皮 肤层的网格运动相分离，只需通过所述骨骼层的运动便可利用蒙皮权重这一 映射关系实现网格的运动，即实现所述皮肤层的运动。

作为本发明进一步的改进，步骤2中，所述骨骼层包括21个关节点，分 为1个根结点、3个父结点和17个子结点，其中将所述泥塑人物的臀部关节 作为所述根结点，将所述泥塑人物的腰关节、左臀关节和右臀关节作为父结 点，将所述泥塑人物的胸关节、左肩关节、左肘关节、左腕关节、左手、颈 关节、头部、右肩关节、右肘关节、右腕关节和右手作为腰关节的子结点， 将所述泥塑人物的左膝关节、左踝关节和左脚作为左臀关节的子结点，将所 述泥塑人物的右膝关节、右踝关节和右脚作为右臀关节的子结点。

作为本发明进一步的改进，步骤5中，所述资源库包含具有湖北地域特 征的荆楚民间故事所设计的泥塑人物形象文档资源库、泥塑人物传统手工艺 制作过程文档资源库和泥塑人物与荆楚民间故事关联文档资源库，其中，每 种类型的文档资源库均覆盖民族文化数字化资源的所有载体形态，包括文本、 图片、音频、视频、三维模型和三维动作。

本发明还提供了一种荆楚民间故事泥塑人物数字化三维模型合成系统， 该系统包括：

信息采集模块，数字化采集荆楚民间故事泥塑人物的视频、图片；

几何建模模块，将所述泥塑人物的泥塑三维模型分为骨骼层、肌肉层、 皮肤层和服饰层，所述服饰层在最外层，所述皮肤层由平面或曲面片组成的 表面模拟皮肤的几何外形，所述皮肤层环绕在所述肌肉层周围，所述骨骼层 在最底层，所述骨骼层为包括多个关节点的骨骼关节模型，其中将所述泥塑 人物的臀部关节作为根结点，将两个相邻的关节点中最靠近根结点位置的关 节点作为父结点，连接在父结点之下的关节点为子结点，按照树形层次结构 将所述根结点、所述父结点和所述子结点使用骨骼段连接起来，对分层后的 泥塑三维模型进行几何建模，得到所述泥塑人物的三维几何模型；

行为建模模块，对所述泥塑三维模型进行行为建模，分析所述骨骼层和 所述皮肤层的运动，在分析所述骨骼层的运动时，将所述父结点的运动分解 为相对于所述根结点的平移运动和旋转运动，所述子结点的运动分解为相对 于所述父结点的平移运动和旋转运动，所有子结点相对于其父结点均独立运 动，根据所述父结点和所述子结点的运动确定所述骨骼层的运动，所述骨骼 层的运动驱动所述皮肤层的变形和运动，根据所述骨骼层的运动，利用蒙皮 权重这一映射关系实现所述皮肤层的运动，根据所述骨骼层和所述皮肤层的 运动确定所述泥塑人物在运动过程中的各种姿态；

姿态重建模块，对所述骨骼层运动过程中的各种姿态进行捕获，根据所 述根结点的运动参数确定所述泥塑人物的位置和朝向，根据父结点的平移运 动参数和旋转运动参数确定所述父结点相对于所述根结点的偏移距离和旋转 角度，所述子结点的平移距离是在其父结点坐标系下的偏移距离，根据所述 子结点的平移运动参数和旋转运动参数确定所述子结点相对于其父结点的偏 移距离和旋转角度，根据所有子结点和所有父结点的偏移距离和旋转角度完 成所述骨骼层运动姿态的重建，根据所述骨骼层和所述皮肤层的映射关系完 成所述皮肤层运动姿态的重建，最终完成所述泥塑三维模型的三维姿态重建；

资源库构建模块，根据采集到的图片、视频、所述三维几何模型和所述 泥塑三维模型的三维姿态构建荆楚民间故事泥塑人物的资源库。

作为本发明进一步的改进，所述几何建模模块具体包括：

提取模块，对所述信息采集模块中采集到的视频、图片进行特征点提取；

网格模块，根据提取到的特征点构建所述泥塑三维模型的网格模型；

骨骼模块，创建所述泥塑人物的骨骼；

蒙皮模块，蒙皮，得到所述泥塑人物的三维几何模型；

匹配模块，将得到的三维几何模型与标准三维模板进行匹配；

校准模块，对匹配后的三维几何模型进行校准，并进行纹理匹配；

调整模块，调整三维几何模型与所述肌肉层的对应关系；

输出模块，输出所述泥塑人物的三维几何模型。

作为本发明进一步的改进，在所述行为建模模块中，将静态的网格和内 在的骨骼结合在一起，网格上的每个顶点通过蒙皮权重将骨骼空间变换映射 到网格顶点，实现皮肤层的运动，在所述皮肤层中，每个顶点都对应两个参 数，一个参数控制该顶点的骨骼，另一个参数表示控制骨骼程度的权重，实 现从所述骨骼层到所述皮肤层的映射，所述皮肤层顶点的变形和运动通过变 换影响该顶点的所有骨骼来实现，通过线性混合蒙皮算法，将所述骨骼层的 运动和所述皮肤层的网格运动相分离，只需通过所述骨骼层的运动便可利用 蒙皮权重这一映射关系实现网格的运动，即实现所述皮肤层的运动。

作为本发明进一步的改进，在所述几何建模模块中，所述骨骼层包括21 个关节点，分为1个根结点、3个父结点和17个子结点，其中将所述泥塑人 物的臀部关节作为所述根结点，将所述泥塑人物的腰关节、左臀关节和右臀 关节作为父结点，将所述泥塑人物的胸关节、左肩关节、左肘关节、左腕关 节、左手、颈关节、头部、右肩关节、右肘关节、右腕关节和右手作为腰关 节的子结点，将所述泥塑人物的左膝关节、左踝关节和左脚作为左臀关节的 子结点，将所述泥塑人物的右膝关节、右踝关节和右脚作为右臀关节的子结 点。

作为本发明进一步的改进，所述资源库构建模块中，所述资源库包含具 有湖北地域特征的荆楚民间故事所设计的泥塑人物形象文档资源库、泥塑人 物传统手工艺制作过程文档资源库和泥塑人物与荆楚民间故事关联文档资源 库，其中，每种类型的文档资源库均覆盖民族文化数字化资源的所有载体形 态，包括文本、图片、音频、视频、三维模型和三维动作。

本发明的有益效果为：

1、不需要三维扫描仪或立体深度摄像机，因此建模成本低、速度快、可 操作性强；

2、提高了建模精度，提出标准三维模板，即泥塑人物的建模信息来自泥 塑人物的照片图像或视频信息，建模过程利用图像特征的正交关系，并将其 与标准三维模板进行比对、调整和补充来完成；

3、效果更逼真生动，便于修改。

附图说明

图1为本发明实施例所述的一种荆楚民间故事泥塑人物数字化三维模型 合成方法流程示意图；

图2为图1中泥塑人物骨骼层的结构示意图；

图3为图1中几何建模的具体流程示意图；

图4为本发明实施例所述的一种荆楚民间故事泥塑人物数字化三维模型 合成系统的结构示意图；

图5为图4中几何建模模块的结构示意图。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

实施例1，如图1所示，本发明实施例的一种荆楚民间故事泥塑人物数字 化三维模型合成方法，该方法包括：

步骤1，数字化采集荆楚民间故事泥塑人物的视频、图片；

步骤2，将泥塑人物的泥塑三维模型分为骨骼层、肌肉层、皮肤层和服饰 层，服饰层在最外层，皮肤层由平面或曲面片组成的表面模拟皮肤的几何外 形，皮肤层环绕在肌肉层周围，骨骼层在最底层，骨骼层为包括多个关节点 的骨骼关节模型，其中将泥塑人物的臀部关节作为根结点，将两个相邻的关 节点中最靠近根结点位置的关节点作为父结点，连接在父结点之下的关结点 为子结点，按照树形层次结构将根结点、父结点和子结点使用骨骼段连接起 来，对分层后的泥塑三维模型进行几何建模，得到泥塑人物的三维几何模型；

人体一共包括206块骨骼、200多个关节和600多块骨骼肌，在建模过程 中，如果将这些全部描述出来虽提高了骨骼关节系统表示的真实性，但同时 更多的是增加了骨骼关节模型的复杂性和可控性难度，根据H-Anim标准，将 人体骨骼关节模型简化为21个关节点，如图2所示，泥塑人物的骨骼层包括 21个关节点，分为1个根结点、3个父结点和17个子结点，其中将泥塑人物 的臀部关节作为根结点，将泥塑人物的腰关节、左臀关节和右臀关节作为父 结点，将泥塑人物的胸关节、左肩关节、左肘关节、左腕关节、左手、颈关 节、头部、右肩关节、右肘关节、右腕关节和右手作为腰关节的子结点，将 泥塑人物的左膝关节、左踝关节和左脚作为左臀关节的子结点，将泥塑人物 的右膝关节、右踝关节和右脚作为右臀关节的子结点；

如图3所示，几何建模的步骤具体包括：

步骤S1，对步骤1中采集到的视频、图片进行特征点提取；

步骤S2，根据提取到的特征点构建泥塑三维模型的网格模型；

步骤S3，创建泥塑人物的骨骼；

步骤S4，蒙皮，得到泥塑人物的三维几何模型；

步骤S5，将得到的三维几何模型与标准三维模板进行匹配；

步骤S6，对匹配后的三维几何模型进行校准，并进行纹理匹配；

步骤S7，调整三维几何模型与肌肉层的对应关系；

步骤S8，输出泥塑人物的三维几何模型；

步骤3，对泥塑三维模型进行行为建模，分析骨骼层和皮肤层的运动，在 分析骨骼层的运动时，将父结点的运动分解为相对于根结点的平移运动和旋 转运动，子结点的运动分解为相对于父结点的平移运动和旋转运动，所有子 结点相对于其父结点均独立运动，根据父结点和子结点的运动确定骨骼层的 运动，将静态的网格和内在的骨骼结合在一起，网格上的每个顶点通过蒙皮 权重将骨骼空间变换映射到网格顶点，实现皮肤层的运动，在皮肤层中，每 个顶点都对应两个参数，一个参数控制该顶点的骨骼，另一个参数表示控制 骨骼程度的权重，实现从骨骼层到皮肤层的映射，皮肤层顶点的变形和运动 通过变换影响该顶点的所有骨骼来实现，通过线性混合蒙皮算法，将骨骼层 的运动和皮肤层的网格运动相分离，只需通过骨骼层的运动便可利用蒙皮权 重这一映射关系实现网格的运动，即实现皮肤层的运动，根据骨骼层和皮肤 层的运动确定泥塑人物在运动过程中的各种姿态；

步骤4，对骨骼层运动过程中的各种姿态进行捕获，根据根结点的运动参 数确定泥塑人物的位置和朝向，根据父结点的平移运动参数和旋转运动参数 确定父结点相对于根结点的偏移距离和旋转角度，子结点的平移距离是在其 父结点坐标系下的偏移距离，根据子结点的平移运动参数和旋转运动参数确 定子结点相对于其父结点的偏移距离和旋转角度，根据所有子结点和所有父 结点的偏移距离和旋转角度完成骨骼层运动姿态的重建，根据骨骼层和皮肤 层的映射关系完成皮肤层运动姿态的重建，最终完成泥塑三维模型的三维姿 态重建；

步骤5，根据采集到的图片、视频、三维几何模型和泥塑三维模型的三维 姿态构建荆楚民间故事泥塑人物的资源库，该资源库包含具有湖北地域特征 的荆楚民间故事所设计的泥塑人物形象文档资源库、泥塑人物传统手工艺制 作过程文档资源库和泥塑人物与荆楚民间故事关联文档资源库，其中，每种 类型的文档资源库均覆盖民族文化数字化资源的所有载体形态，包括文本、 图片、音频、视频、三维模型和三维动作。

实施例2，如图4所示，本发明还提供了一种荆楚民间故事泥塑人物数字 化三维模型合成系统，该系统包括：

信息采集模块，数字化采集荆楚民间故事泥塑人物的视频、图片；

几何建模模块，将泥塑人物的泥塑三维模型分为骨骼层、肌肉层、皮肤 层和服饰层，服饰层在最外层，皮肤层由平面或曲面片组成的表面模拟皮肤 的几何外形，皮肤层环绕在肌肉层周围，骨骼层在最底层，骨骼层为包括多 个关节点的骨骼关节模型，其中将泥塑人物的臀部关节作为根结点，将两个 相邻的关节点中最靠近根结点位置的关节点作为父结点，连接在父结点之下 的关节点为子结点，按照树形层次结构将根结点、父结点和子结点使用骨骼 段连接起来，对分层后的泥塑三维模型进行几何建模，得到泥塑人物的三维 几何模型；

如图2所示，泥塑人物的骨骼层包括21个关节点，分为1个根结点、3 个父结点和17个子结点，其中将泥塑人物的臀部关节作为根结点，将泥塑人 物的腰关节、左臀关节和右臀关节作为父结点，将泥塑人物的胸关节、左肩 关节、左肘关节、左腕关节、左手、颈关节、头部、右肩关节、右肘关节、 右腕关节和右手作为腰关节的子结点，将泥塑人物的左膝关节、左踝关节和 左脚作为左臀关节的子结点，将泥塑人物的右膝关节、右踝关节和右脚作为 右臀关节的子结点；

如图5所示，所述几何建模模块具体包括：

提取模块，对信息采集模块中采集到的视频、图片进行特征点提取；

网格模块，根据提取到的特征点构建泥塑三维模型的网格模型；

骨骼模块，创建泥塑人物的骨骼；

蒙皮模块，蒙皮，得到泥塑人物的三维几何模型；

匹配模块，将得到的三维几何模型与标准三维模板进行匹配；

校准模块，对匹配后的三维几何模型进行校准，并进行纹理匹配；

调整模块，调整三维几何模型与肌肉层的对应关系；

输出模块，输出泥塑人物的三维几何模型；

行为建模模块，对泥塑三维模型进行行为建模，分析骨骼层和皮肤层的 运动，在分析骨骼层的运动时，将父结点的运动分解为相对于根结点的平移 运动和旋转运动，子结点的运动分解为相对于父结点的平移运动和旋转运动， 所有子结点相对于其父结点均独立运动，根据父结点和子结点的运动确定骨 骼层的运动，将静态的网格和内在的骨骼结合在一起，网格上的每个顶点通 过蒙皮权重将骨骼空间变换映射到网格顶点，实现皮肤层的运动，在皮肤层 中，每个顶点都对应两个参数，一个参数控制该顶点的骨骼，另一个参数表 示控制骨骼程度的权重，实现从骨骼层到皮肤层的映射，皮肤层顶点的变形 和运动通过变换影响该顶点的所有骨骼来实现，通过线性混合蒙皮算法，将 骨骼层的运动和皮肤层的网格运动相分离，只需通过骨骼层的运动便可利用 蒙皮权重这一映射关系实现网格的运动，即实现皮肤层的运动，根据骨骼层 和皮肤层的运动确定泥塑人物在运动过程中的各种姿态；

姿态重建模块，对骨骼层运动过程中的各种姿态进行捕获，根据根结点 的运动参数确定泥塑人物的位置和朝向，根据父结点的平移运动参数和旋转 运动参数确定父结点相对于根结点的偏移距离和旋转角度，子结点的平移距 离是在其父结点坐标系下的偏移距离，根据子结点的平移运动参数和旋转运 动参数确定子结点相对于其父结点的偏移距离和旋转角度，根据所有子结点 和所有父结点的偏移距离和旋转角度完成骨骼层运动姿态的重建，根据骨骼 层和皮肤层的映射关系完成皮肤层运动姿态的重建，最终完成泥塑三维模型 的三维姿态重建；

资源库构建模块，根据采集到的图片、视频、三维几何模型和泥塑三维 模型的三维姿态构建荆楚民间故事泥塑人物的资源库，该资源库包含具有湖 北地域特征的荆楚民间故事所设计的泥塑人物形象文档资源库、泥塑人物传 统手工艺制作过程文档资源库和泥塑人物与荆楚民间故事关联文档资源库， 其中，每种类型的文档资源库均覆盖民族文化数字化资源的所有载体形态， 包括文本、图片、音频、视频、三维模型和三维动作。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域 的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围 之内。