发音器官的网格动画生成方法

摘要

本发明提供了一种发音器官动画生成方法，包括：发音器官运动关键点的定义，各发音器官的中矢状面的二维网格的生成，发音器官纹理贴图，基于薄板样条的网格运动计算。本发明由发音器官运动关键点的位置，推算出发音器官中矢状面的形状，进而可以由发音器官运动关键点的运动，直接得到整个发音器官在中矢状面的运动情况，其优势在于简化的发音器官运动的描述参数，降低了发音器官动画制作的难度。

说明书

技术领域

本发明涉及发音器官运动重现技术，尤其涉及一种发音器官的网格动画生成方法。

背景技术

发音器官运动重现是发音器官建模和发音机理研究的重要内容，发音器官的网格动画生成方法简化了发音器官的运动描述的复杂度，因而提供了一种可实现的基于关键点运动数据的发音器官运动重建方法。它能够通过从人身上采集而来或者通过机理分析获得的发音器官运动关键点的运动情况重建出整个发音器官的协同运动情况，其成果对于发音机理的研究，发音器官发声障碍的诊断和治疗以及人机交互领域有重要意义。

目前已有的发音器官运动重现技术中，一种是基于影像学的方法，通过从人体采集的影像学数据，如光学图像，核磁共振影像，X光影像，超声成像等，得到特定人的发音器官形状及运动情况，该方法成本很高，由影像获得完整的发音器官模型及其运动过程需要经过复杂的计算，且获得的人体发音器官形状和运动情况针对特定人；另一种方法是通过对发音器官建立生物物理模型，通过对发音器官的器官构造尤其是肌肉结构，分析发音时器官的受力情况，进而重建出发音器官的运动，使用该方法对解剖学和生物力学的理论水平要求很高，且计算量较大，不适合一般应用。

发明内容

(一)要解决的技术问题

为解决上述的一个或多个问题，本发明提供了一种发音器官网格动画生成方法。

(二)技术方案

根据本发明的一个方面，提供了一种发音器官网格动画生成方法，包括发音器官运动关键点的定义，各发音器官中矢状面的二维网格的生成，发音器官纹理贴图，基于薄板样条的网格运动计算。其中，在发音器官运动关键点的定义步骤中，根据发音器官动画的需要，在人体的唇和舌头上指定了运动关键点；在发音器官中矢状面的二维网格生成步骤中，以发音器官运动关键点为部分网格点，同时根据发音器官的形状，补充其他的网格点，并利用进行三角划分得到能够描述发音器官在中矢状面的形状和运动的网格；基于薄板样条的网格运动的计算是利用薄板样条方法，由运动关键点的运动情况计算出所有网格点的运动情况，进而得到整个发音器官网格的运动；在发音器官纹理贴图步骤中，将发音器官中矢状面的纹理映射在建立好的二维网格上。

(三)有益效果

从上述技术方案可以看出，本发明发音器官网格动画生成方法具有以下有益效果：

(1)本发明发音器官网格动画生成方法是通过发音器官关键点的运动直接驱动发音器官网格模型运动的方法，在网格模型建立好之后，除关键点运动数据之外不需要其他数据的辅助，而能够直接得到完整的运动情况；

(2)本发明发音器官网格动画生成方法，具有模型复杂度低，计算量小的优点，它能够实现实时的网格动画生成。

附图说明

图1为本发明实施例发音器官网格动画生成方法示意图；

图2为本发明实施例发音器官网格动画生成方法发音器官关键点定义示意图；

图3为本发明实施例发音器官网格动画生成方法中舌中矢状面的二维网格示意图；

图4为本发明实施例发音器官网格动画生成方法中上唇中矢状面的二维网格示意图；

图5为本发明实施例发音器官网格动画生成方法中下唇中矢状面的二维网格示意图；

图6为本发明实施例发音器官网格动画生成方法中下颌中矢状面的二维网格示意图；

图7为本发明实施例发音器官网格动画生成方法中软腭中矢状面的二维网格示意图；

图8为本发明实施例发音器官网格动画生成方法中基于薄板样条的网格运动控制方法的示意图；

图9为本发明实施例发音器官网格动画生成方法中发音器官纹理贴图的示意图；

图10为本发明实施例发音器官网格动画生成方法中发音器官纹理贴图在运动中的示意图；

【主要元件符号说明】

五角星点-发音器官运动关键点

方形点-发音器官刚体运动网格点

圆形点-发音器官非刚体运动网格点

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是在可接受的误差容限或设计约束内近似于相应的值。

本发明发音器官二维网格动画生成技术中，可由预先定义的一组发音器官运动关键点的运动情况，得到整个发音器官中矢状面网格模型的运动。

在本发明的一个示例性实施例中，提供了一个发音器官网格动画生成方法，如图1所示，其中首先根据发音器官关键点的定义，由医学影像或通过发音机理分析得到的发音器官运动信息中，得到发音器官关键点的运动，根据发音器官关键点的运动，使用基于薄板样条的映射方法计算出发音器官网格的其他网格点的运动情况，再根据三角划分，将发音器官中矢状面的贴图映射在三角网格模型上，得到完整的发音器官中矢状面的运动动画。

以下分别对本实施例发音器官网格动画生成方法的各个步骤进行详细说明。

(步骤1：获取发音器官关键点的运动状况)

步骤1.1：发音器官关键点的确立

发音器官运动关键点共有7个，由人为指定，其位置如图2中的五角星标记所示，所有的发音器官运动关键点位于人头的中矢状面，其中，舌部具有三个关键点，分别是点1、点2、点3，点1位于舌尖，第二位于舌面上舌尖后2-3cm处，点3位于舌面上舌尖后5-7cm处；唇部有两个关键点，分别是点4、点5，点4位于上唇际线处，点5位于下唇际线处；下巴上有一个关键点，即点6，位于下巴向前突起处，软腭处有一个关键点，即点7，位于软腭表面悬雍垂向上1cm左右处。这7个关键点的运动在包含了绝大部分发音器官运动信息的同时，还能够被医学影像设备或三维运送捕捉设备记录。其位置随着不同人的发音器官形状和大小会有些微差别。

步骤1.2：获取发音器官关键点的运动状况

预先由医学影像或通过发音机理分析而得到发音器官运动信息，建立发音器官运动关键点在静止时及进行发音运动时的运动状况的数据库，通过对照数据库而得出发音器官运动关键点的运动状况。

(步骤2：发音器官二维网格的生成)

步骤2.1：插补网格点的确定

多个插补网格点位于舌部、唇部、下巴及软腭上，对于唇部、下巴及软腭，各个插补网格点以相近的距离均匀的分布于上述各个器官的边缘，并尽量使得插补点位于对于表面弯曲程度较大处，对于舌部，除均匀的分布在舌部表面之外，还接近均匀的分布在舌部的内部组织上。插补网格点包括刚体运动网格点和非刚体运动网格点，其中刚体运动网格点如图3到图8中方形标记所示，非刚体运动网格点如图3到图8中圆点标记所示。图3到图8中所示的刚体运动网格点是刚体运动网格点的最少情况，即至少需包含这些点以满足动画需要，对于一些对动画精细度要求较高的场合，可沿着各个器官边缘在这些刚体运动网格点之间插入更多的刚体运动网格点。图4到图8中，位于上唇的两个点、下唇的两个点以及软腭处的四个点是相应器官非刚体运动网格点的最少情况，即至少需包含这些非刚体运动网格点。对于对动画精度要求较高的场合，可沿着各个器官边缘在这些点与临近的网格点之间插入更多的非刚体运动网格点。图3和图8中，位于舌部的非刚体运动网格点，是舌部的一个一般表示，舌表面的非刚体运动网格点呈均匀分布(需隔开运动关键点)，其间隔的大小需根据精度需要确定但一般不少于9个，舌内部划分为一个三层结构，在中心定义一个非刚体运动网格点(该中心点的位置要求并不严格，可由表面所有网格点的平均计算得到)，该中点与表面非刚体运动网格点或运动关键点连线的中点也作为一个非刚体运动网格点。

2.2链接网格点，得到各发音器官的三角网格模型

对于唇部、下巴及软腭的三角网格的最简情况，如图4～图7所示，无论选取多少个网格点，其链接方式需满足位于表面的向邻近的网格点(包括运动关键点和查补网格点)相连，内部的连接方式并无要求，将网格点连接生三角网格即可。舌部的网格链接如图3所示，由于舌部的网格点分布为三层结构，最内层为一个点，表面各个网格点满足相邻网格点相连，中间层满足相邻网格点相连，层之间以图3所示方式依次将各个点连接，形成最终的三角网格。

本实施例中各发音器官静止时的三角网格示意图，如图3～7所示。

图3为本实施例中舌的网格示意图，点1、2、3为已定义的发音器官运动关键点。在舌部，除关键点外，沿着舌部表面由前舌根(舌表面与下颚相连处，点8)沿着舌面至后舌根(点9)中间，以相近的间隔分布15至20个网格点(包括关键点1、2、3)，在舌面向下1cm左右处，依图样分布12个以上网格点，舌形状的重心位置为一个网格点，这些网格点以如图的链接方法，得到舌部的三角网格模型。

图4为本实施例中上唇的网格示意图，点4为已定义的发音器官运动关键点。在上唇部，除关键点外，沿着唇的边缘设定两个网格点，网格点10为脸部上唇唇际线向上至鼻子下方处，网格点11为唇内部与上颚连接处。这5个网格点以如图的链接方法，得到上唇的三角网格模型。

图5为本实施例中上唇的网格示意图，点5为已定义的发音器官运动关键点。在上唇部，除关键点外，沿着唇的边缘设定两个网格点，网格点12为脸部下唇唇际线向下至下巴凹陷处，网格点17为唇内部与下颚连接处。这5个网格点以如图的链接方法，得到下唇的三角网格模型。

图6为本实施例中下颌的网格示意图，点6为已定义的发音器官运动关键点。网格点12、13、14、15如图分布在人脸的下巴上。点8、点9、点12、点17已经在前面其他器官网格建模中给出了定义，点18为下牙的上顶点，点16在脖子内部。各个网格点以如图的链接方法，得到下颌的三角网格模型。

图7为本实施例中软腭的网格示意图，点7为已定义的发音器官运动关键点。网格点19为软腭与硬腭下表面的交界处，网格点20为软腭与硬腭上表面的交界处，除此之外在软腭表面分布有4个网格点。各个网格点以如图的链接方法，得到软腭的三角网格模型。

(步骤3：网格运动的计算)

发音器官的运动被分为两部分，刚体运动和非刚体运动，其中，这里刚体运动是指运动只包含旋转，位移的运动，具体就是下颌的张合运动，另外静止不动也被视为一种刚体运动；非刚体运动指唇部，舌头以及软腭的形变运动。在本实施例中，发音器官的运动关键点以五角星形点表示，进行刚体运动的网格点以方形点表示，进行非刚体运动的网格点以圆点表示。

图8为本实施例中基于薄板样条的网格运动计算的流程图。薄板样条技术广泛运用于已知对应标记点的图像配准。在本发明中，将该方法用于计算网格点在运动关键点的带动下的运动中位置。

3.1刚体运动网格点运动中的位置计算

在步骤2确定的刚体运动网格点中，点10、11、19、20(即位于上唇，软腭的点)为静止点。在本实施例中，下巴的张合运动被简化成下颌绕其根部进行的旋转运动，点8、9、12、13、14、15、16、17、18则会以一个圆心做一定角度的旋转运动，来体现下颌的张合，圆心位于下颌的根部。通过下巴的运动关键点(点6)的运动，计算出下巴的转角，得到点8、9、12、13、14、15、16、17、18(即所有与点6直接或间接相连接的刚体运动网格点)的转动角度，再将这些点绕下颌根部的虚拟点进行旋转得到刚体运动网格点的位置，即发音器官运动时的位置。本实施例中下颌根部的位置位于人的耳朵下方2至3cm处，由真实的人头部数据测量得到。记下颌根部的点为o，p_t表示8、9、12、13、14、15、16、17、18中任意一点，k_t表示点6在第t时刻的位置，那么下颌转角θ可以由下式(1)近似估计得到：

(式1)

$>\theta ={\sin }^{-1}\frac{\left|\right|k_t-t_0\left|\right|}{\left|\right|k_0-o\left|\right|}$>

则p_t的计算可由绕o向下旋转θ得到。其中，下标0表示静止状态的位置。

发音器官在静止时，其运动关键点和刚体运动网格点(静止点也被视为刚体运动网格点)的位置记为：

$>p_{0i}=(x_{0i}^p,y_{0i}^p)$>

在发音器官运动时，任意时刻t的运动关键点和刚体运动网格点的位置记为：

$>p_{\mathrm{ti}}=(x_{\mathrm{ti}}^p,y_{\mathrm{ti}}^p)$>

其中，i＝1，…，n，n为运动关键点与刚体运动网格点的合计个数，根据步骤2的说明，n为不小于20的正整数，但并不限定其上限值，可根据动画精细度的要求适当地增加。p_ti可以由运动关键点的位置和上文提到的刚体运动的计算得到。

3.2非刚体运动网格点在运动中的位置的计算

步骤2确定的所有的非刚体运动网格点，则是根据刚体运动网格点和运动关键点的位置采用基于薄板样条的方法计算得来。将得到的刚体运动网格点(包括静止点)以及运动关键点当作标记点，进而由它们的位置通过薄板样条的方法计算出非刚体运动网格点的位置，计算时，将下唇、舌头和下颌作为一个共同体进行运算(它们的网格相连)，上唇、软腭则各自计算其形变。

具体的计算方法描述如下：

在发音器官静止时，非刚体运动网格点的位置记为：

$>q_{0j}=(x_{0j}^q,y_{0j}^q)$>

在发音器官运动时，非刚体运动网格点的位置记为：

$>q_{\mathrm{tj}}=(x_{\mathrm{tj}}^q,y_{\mathrm{tj}}^q)$>

(其中，j＝1，…，m t＞0)

m为所有非刚体运动网格点的个数，至少包含上下唇各2个，软腭4个，舌部表面9个以上，舌内部10个以上，因此m不应小于25，不限定其上限值，可以根据动画精细度的要求而适当地增加。

q_tj的计算方法如式(2)所示(以t时刻x坐标的计算为例，y坐标的计算方法相似)：

(式2)

$>x_{\mathrm{tj}}^q=a_1+a_x{x}_{0j}^q+a_y{y}_{0j}^q+{\Sigma }_{i=1}^n{w}_{i}U\left(r_{\mathrm{ij}}^{\mathrm{pq}}\right)$>

其中：

U(γ)＝γ²log(γ²)

$>r_{\mathrm{ij}}^{\mathrm{pq}}=|p_{0i}-q_{0j}|=\sqrt{{(x_{0i}^p-x_{0j}^q)}^2+{(y_{0i}^p-y_{0j}^q)}^2}$>

代表p_0i和q_0j之间的欧式距离，其中，t时刻未知参数为

C＝(w₁...w_n|a₁ a_x a_y)^T

上标T代表矩阵转置，C可由式(3)计算得到：

(式3)

C＝L^-1X

其中：

$>L=\left(\begin{array}{cc}K& P\\ P^T& O\end{array}\right)$>

$>P=\left(\begin{array}{ccc}1& x_{01}^p& y_{01}^p\\ 1& x_{02}^p& y_{02}^p\\ ·& ·& ·\\ ·& ·& ·\\ ·& ·& ·\\ 1& x_{0n}^p& y_{0n}^p\end{array}\right)$>

U(γ)＝γ²log(γ²)

$>r_{\mathrm{ik}}^p=|p_{0i}-p_{0k}|=\sqrt{{(x_{0i}^p-x_{0k}^p)}^2+{(y_{0i}^p-y_{0k}^p)}^2}$>

代表p_0i和p_0k之间的欧式距离，将得到的C代入式(2)得到的值为非刚体运动网格点在动画重现时的x坐标。

$>X=(x_{t1}^p{x}_{t2}^p...x_{\mathrm{tn}}^p|000)$>

代表计算非刚体运动网格点的y坐标时，参数计算按照式(4)

(式4)

C＝L^-1Y

其中L的定义不变，

$>Y=(y_{t1}^p{y}_{t2}^p...y_{\mathrm{tn}}^p|000)$>

将得到的C代入式(2)得到的值为非刚体运动网格点在动画重现时的y坐标。

由此，得出各个刚体运动网格点与非刚体运动网格点在发音器官静止时及发音器官运动时的位置。

(步骤4：发音器官的纹理贴图)

该步骤将一张绘制了发音器官中矢状面的位图覆盖至发音器官网格上，该位图即为纹理贴图，网格的形变可以带动纹理贴图形变已达到动画的目的，其方法如下。

4.1发音器官静止时的贴图

图9为本实施例中静止时发音器官纹理贴图的示意图，在纹理贴图过程中，图中的黑色背景以及其他未被网格包围的部分(如硬腭，鼻子等器官贴图)为背景贴图，在发音器官的动画过程中这些部分保持静止。

在被发音器官网格包围的部分，根据上述步骤3中计算出的各个刚体运动网格点与非刚体运动网格点在静止及运动时的位置，将各个发音器官的纹理贴在已建立的对应的各发音器官的三角网络模型上，此时网格点对应贴图上的一个点，每一个贴图上的点可由包围它的网格三角形三个顶点坐标的唯一线性组合得到。

4.2各发音器官发生了运动时的贴图

图10为本实施例中运动中的发音器官纹理贴图的示意图，同样地在纹理贴图过程中，图中的黑色背景以及其他未被网格包围的部分(如硬腭，鼻子等器官贴图)为背景贴图，在发音器官的动画过程中这些部分保持静止。

在被发音器官网格包围的部分，根据上述步骤3中计算出的各个刚体运动网格点与非刚体运动网格点在运动时的位置，将各个发音器官的纹理贴在已建立的对应的各发音器官的三角网络模型上，网格点与贴图上点的对应关系与静止时相同，但由于网格的运动，纹理贴图上的点被映射在了新的位置，因此网格点的运动同时也带动了纹理贴图的形变。

(步骤5：动画重建步骤)

根据在上述步骤3中得到的各个所述发音器官的所述三角网格模型的网格运动状况，对进行纹理贴图后的各所述发音器官的运动动画进行重建。

根据本发明，通过发音器官关键点的运动直接驱动发音器官网格模型运动，在网格模型建立好之后，除关键点运动之外不需要其他数据的辅助，而能够直接得到完整的发音器官运动状况；对发音器官关键点运动的数据来源没有要求；本发明采用的方法计算量小，易于操作。