基于示范表演的直观高效的三维人体运动数据检索方法

摘要

本发明公开了一种基于示范表演的直观高效的三维人体运动数据检索方法。方法：1)用子空间划分的方法为大容量运动数据库构建运动索引；2)设定运动传感器的全局参考坐标系；3)载入标准三维人体骨架；4)指定运动传感器与标准三维人体骨架节点之间的对应关系；5)通过姿势对齐将运动传感器和标准三维人体骨架进行绑定；6)用运动传感器获得的数据来驱动标准三维人体骨架，获得示范表演运动；7)用子空间划分的方法对示范表演运动进行特征提取；8)载入运动索引，进行定性检索；9)设定参数，在定性检索的基础上进行定量检索。本发明解决了在人物动画制作过程中如何直观、准确的表达动画制作人员的创制意图，实现所需运动数据的快速有效提取的问题。

说明书

技术领域

本发明涉及三维人体运动数据的检索方法，尤其是一种基于示范表演的直观高效的三维人体运动数据检索方法。

背景技术

按照输入信息的不同，运动检索主要有四种方法：文本、记谱语言、手绘草图、运动样例。传统的文本检索方法以关键字描述作为输入(如“先出拳后踢腿”)，搜索出具有这些标注属性的运动片断，但是文本描述内容模糊、不完整，且存在主观理解不一致的问题，不适于检索大容量的运动数据库。记谱语言侧重于各个关节点的底层位置和方向的描述，能够比较清楚地表达运动数据的内容与含义[1]，但该方法需要动画制作人员熟悉记谱语言，在交互方面不够直观。用二维人体骨架图和手绘人偶图也可以表现人物的运动，根据这些手绘草图可以恢复出三维的骨架姿势，然后以骨架姿势作为输入进行运动检索[2]，但是从二维草图恢复三维姿势是一个欠约束问题，可能会重建出太多的动作姿势，再加上检索匹配上的模糊性，可能会检索出大量不相关的运动数据。基于内容的运动检索本质上是一个时序数据的匹配问题：以一段运动样例作为输入，查找出运动数据库中所有与之相似的运动片断[3，4，5]，该方法是运动数据检索的主流方法之一。其中最具有代表性的工作来自于Muller等人，他们提出了一系列描述某一姿势下不同身体部位之间的几何关系的定性特征，通过将运动数据的局部时空变化合并得到自适应的分段，在此基础上进行高效的运动检索[6]。该方法的缺点是：用户手头可能并没有合适的样例作为输入。

基于内容的运动检索方法主要包含三个关键技术：相似性计算、索引构建、动态时间调整。

相似性标准是度量运动片断差异性的准则，有三种基本的运动相似类型：数学上相似、逻辑上相似、语义上相似。数学上相似通过计算两个运动之间的距离函数来得到，输入数据可以是位置，朝向，速度和加速度等[7，8]。但是，仅仅在数学上相似可能导致不完全甚至错误的检索结果，因为在人们眼中逻辑上相似的运动并不一定在数学上相似[3]。逻辑上相似通常被定义为运动节点和骨骼的时空不变性，比如，右手是否在躯干的前方。Muller等人引入了可以获得时空不变性的定性几何特征，克服了数学上相似而逻辑上不相似的问题[6]。语义层面上的相似是一个比较难解决的问题，因为它关系到对运动含义的高层理解。有些研究者用运动标记语言如Labanotation来解决语义问题[1，9]，但是迄今为止，问题还远远没有得到解决。大部分检索系统仍然需要用户来交互的确认匹配结果的正确含义。

构建运动索引的目的是为了加快检索速度，大容量的数据库需要索引策略。Liu等人采用基于最近邻原则的动态聚类算法构建了一个基于运动层次描述的索引树，他们的运动索引树作为一个分类器来决定包含与输入样例最相似的运动的子集[10].Li和Prabhakaran给出了一种索引有一系列属性的运动数据的树形结构[11]。Muller等人提出了一种更加完善的使用定性几何特征的索引构建方法[6]，这些几何特征用某一姿势下一系列的表示不同身体部位之间几何关系的布尔变量表示。Lin也提出了一种相似的索引方案[12]，他通过一个预处理的过程提取特征从而可以简洁的表示运动数据。

两个逻辑上相似的运动数据可能表现出很大时空变化。因此运动数据之间的比较应该考虑时间轴上的差异，比如，运动数据之间的帧对应关系应该根据一个连续的，单调递增的映射关系进行调整[3]。动态时间调整(DTW)可以找到两个时间序列之间的最优对应关系，经常被用来确定时间序列相似性，分类及对应区域[13]。

运动传感器是一种可以捕获多方面运动特性(如运动加速度和朝向等)的新型设备，随着微机电(MEMS)技术的进步，其体积和价格大大降低，已经可以用于人机交互和运动捕获等领域。尽管使用运动传感器获取高质量的运动数据还比较困难，但却可以方便的获得粗略的示范运动，从而直观、准确的呈现动画制作人员的创作意图。因此，我们提出了基于示范表演的直观高效的三维人体运动数据检索方法。该方法解决了动画制作人员在使用海量运动数据库进行运动检索时输入信息难以描述、不够直观且检索效率低下的难题。

参考文献

[1]Yu，T.，Shen，X.，Li，Q.，Geng，W.：Motion retrieval based on movement notationlanguage.Computer Animation and Virtual Worlds.2005，16(3-4)，273-282

[2]Li，Q.，Geng，W，et al.：MotionMaster：authoring and choreographing Kung-fumotions by sketch drawings.In：SCA’06：Proceedings of the 2006 ACMSIGGRAPH/Eurographics symposium on Computer animation：233-241.

[3]Kovar，L.，Gleicher，M.：Automated extraction and parameterization of motions inlarge data sets.ACM Trans.Graph.2004，23(3)，559-568

[4]Sakamoto，Y.，Kuriyama，S.，Kaneko，T.：Motion map：image-based retrieval andsegmentation of motion data.In：SCA’04：Proceedings of the 2004 ACMSIGGRAPH/Eurographics symposium on Computer animation，259-266.Eurographics Association，Aire-la-Ville，Switzerland，Switzerland

[5]Ren，L.，Patrick，A.，Efros，A.A.，Hodgins，J.K.，Rehg，J.M.：A data-drivenapproach to quantifying natural human motion.ACM Trans.Graph.2005，24(3)，1090-1097

[6]Muller，M.，Roder，T.，Clausen，M.：Efficient contentbased retrieval of motioncapture data.ACM Trans.Graph.2005，24(3)，677-685

[7]Arikan，O.，Forsyth，D.A.：Interactive motion generation from examples.ACMTrans.Graph.2002，21(3)，483-490

[8]Lee，J.，Chai，J.，Reitsma，P.S.A.，Hodgins，J.K.，Pollard，N.S.：Interactive controlof avatars animated with human motion data.In：SIGGRAPH’02：Proceedingsof the 29th annual conference on Computer graphics and interactive techniques，2002，pp.491-500.ACM，New York，NY，USA

[9]Chiu，C.Y.，Chao，S.P.，Wu，M.Y.，Yang，S.N.，Lin，H.C.：Content-based retrievalfor human motion data.Journal of Visual Communication and ImageRepresentation，Special Issue on Multimedia Database Management Systems.2004，15(3)，446-466

[10]Liu，F.，Zhuang，Y.，Wu，F.，Pan，Y.：3d motion retrieval with motion index tree.Comput.Vis.Image Underst.2003，92(2-3)，265-284

[11]Li，C.，Prabhakaran，B.：Indexing of motion capture data for efficient and fastsimilarity search.Journal of Computers.2006，Vol.1(3)，pp.35-42

[12]Lin，Y.：Efficient human motion retrieval in large databases.In：GRAPHITE’06：Proceedings of the 4th international conference on Computer graphics andinteractive techniques in Australasia and Southeast Asia，2006，pp.31-37.ACMPress，New York，NY，USA

[13]Salvador，S.，Chan，P.：Toward accurate dynamic time warping in linear time andspace.Intelligent Data Analysis.2007，11，561-580

发明内容

本发明的目的是提供一种基于示范表演的直观高效的三维人体运动数据检索方法。

包括如下步骤：

1)用子空间划分的方法为大容量运动数据库构建运动索引，对运动数据库中的每个运动数据进行特征提取与分段，并转化为子空间特征符号序列；

2)连接运动传感器，设定运动传感器的全局参考坐标系；

3)输入用户预定义的标准三维人体骨架；

4)通过程序界面交互或通过输入配置文件来指定步骤2)中连接好的运动传感器与步骤3)中输入的标准三维人体骨架节点之间的对应关系；

5)将步骤2)中连接好的运动传感器放置到人体相应部位，通过姿势对齐将运动传感器和标准三维人体骨架进行绑定；

6)用绑定好的运动传感器获得的朝向数据以前向运动学的方法驱动标准三维人体骨架，输出粗略的示范表演运动；

7)对输出的示范表演运动用子空间划分的方法进行特征提取与分段，去除示范表演运动中的噪音，提取其中的运动特征，输出特征符号序列；

8)载入运动索引，以特征符号序列为输入，进行定性检索，排除不相似的运动，输出候选运动集合；

9)设定特征节点的权重以及定量检索结果的数目，输入原始示范运动或由原始示范运动的特征符号序列转换得到的运动特征向量序列，在候选运动集上进行定量检索，得到最终结果。

所述的用子空间划分的方法为大容量运动数据库构建运动索引，对运动数据库中的每个运动数据进行特征提取与分段，并转化为子空间特征符号序列步骤：用胸、左肘、右肘、左腕、右腕、左膝、右膝、左踝、右踝9个特征节点来构建索引，每个特征节点的父节点的局部空间在垂直方向上被划分为上、中、下三层；在水平方向上被划分为前、后、左、右、中五部分，共划分出15个子空间，特征节点处于某个子空间时可用一个数字符号表示；对运动数据的每一帧计算得到这9个特征节点的符号表示，符号表示相同的连续帧被合并为一个运动分段；对运动数据库中的每一个运动序列进行特征提取，得到其分段后的符号序列。

所述的将步骤2)中连接好的运动传感器放置到人体相应部位，通过姿势对齐将运动传感器和标准三维人体骨架进行绑定：用户做出与标准三维人体骨架相同的初始姿势，系统以运动传感器的朝向矩阵的逆矩阵乘以相应骨架节点的初始朝向矩阵，得到姿势对齐矩阵；获取示范表演时，首先要将运动传感器得到的朝向矩阵乘以姿势对齐矩阵，然后才能将其赋给相应的骨架节点。

所述的载入运动索引，以特征符号序列为输入，进行定性检索，排除不相似的运动，输出候选运动集合：根据用户选定的特征节点对已有的运动索引进行动态的运动分段合并，生成新的运动索引并载入到内存；以时序数据匹配的方法建立待比较的运动特征序列之间的对应关系，并判断两者是否对应相等；特征符号之间的匹配条件为查询特征符号是否包含于由候选特征符号及其相邻特征符号组成的集合中。

本发明的目标是直观、准确的表达动画制作人员的创制意图，实现所需运动数据的快速有效提取，从而高效的重用已有运动素材。大容量运动数据库中包含丰富的运动素材，动画师可以通过运动传感器方便的获取示范表演运动，借助于我们构建的运动索引，可以快速高效的检索出与之相似的高质量的运动数据。目前已有的运动检索方法要么检索时间过于漫长、结果不够准确，要么检索流程过于繁琐、交互不够直观，本发明克服了这两个难题。在动画制作过程中，动画师所需的三维人体运动一般是通过昂贵的运动捕捉设备获得，这个过程需要由专业演员表演动画师设计的动作。本发明允许动画师充分重用已有运动素材，而不需要每个动作都重新捕捉，大大节省了动画制作时间和成本。本发明解决了大容量运动数据库难以检索的问题，提供了一种动画师易于理解和使用的直观高效的运动数据检索方法。

附图说明

图1(a)是标准三维人体骨架示意；

图1(b)是运动传感器在人体上的放置部位示意

图2是通过姿势对齐将运动传感器绑定到标准三维人体骨架示意；

图3是本运动检索系统框架与流程示意；

图4(a)是子空间划分的顶视图示意；

图4(b)是子空间划分的侧视图示意；

图5是基于子空间划分的运动特征提取与分段示意；

图6是运动索引大小与特征节点个数关系示意；

图7是运动检索实例流程示意。

具体实施方式

基于示范表演的直观高效的三维人体运动数据检索方法包括如下步骤，见图3：

1)用子空间划分的方法，见图4(a)-4(b)，为大容量运动数据库构建运动索引，对运动数据库中的每个运动数据进行特征提取与分段，并转化为子空间特征符号序列，索引的大小与选定的特征关节点的个数有关，关节点数越多，分段越细，索引所占空间也就越大，图6展示了运动索引大小与特征节点个数的关系，其中上、下的F¹、F²分别表示对两个不同的节点提取特征得到的分段序列，中间的F是同时对这两个节点提取特征得到的分段序列，可见，选用的特征节点数越多，运动分段越细，所需的存储空间也越大；

2)连接运动传感器，设定运动传感器的全局参考坐标系；

3)输入用户预定义的标准三维人体骨架，见图1(a)；

4)通过程序界面交互或通过输入配置文件来指定步骤2)中连接好的运动传感器与步骤3)中输入的标准三维人体骨架节点之间的对应关系；

5)将步骤2)中连接好的运动传感器放置到人体相应部位，见图1(b)，通过姿势对齐将运动传感器和标准三维人体骨架进行绑定，见图2；

6)用绑定好的运动传感器获得的朝向数据以前向运动学的方法驱动标准三维人体骨架，输出粗略的示范表演运动；

7)对输出的示范表演运动用子空间划分的方法进行特征提取与分段，见图5，去除示范表演运动中的噪音，提取其中的运动特征，输出特征符号序列；

8)载入运动索引，以特征符号序列为输入，进行定性检索，排除不相似的运动，输出候选运动集合；

9)设定特征节点的权重以及定量检索结果数目参数，输入原始示范运动或由运动特征符号序列转换得到的运动特征向量序列，在候选运动集上进行定量的检索，得到最终结果。

所述的用子空间划分的方法为大容量运动数据库构建运动索引，对运动数据库中的每个运动数据进行特征提取与分段，并转化为子空间特征符号序列步骤：用胸、左肘、右肘、左腕、右腕、左膝、右膝、左踝、右踝9个特征节点来构建索引，每个特征节点的父节点的局部空间在垂直方向上被划分为上、中、下三层；在水平方向上被划分为前、后、左、右、中五部分，共划分出15个子空间，特征节点处于某个子空间时可用一个数字符号表示；对运动数据的每一帧计算得到这9个特征节点的符号表示，符号表示相同的连续帧被合并为一个运动分段；对运动数据库中的每一个运动序列进行特征提取，得到其分段后的符号序列。

所述的将步骤2)中连接好的运动传感器放置到人体相应部位，通过姿势对齐将运动传感器和标准三维人体骨架进行绑定：用户做出与标准三维人体骨架相同的初始姿势，系统以运动传感器的朝向矩阵的逆矩阵乘以相应骨架节点的初始朝向矩阵，得到姿势对齐矩阵；获取示范表演时，首先要将运动传感器得到的朝向矩阵乘以姿势对齐矩阵，然后才能将其赋给相应的骨架节点。

所述的载入运动索引，以特征符号序列为输入，进行定性检索，排除不相似的运动，输出候选运动集合：根据用户选定的特征节点对已有的运动索引进行动态的运动分段合并，生成新的运动索引并载入到内存；以时序数据匹配的方法建立待比较的运动特征序列之间的对应关系，并判断两者是否对应相等；特征符号之间的匹配条件为查询特征符号是否包含于由候选特征符号及其相邻特征符号组成的集合中。

下面用一个实例来说明具体实施方式：

首先对大容量运动数据库进行预处理，对每个运动数据进行特征提取与分段，构建运动索引，然后即可按照流程进行基于示范表演的直观高效的三维人体运动数据检索，见图3。连接运动传感器，设定其全局参考坐标系，输入标准三维人体骨架，见图1(a)，如果用户只关注局部身体运动，如上半身的运动，则只要选定胸、左肘、右肘、左腕、右腕5个特征节点，利用5个运动传感器即可获取上半身的示范表演运动，通过程序界面交互或通过输入配置文件来指定运动传感器与关节点的对应关系，接着将运动传感器放置于人体相应部位，见图1(b)，经过姿势对齐后，见图2，运动传感器即可以实时驱动人体骨架运动。用子空间划分的方法，见图4(a)-4(b)，对示范表演运动进行特征提取，得到其特征符号序列。在将运动索引载入到内存的过程中，根据用户选定的特征节点系统对已有的运动索引进行动态的运动分段合并，生成新的运动索引，图6展示了这一过程：假设F是同时对某两个节点提取特征后得到的运动索引序列，如果用户只选择节点1来进行运动检索，则系统自动进行分段合并后得到的索引序列为F¹。通过图5我们可以看出，经过特征提取与分段后，示范表演运动以及与之相似的运动数据库中的运动数据可转换为相同的特征符号序列，因此基于特征序列的定性检索可以排除与示范表演运动不相似的运动数据，得到候选运动片断集合，但由于定性检索的模糊性，检索出来的运动片断数量比较多，虽然包含了所有与输入运动相似的运动，但也包含了一些与输入运动不相似的运动，因此需要进一步的精确检索。设定各个特征关节点的权重以及定量检索结果的数目之后，进行基于动态时间调整(Dynamic Time Warping)算法的定量检索。最终，我们得到了所需要的高质量的三维人体运动数据，该检索实例的流程见图7。