在虚拟世界中控制对象的系统、方法和记录介质

摘要

提供了一种在虚拟世界中控制虚拟形象的特征的系统和方法。控制虚拟形象的特征的系统可基于虚拟世界的虚拟形象信息以及使用基于传感器的输入装置表达用户意图的传感器控制命令来产生虚拟形象控制信息。

说明书

技术领域

一个或多个实施例涉及一种控制真实世界的用户的图形适合于虚拟世界 的虚拟形象的特征的方法。

背景技术

近来，将真实世界的用户表示为虚拟世界的虚拟形象的兴趣极大地增加。 具体地讲，已经积极地做出对控制以使用户的实际特征(诸如，外貌、运动等) 适合于虚拟世界的虚拟形象从而虚拟形象可被逼真地显示的方法的研究。

因此，存在对一种控制虚拟世界的虚拟形象的特征的系统和方法的期望。

发明内容

根据一个或多个实施例的一方面，可提供一种控制虚拟形象的特征的系 统，该系统包括：传感器控制命令接收器，经由基于传感器的输入装置来接 收指示用户的意图的传感器控制命令；虚拟形象控制信息产生器，基于传感 器控制命令来产生虚拟形象控制信息。

虚拟形象信息可包括：用于标识虚拟形象的标识符(ID)以及指示虚拟形 象的形态学信息的族的属性，作为元数据。

虚拟形象信息可包括：用于定义虚拟形象动画的各种行为的运动元素的 自由方向(FreeDirection)，作为元数据。

虚拟形象信息可包括：用于指示虚拟形象的行为的各种表情的物理条件 (PhysicalCondition)的元素作为用于虚拟行为外貌的元数据，并且可包括身体 灵活性(BodyFlexibility)和身体力量(BodyStrength)作为PhysicalCondition的 子元素。

虚拟形象信息可包括：用于定义用于控制虚拟形象的面部表情和动作的 虚拟形象脸特征点以及身体特征点的元数据。

根据一个或多个实施例的另一方面，可提供一种控制虚拟形象的特征的 方法，该方法包括：经由基于传感器的输入装置来接收指示用户意图的传感 器控制命令；基于传感器控制命令来产生虚拟形象控制信息。

根据一个或多个实施例的另一方面，可提供一种存储元数据结构的非暂 时性计算机可读存储介质，其中，用于定义虚拟形象的面部表情和动作的脸 特征点和身体特征点被定义。

根据一个或多个实施例的另一方面，可提供一种成像设备，包括：存储 单元，存储动画剪辑、动画控制信息以及控制控制信息，动画控制信息包括 指示动画剪辑对应的虚拟形象的部分的信息以及优先级，控制控制信息包括 指示运动数据对应的虚拟形象的部分的信息以及优先级，所述运动数据通过 处理从运动传感器接收的值而被产生；处理单元，将对应于虚拟形象的第一 部分的动画控制信息的优先级与对应于虚拟形象的第一部分的控制控制信息 的优先级进行比较，并且确定将可应用于虚拟形象的第一部分的数据。

根据一个或多个实施例的另一方面，可提供一种存储在包括处理器和存 储器的计算机系统中执行的程序的非暂时计算机可读存储介质，该非暂时计 算机可读存储介质包括：第一组指令，存储动画控制信息和控制控制信息； 第二组指令，基于对应于虚拟形象的每一部分的动画控制信息以及控制控制 信息来将从运动传感器接收的值产生的动画剪辑和运动数据关联。动画控制 信息可包括与对应动画剪辑关联的信息、指示对应动画剪辑对应于虚拟形象 的面部表情、头、上体、中体和下体中的一个的标识符，并且控制控制信息 可包括指示实时运动数据对应于虚拟形象的面部表情、头、上体、中体和下 体中的一个的标识符。

附图说明

图1示出根据实施例的自适应真实到虚拟(RV)使用传感器控制命令来接 收真实世界的用户意图并且基于虚拟形象信息和虚拟形象控制信息来与虚拟 世界通信的系统；

图2简要地示出具有RV和虚拟到真实(VR)的对称结构的系统；

图3详细地示出具有RV和VR的对称结构的系统；

图4示出根据实施例的驱动自适应RV的处理；

图5示出根据实施例的定义用于脸控制的虚拟形象面部表情控制点的示 例；

图6示出根据实施例的脸控制的示例；

图7示出根据实施例的通过脸控制产生关于真实世界的用户的各虚拟形 象的示例；

图8示出根据实施例的取决于虚拟形象的物理条件显示不同的形式的两 个虚拟形象的示例；

图9示出根据实施例的共同特征类型(CommonCharacteristicsType)的结 构；

图10示出根据实施例的标识类型(IdentificationType)的结构；

图11示出根据实施例的虚拟世界对象声音类型(VWOSoundType)的结 构；

图12示出根据实施例的虚拟世界对象气味类型(VWOScentType)的结构；

图13示出根据实施例的虚拟世界对象控制类型(VWOControlType)的结 构；

图14示出根据实施例的虚拟世界对象事件类型(VWOEventType)的结 构；

图15示出根据实施例的虚拟世界对象行为模型类型 (VWOBehaviorModelType)的结构；

图16示出根据实施例的虚拟世界对象触觉特征类型 (VWOHapticPropertyType)的结构；

图17示出根据实施例的材料特征类型(MaterialPropertyType)的结构；

图18示出根据实施例的动力效果类型(DynamicForceEffectType)的结构；

图19示出根据实施例的触觉类型(TactileType)的结构；

图20示出根据实施例的虚拟形象类型(AvatarType)的结构；

图21示出根据实施例的虚拟形象外貌类型(AvatarAppearanceType)的结 构；

图22示出根据实施例的面部校准点的示例；

图23示出根据实施例的物理条件类型(PhysicalConditionType)的结构；

图24示出根据实施例的虚拟形象动画类型(AvatarAnimationType)的结 构；

图25示出根据实施例的虚拟形象通信技能类型 (AvatarCommunicationSkillsType)的结构；

图26示出根据实施例的虚拟形象通信类型(VerbalCommunicationType)的 结构；

图27示出根据实施例的语言类型(LanguageType)的结构；

图28示出根据实施例的非语言通信类型(NonVerbalCommunicationType) 的结构；

图29示出根据实施例的手语类型(SignLanguageType)的结构；

图30示出根据实施例的虚拟形象个性类型(AvatarPersonalityType)的结 构；

图31示出根据实施例的虚拟形象控制特征类型 (AvatarControlFeaturesType)的结构；

图32示出根据实施例的控制体特征类型(ControlBodyFeaturesType)的结 构；

图33示出根据实施例的控制脸特征类型(ControlFaceFeaturesType)的结 构；

图34示出根据实施例的头轮廓的示例；

图35示出根据实施例的左眼轮廓的示例；

图36示出根据实施例的右眼轮廓的示例；

图37示出根据实施例的左眉毛轮廓的示例；

图38示出根据实施例的右眉毛轮廓的示例；

图39示出根据实施例的左耳轮廓和右耳轮廓的示例；

图40示出根据实施例的鼻子轮廓的示例；

图41示出根据实施例的嘴唇轮廓的示例；

图42示出根据实施例的脸点的示例；

图43示出根据实施例的轮廓类型(OutlineType)的结构；

图44示出根据实施例的Outline4PointsType的结构；

图45示出根据实施例的Outline5PointsType的结构；

图46示出根据实施例的Outline8PointsType的结构；

图47示出根据实施例的Outline14PointsType的结构；

图48示出根据实施例的虚拟对象类型(VirtualObjectType)的结构；

图49示出根据实施例的虚拟对象外貌类型(VOAppearanceType)的结构；

图50示出根据实施例的虚拟对象动画类型(VOAnimationType)的结构；

图51示出根据实施例的虚拟形象特征控制系统的配置；

图52示出根据实施例的控制虚拟形象的特征的方法；

图53示出根据实施例的在真实世界和虚拟世界之间交换信息和数据的 系统的结构；

图54至图58示出根据实施例的虚拟形象控制命令；

图59示出根据实施例的外貌控制类型(AppearanceControlType)的结构；

图60示出根据实施例的通信技能控制类型 (CommunicationSkillsControlType)的结构；

图61示出根据实施例的个性控制类型(PersonalityControlType)的结构；

图62示出根据实施例的动画控制类型(AnimationControlType)的结构；

图63示出根据实施例的控制控制类型(ControlControlType)的结构；

图64示出根据实施例的成像设备的配置；

图65示出根据实施例的虚拟世界的虚拟形象被分为面部表情部分、头 部、上体部分、中体部分和下体部分的状态；

图66示出根据实施例的关于动画剪辑的数据库；

图67示出根据实施例的关于动作数据的数据库；

图68示出根据实施例的通过比较优先级确定运动对象数据将被应用到 虚拟形象的任意部分的操作；

图69示出根据实施例的确定将被应用到虚拟形象的每个部分的运动对 象数据的方法；

图70示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分 关联的操作；

图71示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分 关联的操作；

图72示出根据实施例的用于控制虚拟世界对象的终端和虚拟世界服务 器；

图73示出根据另一实施例的用于控制虚拟世界对象的终端和虚拟世界 服务器；

图74示出根据另一实施例的用于控制虚拟世界对象的多个终端；

图75示出根据另一实施例的用于控制虚拟世界对象的终端。

具体实施方式

现在，将对实施例进行详细参照，其示例在附图中示出，其中，相同的 标号始终表示相同的元件。下面描述实施例以通过参照附图来解释本公开。

1、指令：

虚拟环境(VE)在多媒体产业中的重要性可能逐渐增加。VE对于其他多 媒体应用的特异性可包括在VE内用户的视觉表情。可以以虚拟形象(也就是， 提供其他目的的图形对象)的形式提供视觉表情，所述其他目的包括：

-使得真实世界中的用户的出现在VE中可见，

-在VE中表现用户的特征，

-与VE交互。

图1示出根据实施例的自适应真实到虚拟(RV)102使用传感器控制命令 103来接收真实世界的用户意图并且基于虚拟形象信息和虚拟形象控制信息 来与虚拟世界104通信的系统。在真实世界中，用户意图可作为传感器控制 命令103从基于传感器的输入装置101传送到自适应RV 102。虚拟世界104 中的对象和虚拟形象的结构信息可作为虚拟形象信息105被传送到自适应 RV 102(例如，自适应RV引擎)。自适应RV引擎可基于传感器控制命令103 和虚拟形象信息105将虚拟世界104的虚拟形象和对象转换为虚拟形象控制 信息106，并且可将虚拟形象控制信息106发送给虚拟世界104。虚拟世界 104的虚拟形象可基于虚拟形象控制信息106被操纵。例如，运动传感器可 传送与位置、速度等关联的信息，相机可传送与轮廓像、颜色、深度等关联 的信息。由运动传感器和相机传送的信息可用包含在自适应RV引擎中的虚 拟形象信息来计算，并且可被转换为虚拟形象控制信息106。

图2简要地示出具有RV和虚拟到真实(VR)的对称结构的系统，图3详 细地示出具有RV和VR的对称结构的系统。图2和图3中显示的VR可使 用虚拟传感器来感测虚拟世界的情形以使用虚拟形象来提供真实世界中的 相同情形。例如，在交互式电影院的情况下，电影中的情形(诸如风吹、摇 动等)可在观看者观看电影的空间中被相同地再现。RV可使用真实世界的传 感器来感测真实世界的当前实际情形，并且可将感测的情形转换为符合虚拟 世界，产生输入和命令信息，并且将产生的输入和命令信息适应虚拟世界。 虚拟制动器可与虚拟形象、虚拟对象和虚拟环境相关。在图3中，椭圆形可 指示关于与图2的部分2对应的控制信息的标准区域A。部分2定义关于存 在于真实世界中的装置(例如，传感器和制动器)的产品性能、用户偏爱、装 置命令等。圆柱形可指示关于上下文信息(诸如，与部分3对应的感官信息、 与部分4对应的虚拟形象信息以及与部分5对应的虚拟对象信息)的标准区 域B。部分3定义期望从真实世界传送的内容的效果(例如，虚拟游戏、游 戏等)。该效果可以是由版权持有者包括在内容中的传感器效果，并且可经 由用于虚拟世界的运动图像专家组(MPEG-V)引擎被转换为控制信息，并且 可作为命令被传送到每个装置。部分4定义存在于虚拟世界中的虚拟形象和 虚拟对象的特征。具体地，部分4可被用于基于控制信息、虚拟形象信息和 虚拟对象信息容易地操纵虚拟世界的虚拟形象和虚拟对象。标准区域A和B 是MPEG-V标准化的目标。

图4示出根据实施例的驱动自适应RV的处理。

在操作401，自适应RV引擎的虚拟形象信息可被设置。在操作402，传 感器输入可被监控。当在操作403发生传感器控制命令时，在操作404自适 应RV引擎的命令可被识别。在操作405，虚拟形象控制信息可被产生。在 操作406，虚拟形象操纵可被输出。

通常，创建虚拟形象可以是耗时的任务。尽管虚拟形象的一些元素可与 VE相关(例如，在当代风格VE中穿着中世纪套装的虚拟形象是不合适的)， 但是可存在一次创建虚拟形象并且在其他VE中输入并使用该创建的虚拟形 象的真实期望。此外，可从外部应用控制虚拟形象。例如，可通过处理关联 的用户的心理传感器来获得虚拟形象曾经在VE中暴露的情绪。

基于下面的两个主要需求，用于表达虚拟形象的可扩展标记语言(XML) 方案可被提议：

-从各种VE的性能来容易地创建输入者和输出者；

-在VE中容易地控制虚拟形象。

提议的方案可处理元数据并且可不包括纹理、几何形状或动画的表现。

可从虚拟世界的真实存在以及内容认证包，基于对另一虚拟人的研究来 获得该方案，所述另一虚拟人与标记语言连同流行游戏、工具以及方案相关。

作为虚拟形象的基本属性，用于表示虚拟真实(VR)空间中的每个虚拟形 象的标识符(ID)以及表示每个虚拟形象的类型的族可被给定。该族可提供 关于虚拟形象是否具有人类、机器人或特定动物的形式的信息。以此方式， 用户可在存在多个虚拟形象的VR空间中使用ID来将用户自己的虚拟形象 与另一用户的虚拟形象进行区分并且操作自己的虚拟形象，该族属性可被应 用到各种虚拟形象。作为虚拟形象的可选属性，名称、性别等可被包括。

虚拟形象的元素可被配置为如下的数据类型：

-外貌：可包括用于外貌的高级描述，并且指示包括精确的几何形状和纹 理的媒体。这里，′PhysicalCondition′被附加地提出。′PhysicalCondition′可包 括作为它的子元素的′BodyFlexibility′和′BodyStrength′。当定义每个虚拟形象 的外部特征时，身体灵活性或身体力量可提供与表达运动的虚拟形象的程度 关联的信息。例如，在具有高灵活性的虚拟形象和具有低灵活性的虚拟形象 之间的比较中，当由这两个虚拟形象执行相同的舞蹈(例如，芭蕾舞)时，这 两个虚拟形象的运动可根据灵活性程度而改变。对于身体力量，对于相同的 运动具有相对大的力量的虚拟形象可被表示为更积极地执行。为了获得这些 效果，′PhysicalCondition′可作为虚拟形象外貌的子元素的元数据被提供。

-动画：可包括关于执行虚拟形象的一组动画序列的描述，并且可指示包 括精确的动画参数(诸如，几何变换)的一些媒体。移动元素的自由方向 (FreeDirection)可被附加地增加到虚拟形象动画的现有元数据。移动虚拟形 象的现有操纵方案限于上、下、左和右。在这方面，可在任何方向被容易地 操纵的项可被增加以不同地提供虚拟形象的运动动画的表情信息。

-通信技能：可包括向可通过虚拟形象通信的其他形态提供信息的一组描 述符。

-个性：可包括定义虚拟形象的个性的一组描述符。

-控制特征：可包括一组虚拟形象的面部表情和运动点。因此，用户可控 制描述符中没有列出的面部表情和全部身体运动。

具体地，外貌可表示虚拟形象的特征，虚拟形象的各种外貌可使用与关 于虚拟形象的眼睛、鼻子、嘴唇、耳朵、头发、眉毛、指甲等的大小、位置、 形状等有关的外貌信息而被定义。动画可被分类为虚拟形象的身体姿态(生 气姿态、同意姿态、疲劳姿态等)(诸如问候、跳舞、步行、打架、庆祝等) 以及虚拟形象的无意义姿态(诸如，面部表情(微笑、哭喊、惊讶等))。通信 技能可表示虚拟形象的通信能力。例如，通信技能可包括通信能力信息，从 而虚拟形象极好地讲作为本地语言的韩语，流利地讲英语，并且用法语讲简 单的问候语。个性可包括开朗、热情、神经质、外向、认真等。

虚拟形象特征中的面部表情和全身体运动可被如下控制。图5示出根据 实施例的用于脸控制的虚拟形象面部表情控制点的示例。脸控制可基于如图 5所示的虚拟形象的头、左眼和右眼、左眉毛和右眉毛、左耳和右耳、鼻子 和嘴唇的轮廓上的空间坐标、控制点(标记)，通过运动来表达各种未预定义 的面部表情(诸如，微笑表情、哭喊表情、无意义的表情等)。例如，根据脸 控制，真实世界中的用户的面部表情可使用相机被识别，以使识别的面部表 情适应到虚拟世界的虚拟形象的面部表情上。

图6示出根据实施例的脸控制的示例。从真实世界装置601(诸如深度相 机)获得的用户脸特征点的位置信息可被发送到自适应RV引擎602。该信息 可通过规格化处理(用于将用户的脸大小和虚拟形象模型的脸大小匹配)被映 射到参考虚拟形象模型的特征点信息，并且随后被发送到自适应RV引擎 602，或者可由自适应RV引擎602来执行前述处理。接下来，虚拟世界信 息603(诸如通过特征点映射创建的虚拟形象模型)可被调整为虚拟世界604 的各虚拟形象的大小以被映射，并且映射的信息可作为虚拟世界604的位置 信息被发送到虚拟世界604。因此，真实世界的用户的各种面部表情的改变 可适应虚拟世界604的虚拟形象的面部表情。在图6中，′RW′可指示真实世 界，′VW′可指示虚拟世界。

图7示出根据实施例的通过脸控制产生真实世界的用户的各虚拟形象的 示例。

当比较具有彼此不同的物理条件的两个虚拟形象时，在两个虚拟形象进 行相同的任务的同时或者之后的状态可彼此不同。图8示出取决于物理条件 显示不同的状态的两个虚拟形象的示例。在两个虚拟形象赛跑完成之后，具 有相对高身体力量的虚拟形象801看上去仍然生机勃勃，而具有相对低身体 力量的虚拟形象802看上去疲劳。根据另一实施例，当练习相同的瑜伽动作 时，每个虚拟形象的伸展程度可根据身体灵活性而不同。

可基于真实世界中存在的人类的骨骼按照实际人类的形状来配置体型 (也就是，骨架)。例如，体型可包括左锁骨和右锁骨、左肩胛骨和右肩胛骨、 左肱骨和右肱骨、左桡骨和右桡骨、左手腕和右手腕、左手和右手、左拇指 和右拇指等。此外，表示骨骼的运动的身体控制可反映各骨骼的运动以表示 身体的运动，可使用每个骨骼的接合点来控制各骨骼的运动。由于各骨骼彼 此连接，因此相邻骨骼可共享接合点。因此，以作为参考点的盆骨开始，各 骨骼的结束点中远离骨盆的结束点可被定义为各骨骼的控制点，并且可通过 移动控制点来不同地表示虚拟形象的非预定义的运动。例如，可基于与关于 肘部的接合点的三维(3D)位置、方向和长度关联的信息来控制肱骨的运动。 也可基于与每个接合点的结束点的3D位置、方向和长度关联的信息来控制 手指。可仅基于位置或仅基于方向和距离来控制每个接合点的运动。

在使用上述进行虚拟形象身体控制的情况下，可使用相机或者感测运动 的运动传感器来识别真实世界的用户的运动，以使识别的运动适应到虚拟世 界的虚拟形象的运动。可通过与以上参照图6描述的虚拟形象脸控制类似的 处理来执行虚拟形象身体控制。具体地，可使用相机、运动传感器等来获得 用户的骨架的特征点的位置和方向信息，并且获得的信息可被发送到自适应 RV。该信息可通过规格化处理(用于匹配基于用户的脸大小和虚拟形象模型 的脸大小计算的骨骼模型信息)被映射到参考虚拟形象模型的骨骼特征点信 息，随后被发送到自适应RV引擎，或者可由自适应RV引擎来执行上述处 理。处理的信息可被重新调整以适合于虚拟世界的各虚拟形象的骨骼模型， 并且基于虚拟世界的位置信息被发送给虚拟世界。因此，真实世界的用户的 运动可被适应到虚拟世界的虚拟形象的运动上。

如上所述，根据实施例，通过表示虚拟形象的特征的虚拟形象特征控制， 用户各种面部表情、运动、个性等可被自然地表示。为此目的，可使用传感 装置(例如，相机、运动传感器、红外光等)来感测真实世界的用户，以将用 户的特征按原样再现到虚拟形象。因此，用户的各种图形可被自然地适应到 虚拟世界的虚拟形象上。

积极虚拟形象控制可以是用于跟踪、识别并合成来自真实世界的感测装 置的数据序列中的共同特征的一般参数模型。例如，捕获的用户的全身体运 动可被发送给控制虚拟形象的运动的系统。身体运动感测可使用一组可佩戴 或可附着的3D位置以及姿势感测装置。因此，虚拟形象身体控制的概念可 被添加。该概念可表示通过采用所有感测的用户的运动来实现虚拟形象的全 部控制。

该控制不限于虚拟形象，因此可应用到存在与虚拟环境中的所有对象。 对此，根据实施例，对象控制系统可包括接收关于虚拟环境的对象的控制命 令的控制命令接收器、以及基于接收的控制命令和对象的对象信息来控制对 象的对象控制器。对象信息可包括作为虚拟世界对象的元数据的虚拟世界对 象的共同特征，包括作为用于虚拟形象的元数据的虚拟形象信息、以及作为 虚拟对象的元数据的虚拟对象信息。

对象信息可包括虚拟世界对象的共同特征。共同特征可包括作为元数据 的以下元素中的至少一个元素：用于标识虚拟世界对象的标识、虚拟世界对 象声音(VWOSound)、虚拟世界对象气味(VWOScent)、虚拟对象控制 (VWOControl)、虚拟世界对象事件(VWOEvent)、虚拟世界对象行为模型 (VWOBehaviorModel)和虚拟世界触觉特征(VWOHapticProperties)。

标识可包括作为元素的以下元素中的至少一个：用于标识与虚拟世界对 象关联的用户的用户标识符(UserID)、虚拟世界对象的所有权(Ownership)、 权利(Rights)和信用(Credits)，并且可包括作为属性的虚拟世界对象的名称 (name)以及与另一虚拟世界对象的家庭(family)中的至少一个。

VWOSound可包括作为元素的包括到声音文件的至少一个链接的声音资 源统一资源定位符(URL)，并且可包括作为属性的以下元素中的至少一个： 作为对象声音的唯一标识符的声音标识符(SoundID)、指示声音强度的强度 (intensity)、指示声音持续的时间长度的持续时间(duration)、指示播放选项的 循环(loop)以及声音名称(name)。

VWOScent可包括作为元素的包括到气味文件的至少一个链接的气味资 源URL(scent resource URL)，并且可包括作为属性的以下元素中的至少一 个：作为对象气味的唯一标识符的气味标识符(ScentID)、指示气味浓度的强 度(intensity)、指示气味持续的时间长度的持续时间(duration)、指示播放选项 的循环(loop)以及气味名称(name)。

VWOControl可包括作为元素的作为控制虚拟世界对象的位置(position)、 方位(orientation)和大小(scale)的一组元素的运动特征控制 (MotionFeatureControl)，并且可包括作为属性的作为控制的唯一标识符的控 制标识符(ControlID)。在这种情况下，MotionFeatureControl可包括作为元素 的以下元素中的至少一个：在具有三维(3D)浮点向量的场景中的对象的位 置、具有作为欧拉角的3D浮点向量的场景中的对象的方位、以及表示为3D 浮点向量的场景中的对象的大小。

VWOEvent可包括作为元素的以下元素中的至少一个：作为一组鼠标事 件元素的鼠标(Mouse)、作为一组键盘事件元素的键盘(Keyboard)以及用 户定义的输入(UserDefinedInput)，并且可包括作为事件的唯一标识符的事件 标识符(EventID)作为属性。鼠标(Mouse)可包括作为元素的以下元素中的至 少一个：单击(click)、双击(Double_Click)、左按钮向下(LeftBttn_down)(作 为在按下鼠标的左按钮时发生的事件)、左按钮向上(LeftBttn_up)(作为在 释放鼠标的左按钮时发生的事件)、右按钮向下(RightBttn_down)(作为在 按下鼠标的右按钮时发生的事件)、右按钮向上(RightBttn_up)(作为在释放 鼠标的右按钮时发生的事件)、以及移动(move)(作为在改变鼠标的位置的 同时发生的事件)。此外，键盘(Keyboard)可包括作为元素的以下元素中 的至少一个：键向下(Key_Down)(作为在按下键盘按钮时发生的事件)、以及 键向上(Key_Up)(作为在释放键盘按钮时发生的事件)。

VWOBehaviorModel可包括作为元素的以下元素中的至少一个：作为用 于产生对象行为的输入事件的行为输入(BehaviorInput)以及作为根据输入事 件输出的对象行为的行为输出(BehaviorOutput)。在这种情况下， BehaviorInput可包括作为属性的EventID，BehaviorOutput可包括作为属性 的以下元素中的至少一个：SoundID、ScentID和动画标识符(AnimationID)。

VWOHapticProperties可包括作为属性的以下元素中的至少一个：材料特 征(MaterialProperty)(包含表现触觉特征的参数)、动力效果 (DynamicForceEffect)(包含表现力效果的参数)以及触觉特征 (TactileProperty)(包含表现触觉特征的参数)。在这种情况下，MaterialProperty 可包括作为属性的以下元素中的至少一个：虚拟世界对象的硬度(Stiffness)、 虚拟世界对象的静摩擦(StaticFriction)、虚拟世界对象的动摩擦 (DynamicFriction)、虚拟世界对象的阻尼(Damping)、包含到触觉纹理文件的 链接的纹理(Texture)和虚拟世界对象的质量(mass)。此外， DynamicForceEffect可包括作为属性的以下元素中的至少一个：包含到力场 向量文件的链接的力场(ForceField)以及包含到力轨道文件的链接的运动轨 道(MovementTrajectory)。此外，TactileProperty可包括作为属性的以下元素 中的至少一个：虚拟世界对象的温度(Temperature)、虚拟世界对象的摇动 (Vibration)、虚拟世界对象的电流(Current)以及包含到触觉模式文件的链接的 触觉模式(TactilePatterns)。

对象信息可包括与虚拟世界的虚拟形象关联的虚拟形象信息，并且虚拟 形象信息可包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌 (AvatarAppearance)、虚拟形象动画(AvatarAnimation)、虚拟形象通信技能 (AvatarCommunicationSkills)、虚拟形象个性(AvatarPersonality)、虚拟形象控 制特征(AvatarControlFeatures)和虚拟形象共同特征(AvatarCC)，并且可包括 作为属性的虚拟形象的性别(Gender)。

AvatarAppearance可包括作为元素的以下元素中的至少一个：身体 (Body)、头(Head)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴唇(MouthLip)、 皮肤(Skin)、面部(facial)、指甲(Nail)、身体外表(BodyLook)、头发(Hair)、眉 毛(EyeBrows)、脸毛(FacialHair)、面部校准点(FacialCalibrationPoints)、物理 条件(PhysicalCondition)、衣服(Clothes)、鞋子(Shoes)、装饰品(Accessories)、 外貌资源(AppearanceResource)。

AvatarAnimation可包括以下元素中的至少一个元素：空闲(Idle)、问候 (Greeting)、跳舞(Dance)、步行(Walk)、移动(Moves)、打架(Fighting)、倾听 (Hearing)、吸烟(Smoke)、祝贺(Congratulations)、共同动作(Common_Actions)、 特殊动作(Specific_Actions)、面部表情(Facial_Expression)、身体表达 (Body_Expression)以及动画资源(AnimationResource)。

AvatarCommunicationSkills可包括作为元素的以下元素中的至少一个： 输入语言通信(InputVerbalCommunication)、输入非语言通信 (InputNonVerbalCommunication)、输出语言通信(OutputVerbalCommunication)， 以及输出非语言通信(OutputNonVerbalCommunication)，并且可包括作为属 性的以下元素中的至少一个：名称(Name)和默认语言(DefaultLanguage)。在 这种情况下，包括InputVerbalCommunication和OutputVerbalCommunication 的语言通信可包括作为元素的语言，并且可包括作为属性的以下元素中的至 少一个：语音(voice)、文本(text)和语言(language)。语言可包括作为属性的 以下元素中的至少一个：作为指示语言的名称的字符串的名称(name)和在语 言通信中使用语言的偏爱(preference)。此外，包括偏爱(preference)的通信偏 爱可包括虚拟形象的通信的偏爱级别。语言可设置有包括对于虚拟形象能够 讲或理解的每种语言的偏爱级别的通信偏爱级别 (CommunicationPreferenceLevel)。此外，包括InputNonVerbalCommunication 和OutputNonVerbalCommunication的非语言通信可包括作为元素的以下元 素中的至少一个：手语(SignLanguage)和暗示法通信 (CuedSpeechCommumication)，并且可包括作为属性的补充姿势 (ComplementaryGesture)。在这种情况下，SignLanguage可包括作为属性的 语言的名称(name)。

AvatarPersonality可包括作为元素的以下元素中的至少一个：开朗 (openness)、认真(conscientiousness)、外向(extraversion)、热情(agreeableness) 和神经质(neuroticism)，并且可选择性地包括个性的名称(name)。

AvatarControlFeatures  可包括作为元素的控制身体特征 (ControlBodyFeatures)(作为控制身体的运动的一组元素)以及控制脸特征 (ControlFaceFeature)(作为控制脸的运动的一组元素)，并且可选择性地包括 作为属性的控制配置的名称(name)。

ControlBodyFeatures可包括作为元素的以下元素中的至少一个：头骨骼 (headBones)、上体骨骼(UpperBodyBones)、下体骨骼(DownBodyBones)以及 中体骨骼(MiddleBodyBones)。在这种情况下，ControlFaceFeatures可包括作 为元素的以下元素中的至少一个：头轮廓(HeadOutline)、左眼轮廓 (LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓 (LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓 (LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、嘴 唇轮廓(MouthLipOutline)、脸点(FacePoints)以及各种点 (MiscellaneousPoints)，并且可选择性地包括作为属性的脸控制配置的名称 (name)。在这种情况下，包括在ControlFaceFeatures中的至少一个元素可包 括作为元素的以下元素中的至少一个：具有四个点的轮廓(Outline4Points)、 具有五个点的轮廓(Outline5Points)、具有八个点的轮廓(Outline8Points)以及 具有14个点的轮廓(Outline14Points)。此外，包括在ControlFaceFeatures中 的至少一个元素可包括基本数量的点并且可选择性地还包括附加点。

对象信息可包括与虚拟对象关联的信息。与虚拟对象关联的信息可包括 作为用于表示虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素： 虚拟对象外貌(VOAppearance)、虚拟对象动画(VOAnimation)以及虚拟对象 共同特征(VOCC)。

当到外貌文件的至少一个链接存在时，VOAppearance可包括作为元素的 虚拟对象URL(VirtualObjectURL)(为包括所述至少一个链接的元素)。

VOAnimation可包括作为元素的以下元素中的至少一个：虚拟对象运动 (VOMotion)、虚拟对象变形(VODeformation)、虚拟对象附加动画 (VOAdditionalAnimation)，并且可包括作为属性的以下元素中的至少一个： 动画标识符(AnimationID)、作为动画持续的时间长度的持续时间(Duration) 以及作为播放选项的循环(Loop)。

可包括在对象信息中的元数据稍后将被进一步进行描述。

当对象是虚拟形象时，对象控制器可基于接收的控制命令以及定义用于 控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点，来控制 虚拟形象。当对象是虚拟世界的虚拟形象时，可通过感测真实世界的用户的 面部表情和身体运动来产生控制命令。对象控制器可根据面部表情和身体运 动来控制对象将用户的特征映射到虚拟世界的虚拟形象。

根据实施例的对象控制方法可包括：接收关于虚拟环境的对象的控制命 令，并且基于接收的控制命令和对象的对象信息来控制对象。使用在对象控 制方法中的对象信息可相当于使用在对象控制系统中的对象信息。在这种情 况下，控制可包括：当对象是虚拟形象时，基于接收的控制命令以及定义用 于控制虚拟形象的面部表情和运动的虚拟形象脸特征点和身体特征点的元数 据，来控制虚拟形象。此外，当对象是虚拟世界的虚拟形象时，可通过感测 真实世界的用户的面部表情和身体运动来产生控制命令，并且控制可包括根 据面部表情和身体运动来控制对象将用户的特征映射到虚拟世界的虚拟形 象。

根据实施例的对象控制系统可包括：控制命令产生器，基于从真实世界 装置接收的信息来产生规则的控制命令；控制命令发送器，将规则的控制命 令发送到虚拟世界服务器；对象控制器，基于从虚拟世界服务器接收的与虚 拟世界对象关联的信息来控制虚拟世界对象。在这种情况下，根据本实施例 的对象控制系统可执行单个终端的功能，并且执行虚拟世界服务器的功能的 根据另一实施例的对象控制系统可包括：信息产生器，通过根据虚拟世界对 象转换从终端接收的规则的控制命令来产生与对应虚拟世界对象关联的信 息；信息发送器，将与虚拟世界对象关联的信息发送给终端。可基于由终端 从真实世界装置接收的信息来产生规则的控制命令。

根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信 息来产生规则的控制命令；将规则的控制命令发送给虚拟世界服务器；并基 于从虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对 象。在这种情况下，可由单个终端来执行根据本实施例的对象控制方法，可 由虚拟世界服务器来执行根据另一实施例的对象控制方法。具体地讲，由虚 拟世界服务器执行的对象控制方法可包括：通过根据虚拟世界对象转换从终 端接收的规则的控制命令来产生与对应虚拟世界对象关联的信息；将与虚拟 世界对象关联的信息发送给终端。可基于由终端从真实世界装置接收的信息 来产生规则的控制命令。

根据另一实施例的对象控制系统可包括：信息发送器，将从真实世界对 象接收的信息发送给虚拟世界服务器；对象控制器，基于根据发送的信息从 虚拟世界服务器接收的与虚拟世界对象关联的信息来控制虚拟世界对象。在 这种情况下，根据本实施例的对象控制系统可执行单个终端的功能，并且执 行虚拟世界服务器的功能的根据另一实施例的对象控制系统可包括：控制命 令产生器，基于从终端接收的信息来产生规则的控制命令；信息产生器，通 过根据虚拟世界对象转换规则的控制命令来产生与对应虚拟世界对象关联的 信息；信息发送器，将与虚拟世界对象关联的信息发送给终端。接收的信息 可包括由终端从真实世界装置接收的信息。

根据另一实施例的对象控制方法可包括：将从真实世界装置接收的信息 发送给虚拟世界服务器；基于根据发送的信息从虚拟世界服务器接收的与虚 拟世界对象关联的信息来控制虚拟世界对象。在这种情况下，可由单个终端 来执行根据本实施例的对象控制方法，可由虚拟世界服务器来执行根据另一 实施例的对象控制方法。由虚拟世界服务器执行的对象控制方法可包括：基 于从终端接收的信息来产生规则的控制命令；通过根据虚拟世界对象转换规 则的控制命令来产生与对应虚拟世界对象关联的信息；将与虚拟世界对象关 联的信息发送给终端。接收的信息可包括由终端从真实世界装置接收的信息。

根据另一实施例的对象控制系统可包括：控制命令产生器，基于从真实 世界装置接收的信息来产生规则控制命令；信息产生器，通过根据虚拟世界 对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；对象控制 器，基于与虚拟世界对象关联的信息来控制虚拟世界对象。

根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信 息来产生规则的控制命令；通过根据虚拟世界对象转换规则的控制命令来产 生与对应虚拟世界对象关联的信息；基于与虚拟世界对象关联的信息来控制 虚拟世界对象。

根据另一实施例的对象控制系统可包括：控制命令产生器，基于从真实 世界装置接收的信息来产生规则控制命令；信息产生器，通过根据虚拟世界 对象转换规则的控制命令来产生与对应虚拟世界对象关联的信息；信息交换 单元，将与虚拟世界对象关联的信息和与另一对象控制系统的虚拟世界对象 关联的信息进行交换；对象控制器，基于与虚拟世界对象关联的信息以及交 换的与另一虚拟世界对象的虚拟世界对象关联的信息来控制虚拟世界对象。

根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信 息来产生规则的控制命令；通过根据虚拟世界对象转换规则的控制命令来产 生与对应虚拟世界对象关联的信息；将与虚拟世界对象关联的信息和与另一 对象控制系统的虚拟世界对象关联的信息进行交换；基于与虚拟世界对象关 联的信息以及交换的与另一虚拟世界对象的虚拟世界对象关联的信息来控制 虚拟世界对象。

根据另一实施例的对象控制系统可包括：信息产生器，基于从真实世界 装置接收的信息以及从虚拟世界服务器接收的虚拟世界信息来产生与虚拟世 界对象关联的信息；对象控制器，基于与虚拟世界对象关联的信息来控制虚 拟世界对象；处理结果发送器，将根据虚拟世界对象的控制的处理结果发送 给虚拟世界服务器。在这种情况下，根据本实施例的对象控制系统可执行单 个终端的功能，并且执行虚拟世界服务器的功能的根据另一实施例的对象控 制系统可包括：信息发送器，将虚拟世界信息发送给终端；信息更新单元， 基于从终端接收的处理结果来更新虚拟世界信息。处理结果可包括：基于由 终端从真实世界装置接收的信息以及虚拟世界信息的虚拟世界对象的控制结 果。

根据另一实施例的对象控制方法可包括：基于从真实世界装置接收的信 息以及从虚拟世界服务器接收的虚拟世界信息来产生与虚拟世界对象关联的 信息；基于与虚拟世界对象关联的信息来控制虚拟世界对象；将根据虚拟世 界对象的控制的处理结果发送给虚拟世界服务器。在这种情况下，可由单个 终端来执行根据本实施例的对象控制方法，并且可由虚拟世界服务器来执行 根据另一实施例的对象控制方法。由虚拟世界服务器执行的对象控制方法可 包括：将虚拟世界信息发送给终端；基于从终端接收的处理结果来更新虚拟 世界信息。处理结果可包括：基于由终端从真实世界装置接收的信息以及虚 拟世界信息的虚拟世界对象的控制结果。

根据一个或多个实施例的对象控制器可通过基于与虚拟世界对象关联的 信息产生控制命令来控制虚拟世界对象，并将产生的控制命令发送给显示器。

2虚拟世界对象元数据

2.1元数据的类型

关于其他多媒体应用的虚拟环境(VE)的特异性可在于该环境内的虚拟世 界对象的表示。“虚拟世界对象”可被分为两种类型，诸如，虚拟形象和虚拟 对象。虚拟形象可用作该环境内的用户的(可见)表示。这些虚拟世界对象用于 不同的目的：

-表现VE内的各种对象的特征，

-向VE提供交互。

通常，创建对象是耗时的任务。尽管对象的一些组件可与VE相关(例如， 在当代风格VE中穿着中世纪套装的虚拟形象可能是不合适的)，但是可存在 能够一次创建形象并且在不同的VE中输入/使用该创建的形象的真实需要。 此外，可从外部应用控制对象。例如，可通过处理相关的用户的心理传感器 来获得一个虚拟形象曾经在VE中暴露的情绪。

通过考虑下面的三个主要需求，当前标准提出了用于描述对象的被称为 虚拟世界对象特征XSD的XML方案：

-应该能够容易地从各种VE执行中创建输入者和输出者，

-应该容易地控制VE内的对象，

-应该能够通过使用包含在虚拟世界对象特征文件中的数据来修改对象 的本地模板。

提出的方案可仅处理元数据，并且可不包括几何形状、声音、气味、动 画或纹理的表示。为了稍后表示，对媒体资源的参考被使用。

存在由虚拟形象和虚拟对象共享的虚拟世界对象的共同类型的属性和特 征。

共同相关属性和特征可由以下类型的数据组成：

-身份：包含标识描述符。

-声音：包含声音资源和相关特征。

-气味：包含气味资源和相关特征。

-控制：包含用于控制对象的运动特征(诸如转换、方位和缩放)的一组描 述符。

-事件：包含从鼠标、键盘等提供输入事件的一组描述符。

-行为模型：包含根据输入事件定义对象的行为信息的一组描述符。

-触觉特征：包含触觉特征的一组高级描述符。

公共特征和属性被继承到虚拟形象元数据和虚拟对象元数据以扩展每个 元数据的特定方面。

2.2虚拟世界对象公共特征

2.2.1CommonCharacteristicsType

2.2.1.1语法

图9示出根据实施例的CommonCharacteristicsType的结构。表1显示 CommonCharacteristicsType的语法。

【表1】

2.2.1.2语义

下面的表2显示CommonCharacteristicsType的语义。

【表2】

2.2.2IdentificationType

2.2.2.1语法

图10示出根据实施例的IdentificationType的结构。表3显示 IdentificationType的语法。

【表3】

2.2.2.2语义

表4显示IdentificationType的语义。

【表4】

2.2.3VWO(Virtual World Object)SoundType

2.2.3.1语法

图11示出根据实施例的VWOSoundType的结构。表5显示 VWOSoundType的语法。

【表5】

2.2.3.2语义

表6显示VWOSoundType的语义。

【表6】

2.2.3.3示例：

表7显示了具有下面的语义的对象相关的声音信息的描述。其名称为 ″BigAlarm″的声音资源被保存在″http://sounddb.com/alarmsound_0001.Wav″， 并且SoundID的值，即其标识符是″3″。声音的长度是30秒。将以音量强度＝ ″50％″重复地播放声音。

【表7】

2.2.4VWOScentType

2.2.4.1语法

图12示出根据实施例的VWOScentType的结构。表8示出VWOScentType 的语法。

【表8】

2.2.4.2语义

表9显示VWOScentType的语义。

【表9】

2.2.4.3示例

表10显示与对象关联的气味信息的描述。其名称为″rose″的气味资源被 保存在http://scentdb.com/flower_0001.sct，并且ScentID的值，即其标识符是 ″5″。强度应该是20％，持续时间是20秒。

【表10】

2.2.5VWOControlType

2.2.5.1语法

图13示出根据实施例的VWOControlType的结构。表11显示 VWOControlType的语法。

【表11】

2.2.5.2语义

表12显示VWOControlType的语义。

【表12】

注意：控制的级别：整个对象，对象的部分

注意：如果两个控制器与相同的对象相关但是在对象的不同部分，并且 如果这些部分存在分等级结构(父母和孩子关系)，则孩子的相关运动应被执 行。如果控制器与相同的部分相关，则控制器对整个对象做出缩放或类似的 效果。

2.2.5.3示例

表13显示具有下面的语义的对象控制信息的描述。改变位置的运动特征 控制被给出，并且ControlID的值，即其标识符是″7″。该对象应位于 DistanceX＝″122.0″，DistanceY＝″150.0″and DistanceZ＝″40.0″。

【表13】

2.2.6VWOEventType

2.2.6.1语法

图14示出根据实施例的VWOEventType的结构。表14显示 VWOEventType的语法。

【表14】

2.2.62语义

表15显示VWOEventType的语义。

【表15】

2.2.6.3示例

表16显示具有下面的语义的对象事件的描述。作为输入装置的鼠标产生 新的输入值“单击”(″click″)。为了识别此输入，EventID的值是“3”。

【表16】

2.2.7VWOBehaviourModelType

2.2.7.1语法

图15示出根据实施例的VWOBehaviorModelType的结构。表17显示 VWOBehaviorModelType的语法。

【表17】

2.2.7.2语义

表18显示VWOBehaviourModelType的语义。

【表18】

2.2.7.3示例

表19显示具有下面的语义的VWO行为模型的描述。如果EventID＝″1″ 作为BehaviorInput被给出，则BehaviorOutput应该与SoundID＝″5″和 AnimationID＝″4″相关地被执行。

【表19】

2.2.8VWOHapticPropertyType

2.2.8.1语法

图16示出根据实施例的VWOHapticPropertyType的结构。表20显示 VWOHapticPropertyType的语法。

【表20】

2.2.8.2语义

表21显示VWOHapticPropertyType的语义。

【表21】

2.2.8.3MaterialPropertyType

2.2.8.3.1语法

图17示出根据实施例的MaterialPropertyType的结构。表22显示 MaterialPropertyType的语法。

【表22】

2.2.8.3.2语义

表23显示MaterialPropertyType的语义。

【表23】

2.2.8.3.3示例

表24显示具有0.5N/mm的硬度、0.3的静摩擦系数，0.02的动摩擦系数、 0.001阻尼系数，0.7的质量的虚拟世界对象的材料特征，并且其表面触觉纹 理被从给定的URL加载。

【表24】

2.2.8.4DynamicForceEffectType

2.2.8.4.1语法

图18示出根据实施例的DynamicForceEffectType的结构。表25显示 DynamicForceEffectType的语法。

【表25】

2.2.8.4.2语义

表26显示DynamicForceEffectType的语义。

【表26】

2.2.8.4.3示例

表27显示虚拟形象的动力效果。通过来自URL的设计的力场来确定虚 拟形象的力场特征。

【表27】

2.2.8.5TactileType

2.2.8.5.1语法

图19示出根据实施例的TactileType的结构。表28显示TactileType的语 法。

【表28】

2.2.8.5.2语义

表29显示TactileType的语义。

【表29】

2.2.8.5.3示例

表30显示基于来自以下的URL(http://www.haptic.kr/avatar/tactilel.avi)的 触觉信息的作为15摄氏度的触觉效果的虚拟形象的触觉特征。

【表30】

3.虚拟形象元数据

3.1虚拟形象元数据的类型

作为环境内的用户的(可见)表示的虚拟形象元数据用于以下目的：

-使得真实用户的出现在VE中可见，

-在VE中表现用户的特征，

-与VE交互。

除了虚拟世界对象的公共特征之外，“虚拟形象”元素可包括以下类型的 数据：

虚拟形象外貌(Avatar Appearance)：包含外貌的高级描述并且可涉及包含 精确几何形状和纹理的媒体，

-虚拟形象动画(Avatar Animation)：包含虚拟形象能够执行的一组动画 序列并且可参考包含精确的(几何变换)动画参数的几个媒体，

-虚拟形象通信技能(Avatar Communication Skills)：包含提供关于虚拟形 象能够通信的不同形态的信息的一组描述符，

-虚拟形象个性(Avatar Personality)：包含定义虚拟形象的个性的一组描 述符，

-虚拟形象控制特征(Avatar Control Features)：包含定义身体骨骼和面特 征点上的用于传感器的可能的占位符的一组描述符。

3.2虚拟形象特征XSD

3.2.1AvatarType

3.2.1.1语法

图20示出根据实施例的AvatarType的结构。表31显示AvatarType的语 法。

【表31】

3.2.1.2语义

表32显示AvatarType的语义。

【表32】

3.2.2AvatarAppearanceType

3.2.2.1语法

图21示出根据实施例的AvatarAppearanceType的结构。表33显示 AvatarAppearanceType的语法。

【表33】

3.2.2.2.语义

表34显示AvatarAppearanceType的语义。图22示出根据实施例的 FacialCalibrationPoints的示例。

【表34】

3.2.2.3PhysicalConditionType

3.2.2.3.1.语法

图23示出根据实施例的PhysicalConditionType的结构。表35显示 PhysicalConditionType的语法。

【表35】

3.2.2.3.2.语义

表36显示PhysicalConditionType的语义。

【表36】

3.2.3AvatarAnimationType

3.2.3.1语法

图24示出根据实施例的AvatarAnimationType的结构。表37示出 AvatarAnimationType的语法。

【表37】

3.2.3.2语义

表38显示AvatarAnimationType的语义。

【表38】

3.2.3.3示例

表39显示具有以下语义的虚拟形象动画信息的描述。在所有动画中，给 定默认空闲、举手礼问候、鞠躬、跳舞和salsa舞蹈。动画资源被保存在 ″http://avatarAnimationdb.com/default_idle.bvh″、 ″http://avatarAnimationdb.com/salutes.bvh″、 ″http://avatarAnimationdb.com/bowing.bvh″、 ″http://avatarAnimationdb.com/dancing.bvh″和 ″http://avatarAnimationdb.com/salsa.bvh″。

【表39】

3.2.4AvatarCommunicationSkillsType

此元素定义与其他虚拟形象关联的虚拟形象的通信技能。

3.2.4.1语法

图25示出根据实施例的AvatarCommunicationSkillsType的结构。表40 显示AvatarCommunicationSkillsType的语法。

【表40】

3.2.4.2语义

表40描述虚拟世界以及剩余的能够使它们的输入和输出适应这些偏爱 (也具有与它们自己的偏爱的平衡)的虚拟形象。所有的输入和输出将单独地适 用于每个虚拟形象。

通过保证多形态的两个输入信道和两个输出信道来定义通信偏爱。它们 是作为输入的语言和非语言识别以及作为输出的语言和非语言性能。这些信 道可被指定为″激活″和″失活″。所有信道″激活″意味虚拟形象能够讲话、做 姿势、识别讲话和姿势。

在语言性能和语言识别信道中，用于经由文本或经由语音使用信道的偏 爱可被指定。

非语言性能和非语言识别信道指定做姿势的类型：″非语言″、″手语″和″ 暗示法通信″。

取决于语言的所有特征(经由文本或语音讲话、经由文本或语音讲话识别 以及手语/暗示法使用/识别)使用用于定义具体语言技能的语言属性。

表41显示AvatarCommunicationSkillsType的语义。

【表41】

DefaultLanguage属性指定对于所有的通信信道的虚拟形象的偏爱语言 (通常将是其本地语言)。对于每个通信信道，不管此偏爱的其他语言可被指定。

3.2.4.3VerbalCommunicationType

3.2.4.3.1语法

图26示出根据实施例的VerbalCommunicationType的结构。表42显示 VerbalCommunicationType的语法。

【表42】

3.2.4.3.2语义

表43显示VerbalCommunicationType的语义。

【表43】

以上的表43指定虚拟形象的语言通信技能。语音和文本可被定义为激 活、失活或优选以指定优选语言模式是什么以及其他的可用性。

可选标签“语言”定义用于语言通信的优选语言。如果没有指定，则 CommunicationSkills标签中定义的属性DefaultLanguage的值将被应用。

3.2.4.3.3LanguageType

3.2.4.3.3.1语法

图27示出根据实施例的LanguageType的结构。表44显示LanguageType 的语法。

【表44】

3.2.4.3.3.2语义

表45显示LanguageType的语义。

【表45】

表45定义用于VerbalCommunication的次要通信技能。在这种情况下， 不能使用为与其他虚拟形象通信而定义的优选语言(或默认语言)，这些次要语 言将被应用。

3.2.4.3.3.3CommunicationPreferenceType

3.2.4.3.3.3.1语法

表46显示CommunicationPreferenceType的语法。

【表46】

3.2.4.3.3.3.2语义

表47显示CommunicationPreferenceType的语义。

【表47】

3.2.4.3.4CommunicationPreferenceLevelType

3.2.4.3.4.1语法

表48显示CommunicationPreferenceLevelType的语法。

【表48】

3.2.4.3.4.2语义

表49显示CommunicationPreferenceLevelType的语义。

【表49】

3.2.4.4NonVerbalCommunicationType

3.2.4.4.1语法

图28示出根据实施例的NonVerbalCommunicationType的结构。表50示 出NonVerbalCommunicationType的语法。

【表50】

3.2.4.4.2语义

表51显示NonVerbalCommunicationType的语义。

【表51】

3.2.4.4.3SignLanguageType

3.2.4.4.3.1语法

图29示出根据实施例的SignLanguageType的结构。表52显示 SignLanguageType的语法。

【表52】

3.2.4.4.3.2语义

表53显示SignLanguageType的语义。

【表53】

表53定义用于NonVerbalCommunication的次要通信技能(手语通信或暗 示法通信)。在不能使用优选语言(或默认语言)的情况下，这些次要语言将被 应用。

3.2.5AvatarPersonalityType

3.2.5.1语法

图30示出根据实施例的AvatarPersonalityType的结构。表54显示 AvatarPersonalityType的语法。

【表54】

3.2.5.2语义

此标记定义虚拟形象的个性。此定义基于OCEAN模型，存在于个性所 包括的一组特征。这些特征的组合是特定个性。因此，虚拟形象包含在OCEAN 的模型中定义的每个属性的子标签。它们是：开朗、认真、外向、热情和神 经质。

此标签的目的用于提供可能性以定义期望的虚拟形象个性，并且虚拟世 界的架构可解释为居民期望。将能够将虚拟形象的语言和非语言通信适用于 此个性。而且，可由虚拟世界事件激怒的情绪和心情、虚拟形象-虚拟形象通 信或实时流将通过此基本个性来调制。

表55显示AvatarPersonalityType的语义。

【表55】

3.2.6AvatarControlFeaturesType

3.2.6.1语法

图31示出根据实施例的AvatarControlFeaturesType的结构。表56显示 AvatarControlFeaturesType的语法。

【表56】

3.2.6.2语义

表57显示AvatarControlFeaturesType的语义。

【表57】

3.2.6.3示例

表58显示具有以下语法的控制身体和脸特征的描述。特征控制被给定并 且作为容器工作。

【表58】

3.2.6.4ControlBodyFeaturesType

3.2.6.4.1语法

图32示出根据实施例的ControlBodyFeaturesType的结构。表59显示 ControlBodyFeaturesType的语法。

【表59】

3.2.6.4.2语义

表60显示ControlBodyFeaturesType的语义。

【Table 60】

3.2.6.4.3示例

表61显示具有以下的语义的控制身体特征的描述。身体特征控制将用户 定义的身体特征点映射到占位符。表62显示映射到定义在语义中的占位符的 一组特征点。

【表61】

【表62】

3.2.6.5ControlFaceFeaturesType

3.2.6.5.1语法

图33示出根据实施例的ControlFaceFeaturesType的结构。表63显示 ControlFaceFeaturesType的语法。

【表63】

3.2.6.5.2语义

表64显示ControlFaceFeaturesType的语义。

【表64】

图34示出根据实施例的HeadOutline的示例。“点1”至“点4”描述形 成头的基本轮廓的四个点。另外，“点5”至“点8”描述形成头的高分辨率 的另外四个点。

图35示出根据实施例的LeftEyeOutline的示例。在这种情况下，“点1” 至“点4”描述形成左眼的基本轮廓的四个点。另外，“点5”至“点8”描 述形成左眼的高分辨率轮廓的另外四个点。

图36示出根据实施例的RightEyeOutline的示例。在这种情况下，“点1” 至“点4”描述形成右眼的基本轮廓的四个点。另外，“点5”至“点8”描 述形成右眼的高分辨率轮廓的另外四个点。

图37示出根据实施例的LeftEyeBrowOutline的示例。在这种情况下，“点 1”至“点4”描述形成左眉毛的轮廓的四个点。

图38示出根据实施例的RightEyeBrowOutline的示例。在这种情况下， “点1”至“点4”描述形成右眉毛的轮廓的四个点。

图39示出根据实施例的LeftEarOutline和RightEarOutline的示例。在左 脸形状中，“点1”至“点4”描述形成左耳的轮廓的四个点。在右脸形状中， “点1”至“点4”描述形成右耳的轮廓的四个点。

图40示出根据实施例的NoseOutline的示例。在这种情况下，“点1”至 “点4”描述形成鼻子的基本轮廓的四个点。另外，“点5”至“点8”描述 形成鼻子的高分辨率轮廓的另外四个点。

图41示出根据实施例的MouthLipOutline的示例。在这种情况下，“点1” 至“点4”描述形成嘴唇的基本轮廓的四个点。另外，“点5”至“点14”描 述形成嘴唇的高分辨率轮廓的另外四个点。

图42示出根据实施例的FacePoints的示例。在这种情况下，“点1”至 “点5”描述形成高分辨率面部表情的五个点。

3.2.6.5.3OutlineType

3.2.6.5.3.1语法

图43示出根据实施例的OutlineType的结构。表65显示OutlineType的 语法。

【表65】

3.2.6.5.3.2语义

表66显示OutlineType的语义。OutlineType包含取决于形成轮廓的点的 数量的5个不同类型的轮廓。

【表66】

  名称   描述   Outline4Points   具有4个点的轮廓(The outline with 4points)   Outline5Points   具有5个点的轮廓(The outline with 5points)   Outline8Points   具有8个点的轮廓(The outline with 8points)   Outline 14Points   具有14个点的轮廓(The outline with 14points)

3.2.6.5.3.3 Outline4PointsType

3.2.6.5.3.3.1语法

图44示出根据实施例的Outline4PointsType的结构。表67显示 Outline4PointsType的语法。

【表67】

3.2.6.5.3.3.2语义

表68显示Outline4PointsType的语义。这些点是按照逆时针方向从最左 点开始编号。例如，如果在轮廓的左、顶、右、底存在4个点，则它们分别 是点1、点2、点3、点4。

【表68】

  名称 描述   Point1 轮廓的第一点(The 1st point of the outline)   Point2 轮廓的第二点(The 2nd point of the outline)   Point3 轮廓的第三点(The 3rd point of the outline)   Point4 轮廓的第四点(The 4th point of the outline)

3.2.6.5.3.4 Outline5PointsType

3.2.6.5.3.4.1语法

图45示出根据实施例的Outline5PointsType的结构。表69显示 Outline5PointsType的语法。

【表69】

3.2.6.5.3.4.2语义

表70显示Outline5PointsType的语义。这些点按照逆时针方向从最左点 开始编号。

【表70】

  名称 描述   Point1 轮廓的第一点(The 1st point of the outline)   Point2 轮廓的第二点(The 2nd point of the outline)   Point3 轮廓的第三点(The 3rd point of the outline)   Point4 轮廓的第四点(The 4th point of the outline)   Point5 轮廓的第五点(The 5th point of the outline)

3.2.6.5.3.5Outline8PointsType

3.2.6.5.3.5.1语法

图46示出根据实施例的Outline8PointsType的结构。表71显示 Outline8PointsType的语法。

【表71】

3.2.6.5.3.5.2语义

表72显示Outline8PointsType的语义。这些点按照逆时针方向从最左点 开始编号。

【表72】

  名称 描述   Point1 轮廓的第一点(The 1st point of the outline)   Point2 轮廓的第二点(The 2nd point of the outline)   Point3 轮廓的第三点(The 3rd point of the outline)   Point4 轮廓的第四点(The 4th point of the outline)   Point5 轮廓的第五点(The 5th point of the outline)   Point6 轮廓的第六点(The 6th point of the outline)   Point7 轮廓的第七点(The 7th point of the outline)   Point8 轮廓的第八点(The 8th point of the outline)

3.2.6.5.3.6 Outline14Points

3.2.6.5.3.6.1语法

图47示出根据实施例的Outline14PointsType的结构。表73显示 Outline14Points的语法。

【表73】

3.2.6.5.3.6.2语义

表74显示Outline14Points的语义。这些点按照逆时针方向从最左点开始 编号。

【表74】

  名称  描述   Point1  轮廓的第一点(The 1st point of the outline)   Point2  轮廓的第二点(The 2nd point of the outline)   Point3  轮廓的第三点(The 3rd point of the outline)   Point4  轮廓的第四点(The 4th point of the outline)   Point5  轮廓的第五点(The 5th point of the outline)   Point6  轮廓的第六点(The 6th point of the outline)   Point7  轮廓的第七点(The 7th point of the outline)   Point8  轮廓的第八点(The 8th point of the outline)   Point9  轮廓的第九点(The 9th point of the outline)   Point10  轮廓的第十点(The 10th point of the outline)   Point11  轮廓的第十一点(The 11th point of the outline)   Point12  轮廓的第十二点(The 12th point of the outline)   Point13  轮廓的第十三点(The 13th point of the outline)   Point14  轮廓的第十四点(The 14th point of the outline)

3.2.6.5.4示例

表75显示具有以下语义的控制脸特征的描述。脸特征控制将用户定义的 脸特征映射到占位符。表76显示映射到定义在语义中的占位符的一组特征 点。

【表75】

【表76】

4虚拟对象元数据

4.1虚拟对象元数据的类型

作为环境内的虚拟对象的(可见)表示的虚拟对象元数据用于以下目的：

-表现VE内的各种类型的对象的特征，

-提供虚拟对象和虚拟形象之间的交互，

-提供与VE的交互...

“虚拟对象”元素可包括除了虚拟世界对象特征的共同相关类型之外的 以下类型的数据：

-VO外貌：包含外貌的高级描述，并且可参考包含精确几何形状、纹理 和触觉特征的媒体，

-VO动画：包含对象能够执行的一组动画序列的描述，并且可参考包含 精确(几何变换和变形)动画参数的几个媒体。

4.2XSD

4.2.1VirtualObjectType

4.2.1.1语法

图48示出根据实施例的VirtualObjectType的结构。表77显示 VirtualObjectType的语法。

【表77】

4.2.1.2语义

表78显示VirtualObjectType的语义。

【表78】

4.2.2VOAppearanceType

4.2.2.1语法

图49示出根据实施例的VOAppearanceType的结构。表79显示 VOAppearanceType的语法。

【表79】

4.2.2.2语义

表80显示VOAppearanceType的语义。

【表80】

4.2.2.3示例

表81显示具有以下语义的虚拟对象外貌的资源。VirtualObjectURL提供 虚拟对象模型被保存的位置信息。该示例显示VirtualObjectURL值是 http://3DmodelDb.com/object_0001.3ds的情况。

【表81】

4.2.3VOAnimationType

4.2.3.1语法

图50示出根据实施例的VOAnimationType的结构。表82显示 VOAnimationType的语法。

【表82】

4.2.3.2语义

表83显示VOAnimationType的语义。

【表83】

4.2.3.3示例

表84显示具有以下语义的对象动画信息的描述。在所有动画中，360° 转弯的运动类型动画被给出。动画资源被保存在 ″http://voAnimationdb.com/turn_360.bvh″并且AnimationID的值，其标识符是 “3”。强度将是以30的持续时间播放一次。

【表84】

图51示出根据实施例的虚拟形象特征控制系统5100的配置。虚拟形象 特征控制系统5100可包括传感器控制命令接收器5110和虚拟形象控制信息 产生器5120。

传感器控制命令接收器5110可经由基于传感器的输入装置来接收表示 用户意图的传感器控制命令。基于传感器的输入装置可对应于图1的基于传 感器的输入装置101。例如，运动传感器、相机、深度相机、3D鼠标等可用 于基于传感器的输入装置。可通过感测真实世界的用户的面部表情和身体运 动来产生传感器控制命令。

虚拟形象控制信息产生器5120可基于虚拟世界的虚拟形象信息和传感 器控制命令来产生虚拟形象控制信息。虚拟形象控制信息可包括用于根据感 测的面部表情和身体表达将用户的特征映射到虚拟世界的虚拟形象的信息。

虚拟形象信息可包括虚拟世界对象的共同特征。共同特征可包括作为元 数据的以下元素中的至少一个元素：用于标识虚拟世界对象的标识 (Identification)、VWOSound、VWOScent、VWOControl、VWOEvent、 VWOB ehaviorModel和VWOHapticProperties。

Identification可包括作为元素的以下元素中的至少一个：用于标识与虚 拟世界对象关联的用户的用户ID(UserID)、虚拟世界对象的所有权 (Ownership)、权利(Rights)和信用(Credits)，并且可包括作为属性的虚 拟世界对象的名称(name)以及与另一虚拟世界对象的家庭(family)中的至少一 个。

VWOSound可包括作为元素的包括到声音文件的至少一个链接的声音资 源URL，并且可包括作为属性的以下元素中的至少一个：作为对象声音的 唯一标识符的SoundID、指示声音强度的强度(intensity)、指示声音持续的时 间长度的持续时间(duration)、指示播放选项的循环(loop)以及声音名称 (name)。

VWOScent可包括作为元素的包括到气味文件的至少一个链接的气味资 源URL，并且可包括作为属性的以下元素中的至少一个：作为对象气味的 唯一标识符的ScentID、指示气味浓度的强度(intensity)、指示气味持续的时 间长度的持续时间(duration)、指示播放选项的循环(loop)以及气味名称 (name)。

VWOControl可包括作为元素的作为控制虚拟世界对象的位置(position)、 方位(orientation)和大小(scale)的一组元素的MotionFeatureControl，并且可包 括作为属性的为控制的唯一标识符的ControlID。在这种情况下， MotionFeatureControl可包括作为元素的以下元素中的至少一个：在具有3D 浮点向量的场景中的对象的位置、具有作为欧拉角的3D浮点向量的场景中 的对象的方位、以及表示为3D浮点向量的场景中的对象的大小。

VWOEvent可包括作为元素的以下元素中的至少一个：作为一组鼠标事 件元素的鼠标(Mouse)、作为一组键盘事件元素的键盘(Keyboard)以及 UserDefinedInput，并且可包括作为属性的作为事件的唯一标识符的 EventID。鼠标(Mouse)可包括作为元素的以下元素中的至少一个：单击 (click)、双击(Double_Click)、左按钮向下(LeftBttn_down)(作为在按下鼠标 的左按钮时发生的事件)、左按钮向上(LeftBttn_up)(作为在释放鼠标的左 按钮时发生的事件)、右按钮向下(RightBttn_down)(作为在按下鼠标的右 按钮时发生的事件)、右按钮向上(RightBttn_up)(作为在释放鼠标的右按钮 时发生的事件)、以及移动(move)(作为在改变鼠标的位置的同时发生的事 件)。此外，键盘可包括作为元素的以下元素中的至少一个：键向下 (Key_Down)(作为在按下键盘按钮时发生的事件)、以及键向上(Key_Up)(作 为在释放键盘按钮时发生的事件)。

VWOBehaviorModel可包括作为元素的以下元素中的至少一个：作为用 于产生对象行为的输入事件的行为输入(BehaviorInput)以及作为根据输入 事件输出的对象行为的行为输出(BehaviorOutput)。在这种情况下，行为输 入(BehaviorInput)可包括作为属性的事件标识(EventID)，行为标识 (BehaviorOutput)可包括作为属性的以下元素中的至少一个：声音标识 (SoundID)、气味标识(ScentID)和动画标识(AnimationID)。

VWOHapticProperties可包括作为属性的以下元素中的至少一个： MaterialProperty)(包含表现触觉特征的参数)、DynamicForceEffect(包含表现 力效果的参数)以及TactileProperty(包含表现触觉特征的参数)。在这种情况 下，MaterialProperty可包括作为属性的以下元素中的至少一个：虚拟世界对 象的硬度(Stiffness)、虚拟世界对象的静摩擦力(StaticFriction)、虚拟世界对 象的动摩擦力(DynamicFriction)、虚拟世界对象的阻尼(Damping)、包含到 触觉纹理文件的链接的纹理(Texture)和虚拟世界对象的质量(mass)。此外， DynamicForceEffect可包括作为属性的以下元素中的至少一个：包含到力场向 量文件的链接的力场(ForceField)以及包含到力轨道文件的链接的运动轨 道(MovementTrajector)y。此外，TactileProperty可包括作为属性的以下元 素中的至少一个：虚拟世界对象的温度(Temperature)、虚拟世界对象的摇动 (Vibration)、虚拟世界对象的电流(Current)以及包含到触觉模式文件的链接的 TactilePatterns。

对象信息可包括与虚拟世界的虚拟形象关联的虚拟形象信息，并且虚拟 形象信息可包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌 (AvatarAppearance)、虚拟形象动画(AvatarAnimation)、虚拟形象通信技 能(AvatarCommunicationSkills)、虚拟形象个性(AvatarPersonality)、虚拟 形象控制特征(AvatarControlFeatures)和AvatarCC，并且可包括作为属性 的虚拟形象的性别(Gender)。

AvatarAppearance可包括作为元素的以下元素中的至少一个：身体 (Body)、头(Head)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴唇(MouthLip)、 皮肤(Skin)、面部(facial)、指甲(Nail)、身体外表(BodyLook)、头发(Hair)、眉 毛(EyeBrows)、脸毛(FacialHair)、面部校准点(FacialCalibrationPoints)、物 理条件(PhysicalCondition)、衣服(Clothes)、鞋子(Shoes)、装饰品(Accessories)、 外貌资源(AppearanceResource)。

AvatarAnimation可包括以下元素中的至少一个元素：空闲(Idle)、问候 (Greeting)、跳舞(Dance)、步行(Walk)、移动(Moves)、打架(Fighting)、倾听 (Hearing)、吸烟(Smoke)、祝贺(Congratulations)、共同动作(Common_Actions)、 特殊动作(Specific_Actions)、面部表情(Facial_Expression)、身体表达 (Body_Expression)以及动画资源(AnimationResource)。

AvatarCommunicationSkil可包括作为元素的以下元素中的至少一个： 输入语言通信(InputVerbalCommunication)、输入非语言通信 (InputNonVerbalCommunication)、输出语言通信 (OutputVerbalCommunication)以及输出非语言通信 (OutputNonVerbalCommunication)，并且可包括作为属性的以下元素中的至 少一个：名称(Name)和默认语言(DefaultLanguage)。在这种情况下，包括 InputVerbalCommunication和OutputVerbalCommunication的语言通信可包括 作为元素的语言，并且可包括作为属性的以下元素中的至少一个：语音 (voice)、文本(text)和语言(language)。语言可包括作为属性的以下元素中的 至少一个：作为指示语言的名称的字符串的名称(name)和在语言通信中使用 语言的偏爱(preference)。此外，包括偏爱(preference)的通信偏爱可包括虚拟 形象的通信的偏爱级别。语言可设置有包括对于虚拟形象能够讲或理解的每 种语言的偏爱级别的通信偏爱级别(CommunicationPreferenceLevel)。此外， 包括InputNonVerbalCommunication和OutputNonVerbalCommunication的非 语言通信可包括作为元素的以下元素中的至少一个：手语(SignLanguage) 和暗示法通信(CuedSpeechCommumication)，并且可包括作为属性的补充 姿势(ComplementaryGesture)。在这种情况下，SignLanguage可包括作为属 性的语言的名称(name)。

AvatarPersonality可包括作为元素的以下元素中的至少一个：开朗 (openness)、认真(conscientiousness)、外向(extraversion)、热情(agreeableness) 和神经质(neuroticism)，并且可选择性地包括个性的名称(name)。

AvatarControlFeatures可包括作为元素的控制身体特征 (ControlBodyFeatures)(作为控制身体的运动的一组元素)以及控制脸特征 (ControlFaceFeature)(作为控制脸的运动的一组元素)，并且可选择性地包 括作为属性的控制配置的名称(name)。

ControlBodyFeatures可包括作为元素的以下元素中的至少一个：头骨骼 (headBones)、上体骨骼(UpperBodyBones)、下体骨骼(DownBodyBones) 以及中体骨骼(MiddleBodyBones)。在这种情况下，ControlFaceFeatures可 包括作为元素的以下元素中的至少一个：头轮廓(HeadOutline)、左眼轮廓 (LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓 (LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓 (LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、 嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)以及各种点 (MiscellaneousPoints)，并且可选择性地包括作为属性的脸控制配置的名称 (name)。在这种情况下，包括在ControlFaceFeatures中的至少一个元素包括 作为元素的以下元素中的至少一个：具有四个点的轮廓4点

(Outline4Points)、具有五个点的轮廓5点(Outline5Points)、具有八个点的 轮廓8点(Outline8Points)以及具有14个点的轮廓14点(Outline14Points)。 此外，包括在ControlFaceFeatures中的至少一个元素可包括基本数量的点并 且可选择性地还包括附加点。

对象信息可包括与虚拟对象关联的信息。与虚拟对象关联的信息可包括 作为用于表示虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素： VO外貌(Appearance)、虚拟VO动画(Animation)以及VOCC。

当到外貌文件的至少一个链接存在时，VOAppearance可包括作为元素的 虚拟对象URL(VirtualObjectURL)(作为包括所述至少一个链接的元素)。

VOAnimation可包括作为元素的以下元素中的至少一个：VO运动 (VOMotion)、VO变形(VODeformation)以及VO附加动画 (VOAdditionalAnimation)，并且可包括作为属性的以下元素中的至少一个： 动画ID(AnimationID)、作为动画持续的时间长度的持续时间(Duration)以 及作为播放选项的循环(Loop)。

以上虚拟形象信息可参考以上参照图9至图50进行的描述。虚拟形象信 息被重复地描述，因此在这里省略了进一步的描述。用于虚拟形象信息的元 数据结构可被可记录在计算机可读存储介质中。

虚拟形象控制信息产生器5120可基于虚拟形象信息和传感器控制命令， 来产生用于控制用户的特征以被映射到虚拟世界的虚拟形象的虚拟形象控制 信息。可通过感测真实世界的用户的面部表情和身体运动来产生传感器控制 命令。虚拟形象特征控制系统5100可基于虚拟形象控制信息来直接操纵虚拟 形象，或者可将虚拟形象控制信息发送给操纵虚拟形象的单独的系统。当虚 拟形象特征控制系统5100直接操纵虚拟形象时，虚拟形象控制系统5100可 还包括虚拟形象操纵单元5130。

虚拟形象操纵单元5130可基于虚拟形象控制信息来操纵虚拟世界的虚 拟形象。如上所述，虚拟形象控制信息可用于控制用户的特征以被映射到虚 拟世界的虚拟形象。因此，虚拟形象操纵单元5130可基于虚拟形象控制信息 来操纵真实世界的用户意图以适用于虚拟世界的虚拟形象。

图52示出根据实施例的控制虚拟形象的特征的方法。可由图51的虚拟 形象特征控制系统5100来执行虚拟形象特征控制方法。下文中，将参照图 52来描述虚拟形象特征控制方法。

在操作5210，虚拟形象特征控制系统5100可通过基于传感器的输入装 置来接收表示用户意图的传感器用户命令。基于传感器的输入装置可对应于 图1的基于传感器的输入装置101。例如，运动传感器、相机、深度相机、 3D鼠标等可用于基于传感器的输入装置。可通过感测真实世界的用户的面部 表情和身体运动来产生传感器控制命令。

在操作5220，虚拟形象特征控制系统5100可基于虚拟形象世界信息的 虚拟形象和传感器控制信息来产生虚拟形象控制信息。虚拟形象控制信息可 包括：用于根据面部表情和身体运动来映射用户的特征以被映射到虚拟世界 的虚拟形象的信息。

虚拟形象信息可包括虚拟世界对象的共同特征。共同特征可包括作为元 数据的以下元素中的至少一个元素：用于表示虚拟世界对象的标识 (Identification)、VWO声音(VWOSound)、VWO气味(VWOScent)、VWO 控制(VWOControl)、VWO事件(VWOEvent)、VWO行为模型 (VWOBehaviorModel)和VWO触觉特征VWOHapticProperties。

Identification可包括作为元素的以下元素中的至少一个：用于标识与虚 拟世界对象关联的用户的用户ID(UserID)、虚拟世界对象的所有权 (Ownership)、权利(Rights)和信用(Credits)，并且可包括作为属性的虚 拟世界对象的名称(name)以及与另一虚拟世界对象的家庭(family)中的至少一 个。

VWOSound可包括作为元素的包括到声音文件的至少一个链接的声音资 源URL，并且可包括作为属性的以下元素中的至少一个：作为对象声音的 唯一标识符的声音ID(SoundID)、指示声音强度的强度(intensity)、指示声 音持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及声 音名称(name)。

VWOScent可包括作为元素的包括到气味文件的至少一个链接的气味资 源URL，并且可包括作为属性的以下元素中的至少一个：作为对象气味的 唯一标识符的气味标识(ScentID)、指示气味浓度的强度(intensity)、指示气 味持续的时间长度的持续时间(duration)、指示播放选项的循环(loop)以及气 味名称(name)。

VWOControl可包括作为元素的作为控制虚拟世界对象的位置(position)、 方位(orientation)和大小(scale)的一组元素的MotionFeatureControl，并且可包 括作为属性的作为控制的唯一标识符的控制标识(ControlID)。在这种情况 下，MotionFeatureControl可包括作为元素的以下元素中的至少一个：在具 有3D浮点向量的场景中的对象的位置、具有作为欧拉角的3D浮点向量的 场景中的对象的方位、以及表示为3D浮点向量的场景中的对象的大小。

VWOEvent可包括作为元素的以下元素中的至少一个：作为一组鼠标事 件元素的鼠标(Mouse)、作为一组键盘事件元素的键盘(Keyboard)以及用 户定义的输入(UserDefinedInput)，并且可包括作为属性的作为事件的唯一 标识符的事件标识(EventID)。鼠标(Mouse)可包括作为元素的以下元素中 的至少一个：单击(click)、双击(Double_Click)、左按钮向下(LeftBttn_down) (作为在按下鼠标的左按钮时发生的事件)、左按钮向上(LeftBttn_up)(作 为在释放鼠标的左按钮时发生的事件)、右按钮向下(RightBttn_down)(作 为在按下鼠标的右按钮时发生的事件)、右按钮向上(RightBttn_up)(作为在 释放鼠标的右按钮时发生的事件)、以及移动(move)(作为在改变鼠标的位 置的同时发生的事件)。此外，键盘(Keyboard)可包括作为元素的以下元 素中的至少一个：键向下(Key_Down)(作为在按下键盘按钮时发生的事件)、 以及键向上(Key_Up)(作为在释放键盘按钮时发生的事件)。

VWOBehaviorModel可包括作为元素的以下元素中的至少一个：作为用 于产生对象行为的输入事件的行为输入(BehaviorInput)以及作为根据输入 事件输出的对象行为的行为输出(BehaviorOutput)。在这种情况下，行为输 入(BehaviorInput)可包括作为属性的事件标识(EventID)，行为输出 (BehaviorOutput)可包括作为属性的以下元素中的至少一个：声音标识 (SoundID)、气味标识(ScentID)和动画标识(AnimationID)。

VWOHapticProperties可包括作为属性的以下元素中的至少一个：材料特 征(MaterialProperty)(包含表现触觉特征的参数)、动力效果 (DynamicForceEffect)(包含表现力效果的参数)以及触觉特征 (TactileProperty)(包含表现触觉特征的参数)。在这种情况下，材料特征 (MaterialProperty)可包括作为属性的以下元素中的至少一个：虚拟世界对 象的硬度(Stiffness)、虚拟世界对象的静摩擦力(StaticFriction)、虚拟世界对 象的动摩擦力(DynamicFriction)、虚拟世界对象的阻尼(Damping)、包含到 触觉纹理文件的链接的纹理(Texture)和虚拟世界对象的质量(mass)。此外，动 力效果(DynamicForceEffect)可包括作为属性的以下元素中的至少一个：包 含到力场向量文件的链接的力场(ForceField)以及包含到力轨道文件的链接 的运动轨道(MovementTrajectory)。此外，TactileProperty可包括作为属性的 以下元素中的至少一个：虚拟世界对象的温度(Temperature)、虚拟世界对象的 摇动(Vibration)、虚拟世界对象的电流(Current)以及包含到触觉模式文件的链 接的触觉模式(TactilePatterns)。

对象信息可包括与虚拟世界的虚拟形象关联的虚拟形象信息，并且虚拟 形象信息可包括作为元数据的以下元素中的至少一个元素：虚拟形象外貌 (AvatarAppearance)、虚拟形象动画(AvatarAnimation)、动画通信技能 (AvatarCommunicationSkills)、动画个性(AvatarPersonality)、动画控制特 征(AvatarControlFeatures)和AvatarCC，并且可包括作为属性的虚拟形象 的性别(Gender)。

AvatarAppearance可包括作为元素的以下元素中的至少一个：身体 (Body)、头(Head)、眼睛(Eyes)、耳朵(Ears)、鼻子(Nose)、嘴唇(MouthLip)、 皮肤(Skin)、面部(facial)、指甲(Nail)、身体外表(BodyLook)、头发(Hair)、眉 毛(EyeBrows)、脸毛(FacialHair)、面部校准点(FacialCalibrationPoints)、物 理条件(PhysicalCondition)、衣服(Clothes)、鞋子(Shoes)、装饰品(Accessories)、 外貌资源(AppearanceResource)。

AvatarAnimation可包括以下元素中的至少一个元素：空闲(Idle)、问候 (Greeting)、跳舞(Dance)、步行(Walk)、移动(Moves)、打架(Fighting)、倾听 (Hearing)、吸烟(Smoke)、祝贺(Congratulations)、共同动作(Common_Actions)、 特殊动作(Specific_Actions)、面部表情(Facial_Expression)、身体表达 (Body_Expression)以及动画资源(AnimationResource)。

AvatarCommunicationSkills可包括作为元素的以下元素中的至少一个： 输入语言通信(InputVerbalCommunication)、输入非语言通信 (InputNonVerbalCommunication)、输出语言通信 (OutputVerbalCommunication)以及输出非语言通信 (OutputNonVerbalCommunication)，并且可包括作为属性的以下元素中的至 少一个：名称(Name)和默认语言(DefaultLanguage)。在这种情况下，包括 输入语言通信(InputVerbalCommunication)和输出语言通信 (OutputVerbalCommunication)的语言通信可包括作为元素的语言，并且可 包括作为属性的以下元素中的至少一个：语音(voice)、文本(text)和语言 (language)。语言可包括作为属性的以下元素中的至少一个：作为指示语言 的名称的字符串的名称(name)和在语言通信中使用语言的偏爱(preference)。 此外，包括偏爱(preference)的通信偏爱可包括虚拟形象的通信的偏爱级别。 语言可设置有包括对于虚拟形象能够讲或理解的每种语言的偏爱级别的通 信偏爱级别(CommunicationPreferenceLevel)。此外，包括输入非语言通信 (InputNonVerbalCommunication)和输出非语言通信 (OutputNonVerbalCommunication)的非语言通信可包括作为元素的以下元 素中的至少一个：手语(SignLanguage)和暗示法通信 (CuedSpeechCommumication)，并且可包括作为属性的补充姿势 (ComplementaryGesture)。在这种情况下，SignLanguage可包括作为属性的 语言的名称(name)。

AvatarPersonality可包括作为元素的以下元素中的至少一个：开朗 (openness)、认真(conscientiousness)、外向(extraversion)、热情(agreeableness) 和神经质(neuroticism)，并且可选择性地包括个性的名称(name)。

AvatarControlFeatures可包括作为元素的控制身体特征 (ControlBodyFeatures)(作为控制身体的运动的一组元素)以及控制脸特征 (ControlFaceFeature)(作为控制脸的运动的一组元素)，并且可选择性地包 括作为属性的控制配置的名称(name)。

ControlBodyFeatures可包括作为元素的以下元素中的至少一个：头骨 (headBones)、上体骨骼(UpperBodyBones)、下体骨骼(DownBodyBones) 以及中体骨骼(MiddleBodyBones)。在这种情况下，ControlFaceFeatures可 包括作为元素的以下元素中的至少一个：头轮廓(HeadOutline)、左眼轮廓 (LeftEyeOutline)、右眼轮廓(RightEyeOutline)、左眉毛轮廓 (LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左耳轮廓 (LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓(NoseOutline)、 嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)以及各种点 (MiscellaneousPoints)，并且可选择性地包括作为属性的脸控制配置的名称 (name)。在这种情况下，包括在ControlFaceFeatures中的至少一个元素包括 作为元素的以下元素中的至少一个：具有四个点的轮廓4点 (Outline4Points)、具有五个点的轮廓5点(Outline5Points)、具有八个点的 轮廓8点(Outline8Points)以及具有14个点的轮廓14点(Outline14Points)。 此外，包括在ControlFaceFeatures中的至少一个元素可包括基本数量的点并 且可选择性地还包括附加点。

对象信息可包括与虚拟对象关联的信息。与虚拟对象关联的信息可包括 作为用于表示虚拟环境的虚拟对象的元数据的以下元素中的至少一个元素： VO外貌(VOAppearance)、虚拟VO动画(VOAnimation)以及VOCC。

当到外貌文件的至少一个链接存在时，VOAppearance可包括作为元素的 VirtualObjectURL(作为包括所述至少一个链接的元素)。

VOAnimation可包括作为元素的以下元素中的至少一个：VO运动 (VOMotion)、VO变形(VODeformation)以及VO附加动画 (VOAdditionalAnimation)，并且可包括作为属性的以下元素中的至少一个： 动画标识(AnimationID)、作为动画持续的时间长度的持续时间(Duration) 以及作为播放选项的循环(Loop)。

以上虚拟形象信息可参考以上参照图9至图50进行的描述。虚拟形象信 息被重复地描述，因此在这里省略了进一步的描述。用于虚拟形象信息的元 数据结构可被可记录在计算机可读存储介质中。

虚拟形象控制系统5100可产生用于基于虚拟形象信息和传感器控制命 令来控制用户的特征以被映射到虚拟世界的虚拟形象的虚拟形象控制信息。 可通过感测真实世界的用户的面部表情和身体运动来产生传感器控制命令。 虚拟形象控制系统5100可基于虚拟形象控制信息来直接操纵虚拟形象，或者 可将虚拟形象控制信息发送给操纵虚拟形象的单独系统。当虚拟形象控制系 统5100直接操纵虚拟形象时，虚拟形象特征控制方法可还包括操作5230。

在操作5230，虚拟形象特征控制系统5100可基于虚拟形象控制信息来 操纵虚拟世界的虚拟形象。如上所述，虚拟形象控制信息可用于控制用户的 特征以被映射到虚拟世界的虚拟形象。因此，虚拟形象特征控制系统5100可 基于虚拟形象控制信息来操纵真实世界的用户意图以适合于虚拟世界的虚拟 形象。

如上所述，当采用根据实施例的虚拟形象特征控制系统或虚拟形象特征 控制方法时，能够有效地控制虚拟世界中的虚拟形象的特征。此外，能够通 过设置用于感测真实世界的用户脸的特征点并且通过基于收集的关于特征点 的数据产生虚拟世界中的虚拟形象的脸，来产生动画中无法定义的随机表情。

图53示出根据实施例的在虚拟世界和真实世界之间交换信息和数据的 系统的结构。

参照图53，当使用真实世界装置(例如，运动传感器)输入真实世界中的 用户的意图时，包括与真实世界的用户意图关联的控制信息(下文中被称为 “CI”)的传感器信号可被发送给虚拟世界处理装置。

CI可以是基于通过真实世界装置输入的值的命令或者关于这些命令的 信息。CI可包括感官输入装置能力(SIDC)、用户感官输入偏爱(USIP)和感官 输入装置命令(SDICmd)。

可通过真实世界到虚拟世界引擎(以下称为“RV”引擎)来执行自适应真 实世界到虚拟世界(以下称为“自适应RV”)。自适应RV可使用包括在传感 器信号中的关于真实世界的用户的运动、状态、意图、特征等的CI，来将使 用真实世界装置输入的真实世界信息转换为可应用于虚拟世界中的信息。以 上描述的自适应处理可影响虚拟世界信息(以下称为“VWI”)。

VWI可以是与虚拟世界关联的信息。例如，VWI可以是与构成虚拟世界 的元素(例如，虚拟对象或虚拟形象)关联的信息。可通过虚拟世界效果元数据 (VWEM)类型、虚拟世界偏爱(VWP)类型和虚拟世界能力类型的命令来在RV 引擎中执行关于VWI的改变。

表85描述在图53中描述的配置。

[表85]

图54至图58是示出根据实施例的虚拟形象控制命令5410的示图。

参照图54，虚拟形象控制命令5410可包括虚拟形象控制命令基本类型 5411和任何属性5412。

另外，参照图54至58，可使用可扩展标记语言(XML)来显示虚拟形 象控制命令。然而，在图55至图58中显示的程序源可以仅是示例，并且本 实施例不限于此。

部分5518可表示虚拟形象控制命令5410的基本元素的定义。虚拟形象 控制命令5410可在语义上表示用于控制虚拟形象的命令。

部分5520可表示虚拟形象控制命令5410的根元素的定义。虚拟形象控 制命令5410可指示元数据的根元素的函数。

部分5519和5521可表示虚拟形象控制命令基本类型5411的定义。虚拟 形象控制命令基本类型5411可扩展虚拟形象控制命令基本类型 (AvatarCtrlCmdBasetype)，并且提供定义为虚拟形象控制命令元数据类型的部 分的类型的子集的基本抽象类型。

任何属性5412可以是附加虚拟形象控制命令。

根据实施例，虚拟形象控制命令基本类型5411可包括虚拟形象控制命令 基本属性5413和任何属性5414。

部分5515可表示虚拟形象控制命令基本属性5413的定义。虚拟形象控 制命令基本属性5413可以是显示用于命令的一组属性的指令。

虚拟形象控制命令基本属性5413可包括′id′、′idref′、′activate′和′value′。

′id′可以是用于标识虚拟形象控制命令基本类型5411的各身份的标识符 (ID)信息。

′idref′可参考具有示例的类型id的属性的元素。′idref′可以是关于用于标 识虚拟形象控制命令基本类型5411的各身份的′id′的附加信息。

′activate′可表示效果是否将被激活。′真(true)′可指示该效果被激活，′ 假(false)′可指示该效果没有被激活。对于部分5416，′activate′可具有″布尔 (boolean)″类型的数据，并且可被可选地使用。

′value′可根据在各效果的语义定义内定义的最大大小以百分数描述效果 的强度。对于部分5417，′value′可具有“整数”类型的数据，并且可被可选 地使用。

任意属性5414可以是提供用于包括来自与目标名称空间(namespace)不 同的另一名称空间的属性的扩展机制的指令。所包括的属性可以是为了标识 处理单元并且关联处理单元的时间信息的目的而定义在ISO/IEC 21000-7中 的XML流传输命令。例如，′si:pts′可指示关联的信息被使用在用于处理的应 用的点。

部分5622可指示虚拟形象控制命令外貌类型的定义。

根据实施例，虚拟形象控制命令外貌类型可包括：外貌控制类型、动画 控制类型、通信技能控制类型、个性控制类型和控制控制类型。

部分5623可指示外貌控制类型的元素。外貌控制类型可以是用于表达外 貌控制命令的工具。下文中，将参照图59来详细描述外貌控制类型的结构。

图59示出根据实施例的外貌控制类型5910的结构。

参照图59，外貌控制类型5910可包括虚拟形象控制命令基本类型5920 和元素。虚拟形象控制命令基本类型5920在以上已经被详细描述，因此将省 略其描述。

根据实施例，外貌控制类型5910的元素可包括身体(body)、头(head)、 眼睛(eyes)、鼻子(nose)、嘴唇(mouthLip)、皮肤(skin)、脸(face)、指甲(nail)、 头发(hair)、眉毛(eyebrows)、脸毛(facial hair)、外貌资源(appearance resources)、 物理条件(physical condition)、衣服(clothes)、鞋子(shoes)和装饰品(accessories)。

再次参照图54至图58，部分5725可指示通信技能控制类型的元素。通 信技能控制类型可以是用于表达动画控制命令的工具。下文中，将参照图60 对通信技能控制类型的结构进行详细描述。

图60示出根据实施例的通信技能控制类型6010的结构。

参照图60，通信技能控制类型6010可包括虚拟对象控制命令基本类型 6020和元素。

根据实施例，通信技能控制类型6010的元素可包括输入语言通信(input  verbal communication)、输入非语言通信(input nonverbal communication)、 输出语言通信(output verbal communication)和输出非语言通信(output  nonverbal communication)。

再次参照图54至图58，部分5826可指示个性控制类型的元素。个性控 制类型可以是用于表达动画控制命令的工具。在下文中，将参照图61来对个 性控制类型的结构进行详细描述。

图61示出根据实施例的个性控制类型6110的结构。

参照图61，个性控制类型6110可包括虚拟形象控制命令基本类型6120 和元素。

根据实施例，个性控制类型610的元素可包括：开朗(openness)、热情 (agreeableness)、神经质(neuroticism)、外向(extraversion)和认真 (conscientiousness)。

再次参照图54至图58，部分5624可指示动画控制类型的元素。动画控 制类型可以是用于表达动画控制命令的工具。下文中，将参照图62来对动画 控制类型的结构进行详细描述。

图62示出根据实施例的动画控制类型6210的结构。

参照图62，动画控制类型6210可包括动画控制命令基本类型6220、任 何属性6230和元素。

根据实施例，任何属性6230可包括运动优先级6231和速度6232。

运动优先级6231可确定当通过将动画和身体和/或面部特征控制进行混 合来产生虚拟形象的运动时的优先级。

速度6232可调整动画的速度。例如，在关于步行运动的动画的情况下， 步行运动可根据步行速度被分类为慢步行运动、适度步行运动和快速步行运 动。

动画控制类型6210的元素可包括空闲(idle)、问候(greeting)、跳舞 (dancing)、步行(walk)、移动(moves)、打架(fighting)、倾听(hearing)、吸烟 (smoke)、祝贺(congratulations)、共同动作(common actions)、特殊动作 (specific actions)、面部表情(facial expression)、身体表达(body expression) 以及动画资源(animation resources)。

再次参照图54至图58，部分5827可指示控制控制类型的元素。控制控 制类型可以是用于表达控制特征控制命令的工具。下文中，将参照图63来对 控制控制类型的结构进行详细描述。

图63示出根据实施例的控制控制类型6310的结构。

参照图63，控制控制类型6310可包括虚拟形象控制命令基本类型6320、 任何属性6330和元素。

根据实施例，任何属性6330可包括运动优先级(motion priority)6331、 帧时间(frame time)6332、帧的数量(number of frames)6333和帧ID(frame  ID)6334。

运动优先级6331可确定当通过将动画与身体和/或面部特征控制混合来 产生动画的运动时的优先级。

帧时间6332可定义运动控制数据的帧间隔。例如，帧间隔可以是秒单位。

帧的数量6333可以可选地定义用于运动控制的帧的总数量。

帧ID 6334可指示每个帧的顺序。

控制控制类型6310的元素可包括身体特征控制(body feature control) 6340和脸特征控制(face feature control)6350。

根据实施例，身体特征控制6340可包括身体特征控制类型。此外，身体 特征控制类型可包括头骨骼(head bones)、上体骨骼(upper body bones)、下体 骨骼(down body bones)以及中体骨骼(middle body bones)的元素。

虚拟世界的虚拟形象的运动可与动画控制类型和控制控制类型相关。动 画控制类型可包括与动画集合的顺序关联的信息，控制控制类型可包括与动 画感测关联的信息。为了控制虚拟世界的虚拟形象的运动，动画或运动感测 装置可被使用。因此，在这里将对根据实施例控制虚拟世界的虚拟形象的运 动的成像设备进行详细描述。

图64示出根据实施例的成像设备6400的配置。

参照图64，成像设备6400可包括存储单元6410和处理单元6420。

存储单元6410可包括动画剪辑、动画控制信息和控制控制信息。在这种 情况下，动画控制信息可包括指示动画剪辑对应的虚拟形象的部分的信息以 及优先级。控制控制信息可包括指示运动数据对应的虚拟形象的部分的信息 以及优先级。在这种情况下，可通过处理从运动传感器接收的值来产生运动 数据。

动画剪辑可以是关于虚拟世界的虚拟形象的运动的运动图像数据。

根据实施例，虚拟世界的虚拟形象可被分为每个部分，并且与每个部分 对应的动画剪辑和运动数据可被存储。根据实施例，虚拟世界的虚拟形象可 被分为面部表情、头、上体、中体和下体，这将参照图65进行详细描述。

图65示出根据实施例的虚拟世界的虚拟形象6500被分为面部表情、头、 上体、中体和下体的状态。

参照图65，虚拟形象6500可被分为面部表情6510、头6520、上体6530、 中体6540和下体6550。

根据实施例，动画剪辑和运动数据可以是与面部表情6510、头6520、上 体6530、中体6540和下体6550中的任何一个对应的数据。

再次参照图64，动画控制信息可包括指示动画剪辑对应的虚拟形象的部 分的信息以及优先级。虚拟世界的虚拟形象可以是至少一个，并且动画剪辑 可基于动画控制信息对应于至少一个虚拟形象。

根据实施例，指示动画剪辑对应的虚拟形象的部分的信息可以是指示面 部表情、头、上体、中体和下体中的任何一个的信息。

与虚拟形象的任意部分对应的动画剪辑可具有优先级。可由真实世界中 的用户预先确定优先级，或者可通过实时输入来确定优先级。将参照图13对 优先级进行进一步描述。

根据实施例，动画控制信息还可包括与虚拟形象的任意部分对应的动画 剪辑的速度关联的信息。例如，在指示步行运动的数据作为与虚拟形象的下 体对应的动画剪辑的情况下，动画剪辑可被分为慢步行运动数据、适度步行 运动数据、快速步行运动数据和跳跃运动数据。

控制控制信息可包括指示运动数据对应的虚拟形象的部分的信息以及优 先级。在这种情况下，可通过处理从运动传感器接收的值来产生运动数据。

运动传感器可以是用于测量真实世界中的用户的运动、表情、状态等的 真实世界装置的传感器。

运动数据可以是通过测量真实世界的用户的运动、表情、状态等而获得 的值可被接收的数据，并且接收的数据被处理以可应用于虚拟世界的虚拟形 象。

例如，运动传感器可测量关于真实世界的用户的手臂和腿的位置信息， 并且可表示为Θ_Xreal、Θ_Yreal和Θ_Zreal，也就是，关于x轴、y轴和z轴的角度 的值，并且还被表示为X_real、Y_real和Z_real，也就是，x轴、y轴和z轴的值。 另外，运动数据可以是被处理以使得关于位置信息的值能够被应用于虚拟世 界的虚拟形象的数据。

根据实施例，虚拟世界的虚拟形象可被分为每个部分，并且与每个部分 对应的运动数据可被存储。根据实施例，运动数据可以是指示虚拟形象的面 部表情、头、上体、中体和下体中的任何一个的信息。

与虚拟形象的优先级部分对应的运动数据可具有优先级。可由真实世界 中的用户预先确定优先级，或者可通过实时输入来确定优先级。将参照图68 来对运动数据的优先级进行进一步描述。

处理单元6420可将对应于虚拟形象的第一部分的动画控制信息的优先 级与对应于虚拟形象的第一部分的控制控制信息的优先级进行比较，以从而 确定将可应用于虚拟形象的第一部分的数据，这将参照图66进行详细描述。

图66示出根据实施例的关于动画剪辑的数据库6600。

参照图66，数据库6600可被分类为动画剪辑6610、对应部分6620和优 先级6630。

动画剪辑6610可以是关于与虚拟世界的虚拟形象的任意部分对应的虚 拟形象的运动的数据的范畴。根据实施例，动画剪辑6610可以是关于与虚拟 形象的面部表情、头、上体、中体和下体中的任何一个对应的动画剪辑的范 畴。例如，第一动画剪辑6611可以是对应于虚拟形象的面部表情的动画剪辑， 并且可以是关于微笑运动的数据。第二动画剪辑6612可以是对应于虚拟形象 的头的动画剪辑，并且可以是关于从一侧到另一侧摇头的运动的数据。第三 动画剪辑6613可以是对应于虚拟形象的上体的动画剪辑，并且可以是关于抬 起手臂的运动的数据。第四动画剪辑6614可以是对应于虚拟形象的中部的动 画剪辑，并且可以是关于撅起屁股的运动的数据。第五动画剪辑6615可以是 对应于虚拟形象的下部分的动画剪辑，并且可以是关于弯曲一条腿并且向前 拉伸另一条腿的运动的数据。

对应部分6620可以是指示动画剪辑对应的虚拟形象的部分的数据的范 畴。根据实施例，对应部分6620可以是指示动画剪辑对应的面部表情、头、 上体、中体和下体中的任何一个的数据的范畴。例如，第一动画剪辑6611可 以是对应于虚拟形象的面部表情的动画剪辑，第一相应部分6621可表示为 “面部表情”。第二动画剪辑6612可以是对应于虚拟形象的头的动画剪辑， 并且第二相应部分6622可被表示为“头”。第三动画剪辑6613可以是对应于 虚拟形象的上体的动画剪辑，并且第三相应部分6623可被表示为“上体”。 第四动画剪辑6614可以是对应于虚拟形象的中体的动画剪辑，并且第四相应 部分可被表示为“中体”。第五动画剪辑6615可以是对应于虚拟形象的下体 的动画剪辑，并且第五相应部分6625可被表示为“下体”。

优先级6630可以是关于动画剪辑的优先级的值的范畴。根据实施例，优 先级6630可以说关于与虚拟形象的面部表情、头、上体、中体和下体中的任 何一个对应的动画剪辑的优先级的值的范畴。例如，对应于虚拟形象的面部 表情的第一动画剪辑6611可具有优先级值“5”。对应于虚拟形象的头的第二 动画剪辑6612可具有优先级值“2”。对应于虚拟形象的上体的第三动画剪辑 6613可具有优先级值“5”。对应于虚拟形象的中体的第四动画剪辑6614可 具有优先级值“1”。对应于虚拟形象的下体的第五动画剪辑6615可具有优先 级值“1”。可由真实世界中的用户预先确定关于动画剪辑的优先级值，或者 可通过实时输入来确定关于动画剪辑的优先级值。

图67示出根据实施例的关于动作数据的数据库6700。

参照图图67，数据库6700可被分类为运动数据6710、相应部分6720 和优先级6730。

运动数据6710可以是通过处理从运动传感器接收的值而获得的数据，并 且可以是对应于虚拟世界的虚拟形象的任意部分的运动数据的范畴。根据实 施例，运动部分6710可以是对应于虚拟形象的面部表情、头、上体、中体和 下体的任何部分的运动数据的范畴。例如，第一运动数据6711可以是对应于 虚拟形象的面部表情的运动数据，并且可以是关于真实世界中的用户的扮鬼 脸运动的数据。在这种情况下，关于扮鬼脸运动的数据可被这样获得：通过 运动传感器来测量真实世界的用户的扮鬼脸运动，并且测量的值可被应用于 虚拟形象的面部表情。类似地，第二运动数据6712可以是对应于虚拟形象的 头的运动数据，并且可以是关于虚拟世界的用户低头的运动的数据。第三运 动数据6713可以是对应于虚拟形象的上体的运动数据，并且可以是关于真实 世界的用户从一侧到另一侧举起手臂的运动的数据。第四运动数据6714可以 是对应于虚拟形象的中体的运动数据，并且可以是关于真实世界的用户来回 摇动屁股的运动的数据。第五运动数据6715可以是对应于虚拟形象的下部分 的运动数据，并且可以是关于真实世界的腿在弯曲的同时从一侧向另一侧伸 展的运动的数据。

相应部分6720可以是运动数据对应的虚拟形象的部分的数据的范畴。根 据实施例，相应部分6720可以是指示运动数据对应的虚拟形象的面部表情、 头、上体、中体和下体中的任何一个的数据的范畴。例如，由于第一运动数 据6711是对应于虚拟形象的面部表情的运动数据，因此第一相应部分6721 可被表示为“面部表情”。由于第二运动数据6712是对应于虚拟形象的头的 运动数据，第二相应部分6722可被表示为“头”。由于第三运动数据6713是 对应于虚拟形象的上体的运动数据，因此第三相应部分6723可被表示为“上 体”。由于第四运动6714是对应于虚拟形象的中体的运动数据，因此第四相 应部分6724可被表示为“中体”。由于第五运动数据6715是对应于虚拟形象 的下体的运动数据，第五相应部分6725可被表示为“下体”。

优先级6730可以是关于运动数据的优先级的值的范畴。根据实施例，优 先级6730可以是关于与虚拟形象的面部表情、头、上体、中体和下体中的任 何一个对应的运动数据的优先级的值的范畴。例如，对应于面部表情的第一 运动数据6711可具有优先级值“1”。对应于头的第二运动数据6712可具有 优先级值“5”。对应于上体的第三运动数据6713可具有优先级值“2”。对应 于中体的第四运动数据6714可具有优先级值“5”。对应于下体的第五运动数 据6715可具有优先级值“5”。可由真实世界的用户预先确定关于运动数据的 优先级值，或者可通过实时输入来确定关于运动数据的优先级值。

图68示出根据实施例的通过比较优先级确定运动对象数据将被应用到 虚拟形象6810的任意部分的操作。

参照图68，虚拟形象6810可被分为面部表情6811、头6812、上体6813、 中体6814和下体6815。

运动对象数据可以是关于虚拟形象的任意部分的运动的数据。运动对象 数据可包括动画剪辑和运动数据。可通过处理从运动传感器接收的值或者通 过从成像设备的存储单元读取值来获得运动对象数据。根据实施例，运动对 象数据可对应于虚拟形象的面部表情、头、上体、中体和下体的任何一个。

数据库6820可以是关于动画剪辑的数据库。另外，数据库6830可以是 关于运动数据的数据库。

根据实施例的成像设备的处理单元可将对应于虚拟形象6810的第一部 分的动画控制信息的优先级与对应于虚拟形象6810的第一部分的控制控制 信息的优先级进行比较，从而确定将可应用于虚拟形象的第一部分的数据。

根据实施例，对应于虚拟形象6810的面部表情6811的第一动画剪辑 6821可具有优先级值“5”，对应于面部表情6811的第一运动数据6831可具 有优先级值“1”。由于第一动画剪辑6821的优先级高于第一运动数据6831 的优先级，因此处理单元可将第一动画剪辑6821确定为可将应用于面部表情 6811的数据。

另外，对应于头6812的第二动画剪辑6822可具有优先级值“2”，并且 对应于头6812的第二动画数据6832可具有优先级值“5”。由于第二运动数 据6832的优先级高于第二动画剪辑6822的优先级，因此处理单元可将第二 运动数据6832确定将可应用于头6812的数据。

另外，对应于上体6813的第三动画剪辑6823可具有优先级值“5”，并 且对应于上体6813的第三运动数据6833可具有优先级值“2”。由于第三动 画剪辑6823的优先级高于第三运动数据6833的优先级，因此处理单元可将 第三动画剪辑6823确定为将可应用于上体6813的数据。

另外，对应于中体6814的第四动画剪辑6824可具有优先级值“1”，并 且对应于中体6814的第四运动数据6834可具有优先级值“5”。由于第四运 动数据6834的优先级高于第四动画剪辑6824的优先级，因此处理单元可将 第四运动数据6834确定为将可应用于中体6814的数据。

另外，对应于下体6815的第五动画剪辑6825可具有优先级值“1”，并 且对应于下体6815的第五运动数据6835可具有优先级值“5”。由于第五运 动数据6835的优先级高于第五动画剪辑6825的优先级，则处理单元可将第 五运动数据6835确定为可将被应用到下体6815的数据。

因此，对于虚拟形象6810，面部表情6811可具有第一动画剪辑6821， 头6812可具有第二运动数据6832，上体6813可具有第三动画剪辑6823，中 体6814可具有第四运动数据6834，并且下体6815可具有第五运动数据6835。

对应于虚拟形象6810的任意部分的数据可具有多个动画剪辑和多条运 动数据。当对应于虚拟形象6810的任意部分的多条数据存在时，将参照图 69对确定可将应用于虚拟形象的任意部分中的数据的方法进行详细描述。

图69示出根据实施例的确定将被应用到虚拟形象的每个部分的运动对 象数据的方法。

参照图69，在操作6910，根据实施例的成像设备可验证包括在运动对象 数据中的信息。包括在运动对象数据中的信息可包括指示运动对象数据对应 的虚拟形象的部分的信息以及运动对象数据的优先级。

当对应于虚拟对象的第一部分的运动对象数据不存在时，成像设备可将 通过新读取或通过新处理而获得的新运动对象数据确定为可将被应用于第一 部分的数据。

在操作6920，当对应于第一部分的运动对象数据存在时，处理单元可将 现有运动对象数据的优先级与新运动对象数据的优先级进行比较。

在操作6930，当新运动对象数据的优先级高于现有运动对象数据的优先 级时，成像设备可将新的运动对象数据确定为将可应用于虚拟形象的第一部 分的数据。

然而，当现有运动对象数据的优先级高于新运动对象数据的优先级时， 成像设备可将现有的运动对象数据确定将可应用于第一部分的数据。

在操作6940，成像设备可确定所有的运动对象数据是否被确定。

当没有被验证的运动对象数据存在时，成像设备可对没有被确定的所有 的运动对象数据重复地执行操作S6910至S6940。

在操作6950，当所有的运动对象数据被确定时，成像设备可关联与虚拟 形象的每个部分对应的运动对象数据中具有最高优先级的数据，从而产生虚 拟形象的运动图像。

根据实施例的成像设备的处理单元可将对应于虚拟形象的每个部分的动 画控制信息的优先级与对应于虚拟形象的每个部分的控制控制信息的优先级 进行比较，从而确定将可应用于虚拟形象的每个部分的数据，并且可关联确 定的数据，从而产生虚拟形象的运动图像。已经在图69中描述了确定将可应 用于虚拟形象的每个部分的数据的处理，因此将省略其描述。将参照图70来 描述通过关联确定的数据来产生虚拟形象的运动图像的处理。

图70是示出根据实施例的将对应的动作对象数据与虚拟形象的每个部 分关联的操作的流程图。

参照图70，在操作7010，根据实施例的成像设备可定位包括根元素的虚 拟形象的一部分。

在操作7020，成像设备可从与虚拟形象的部分相应的运动对象数据提取 与连接轴关联的信息。运动对象数据可包括动画剪辑和运动数据。运动对象 数据可包括与连接轴关联的信息。

在操作7030，成像设备可验证没有被关联的运动对象数据是否存在。

当没有被关联的运动对象数据不存在时，由于与虚拟形象的每个对象对 应的所有条数据被关联，因此产生虚拟形象的运动图像的处理将终止。

在操作7040，当没有被关联的运动对象数据存在时，成像设备可将包括 在从运动对象数据提取的连接轴中的接合方向角改变为相对方向角。根据实 施例，包括在与连接轴关联的信息中的接合方向角可以是相对方向角。在这 种情况下，成像设备在省略操作7040的同时可将操作7050提前。

在下文中，根据实施例，当接合方向角是绝对方向角时，将对将接合方 向角改变为相对方向角的方法进行详细描述。此外，在虚拟世界的虚拟形象 被分为面部表情、头、上体、中体和下体的情况下，这里将进行详细描述。

根据实施例，与虚拟形象的中体相应的运动对象数据可包括身体中心坐 标。绝对方向角的接合方向角可基于包括身体中心坐标的中间部分的连接部 分被改变为相对方向角。

成像设备可提取与存储在对应于虚拟形象的中间部分的运动对象数据中 的连接轴关联的信息。与连接轴关联的信息可包括对应于虚拟形象的上体的 连接点的胸椎骨与对应于头的连接点的颈椎骨之间的接合方向角、胸椎骨与 左锁骨之间的接合方向角、胸椎骨与右锁骨之间的接合方向角、对应于中间 部分的连接部分的骨盆与对应于下体的连接部分的左大腿骨之间的接合方向 角、以及骨盆和右大腿骨之间的接合方向角。

例如，骨盆和右大腿骨之间的接合方向角可被表示为以下的等式1。

[等式1]

A(θ_RightFemur)＝R_{RightFemur_PelvisA}(θ_Pelvis)，

其中，函数A(.)表示方向余弦矩阵，R_{RightFemur_Pelvis}表示关于骨盆和右大 腿骨之间的方向角的旋转矩阵，Θ_RightFemur虚拟形象的下体的右大腿骨中的接合 方向角，Θ_Pelvis表示骨盆和右大腿骨之间的接合方向角。

使用等式1，可如下面的等式2所示来计算旋转函数。

[等式2]

R_{RightFemur_Pelvis}＝A(θ_RightFemur)A(θ_Pelvis)^-1.

绝对方向角的接合方向角可基于包括身体中心坐标的虚拟形象的中体的 连接部分被改变为相对方向角。例如，使用等式2的旋转函数，接合方向角(也 就是，存储在对应于虚拟形象的下体的运动对象数据中的包括在与连接轴关 联的信息中的绝对方向角)可被改变为相对方向角，如下面的等式3所示。

[等式3]

A(θ′)＝R_{RightFemur_Pelvis}A(θ)。

类似地，接合方向角(也就是，存储在对应于虚拟形象的头和上体的运动 对象数据中的包括在与连接轴关联的信息中的绝对方向角)可被改变为相对 方向角。

通过将接合方向角改变为相对方向角的上述方法，当使用存储在对应于 虚拟形象的每个部分的运动对象数据中的与连接轴关联的信息，接合方向角 被改变为相对方向角时，成像设备可在操作7050关联对应于虚拟形象的每个 部分的运动对象数据。

成像设备可返回操作7030，并且可验证没有被关联的运动对象数据是否 存在。

当没有被关联的运动对象数据不存在时，由于对应于虚拟形象的每个部 分的所有条数据被关联，因此产生虚拟形象的运动图像的处理将终止。

图71示出根据实施例的将对应的动作对象数据与虚拟形象的每个部分 关联的操作。

参照图71，根据实施例的成像设备可将对应于虚拟形象的第一部分的运 动对象数据7110与对应于虚拟形象的第二部分的运动对象数据7120关联， 从而产生虚拟形象的运动图像7130。

对应于第一部分的运动对象数据7110可以是动画剪辑和运动数据中的 任何一个。类似地，对应于第二部分的运动对象数据7120可以是动画剪辑和 运动数据中的任何一个。

根据实施例，成像设备的存储单元可还存储与动画剪辑的连接轴7101 关联的信息，并且处理单元可基于与连接轴7101关联的信息来将动画剪辑和 运动数据关联。另外，处理单元可基于与动画剪辑的连接轴7101关联的信息 来将动画剪辑和另一动画剪辑关联。

根据实施例，处理单元可从运动数据中提取与连接轴关联的信息，并且 使动画剪辑的连接轴7101和运动数据的连接轴彼此对应，从而将动画剪辑和 运动数据关联。另外，处理单元基于与从运动数据提取的连接轴关联的信息 来将运动数据和另一运动数据关联。在图70中详细地描述了与连接轴关联的 信息，因此这里将省略对其的进一步相关描述。

下文中，将对使真实世界中的用户的脸适应于虚拟世界的虚拟形象的脸 的成像设备的示例进行描述。

成像设备可使用真实世界装置(例如，图像传感器)来感测真实世界的用 户的脸，并且将感测的脸适应于虚拟世界的虚拟形象的脸。当虚拟世界的虚 拟形象被分为面部表情、头、上体、中体和下体时，成像设备可感测真实世 界的用户的脸，从而使感测的真实世界的脸适应于虚拟世界的虚拟形象的面 部表情和头。

根据实施例，成像设备可感测真实世界的用户的脸的特征点以收集关于 特征点的数据，并且可使用关于特征点的数据来产生虚拟世界的虚拟形象的 脸。

如上所述，当根据实施例的成像设备被使用时，用于控制虚拟世界的虚 拟形象的动画控制信息和关于运动数据的结构的元数据可被提供。可通过将 动画剪辑的优先级与运动数据的优先级进行比较并且通过确定虚拟形象的相 应部分的数据来产生虚拟形象的运动，其中，对应于虚拟世界的虚拟形象的 一部分的动画剪辑与通过感测真实世界的用户的运动获得的运动数据关联。

图72示出根据实施例的用于控制虚拟世界对象的终端7210和虚拟世界 服务器7230。

参照图72，终端7210可从真实世界装置7220接收信息(7221)。在此示 例中，从真实世界装置7220接收的信息可包括经由装置(诸如键盘、鼠标或 指示器)输入的控制输入、经由装置(诸如温度传感器、操作传感器、光学传感 器、智能传感器、位置传感器、加速度传感器等)输入的传感器输入。在此示 例中，包括在终端7210中的自适应引擎7211可基于接收的信息7221来产生 规则的控制命令。例如，自适应引擎7211可通过将控制输入转换为适合于控 制命令来产生控制命令，或者可基于传感器输入来产生控制命令。终端7210 可将规则的控制命令发送给虚拟世界服务器7230(7212)。

虚拟世界服务器7230可从终端7210接收规则的控制命令。在此示例中， 包括在虚拟世界服务器7230中的虚拟世界引擎7231可根据与规则的控制命 令对应的虚拟世界对象转换规则的控制命令来产生与虚拟世界对象关联的信 息。虚拟世界服务器7230可将与虚拟世界对象关联的信息再次发送给终端 7210(7232)。虚拟世界对象可包括虚拟形象和虚拟对象。在此示例中，虚拟形 象可指示反映用户外貌的对象，虚拟对象可指示除了虚拟形象之外的剩余对 象。

终端7210可基于与虚拟世界对象关联的信息来控制虚拟世界对象。例 如，终端7210可通过基于与虚拟世界对象关联的信息产生控制命令并且通过 将控制命令发送给显示器7240(7213)来控制虚拟世界对象。也就是，显示器 7240可基于发送的控制命令来显示与虚拟世界关联的信息(7213)。

尽管在前述实施例中包括在终端7210中的自适应引擎7211基于从真实 世界装置接收的信息7221产生规则的控制命令，但是这仅是示例。根据另一 实施例，终端7210可直接将接收的信息7221发送给虚拟世界服务器7230， 而不直接产生规则的控制命令。可选择地，终端7210可仅执行接收的信息 7221的规则化，并且随后将接收的信息7221发送给虚拟世界服务器 7230(7212)。例如，终端720可通过将控制输入转换为适合于虚拟世界并且通 过将传感器输入规则化，来将接收的信息7221发送给虚拟世界服务器7230。 在此示例中，虚拟世界服务器7230可通过基于发送的信息7212产生规则的 控制命令并且通过根据对应于规则的控制命令的虚拟世界对象转换规则的控 制命令，来产生与虚拟世界对象关联的信息。虚拟世界服务器7230可将与产 生的虚拟世界对象关联的信息发送给终端7210(7232)。也就是，虚拟世界服 务器7230可基于从真实世界装置7220接收的信息7221来处理产生与虚拟世 界对象关联的信息的所有处理。

虚拟世界服务器7230可被采用，从而通过与多个终端通信，在多个终端 中的每个中处理的内容可在每个终端的显示器中同样被回放。

图73示出根据另一实施例的用于控制虚拟世界对象的终端7310。

与终端7210相比，终端7310可还包括虚拟世界引擎7312。也就是，代 替参照图72描述的与虚拟世界服务器7230通信，终端7310可包括自适应引 擎7311和虚拟世界引擎7312，用于基于从虚拟世界装置7320接收的信息来 产生与虚拟世界对象关联的信息，并且基于与虚拟世界对象关联的信息来控 制虚拟世界对象。甚至在这种情况下，终端7310可通过基于与虚拟世界对象 关联的信息来产生控制命令并且通过将控制命令发送给显示器7330，来控制 虚拟世界对象。也就是，显示器7330可基于发送的控制命令来显示与虚拟世 界关联的信息。

图74示出根据另一实施例的用于控制虚拟世界对象的多个终端。

第一终端7410可从真实世界装置7420接收信息，并且可基于从自适应 引擎7411和虚拟世界引擎7412接收的信息来产生与虚拟世界对象关联的信 息。另外，第一终端7410可通过基于与虚拟世界对象关联的信息产生控制命 令并且通过将控制命令发送给第一显示器7430来控制虚拟世界对象。

第二终端7440也可从真实世界装置7450接收信息，并且可基于从自适 应引擎7441和虚拟世界引擎7442接收的信息来产生与虚拟世界对象关联的 信息。另外，控制终端7440可通过基于与虚拟世界对象关联的信息产生控制 命令并且通过将控制命令发送给第二显示器7460来控制虚拟世界对象。

在此示例中，第一终端7410和第二终端7440可在虚拟世界引擎7412 和7442之间交换与虚拟世界对象关联的信息(7470)。例如，当多个用户控制 单个虚拟世界中的虚拟形象时，与虚拟世界对象关联的信息可能需要在第一 终端7410和第二终端7420之间交换(7470)，从而在第一终端7410和第二终 端7420中的每一个中处理的内容可被同样应用到单个虚拟世界。

尽管在图74的实施例中为了容易描述，仅描述了两个终端，但是对于本 领域的技术人员清楚的是，可在至少三个终端之间交换与虚拟世界对象关联 的信息。

图75示出根据另一实施例的用于控制虚拟世界对象的终端7510。

终端7510可与虚拟世界服务器7530通信并且还包括虚拟世界子引擎 7512。也就是，包括在终端7510中的自适应引擎7511可基于从真实世界装 置7520接收的信息来产生规则的控制命令，并且可基于规则的控制命令来产 生与虚拟世界对象关联的信息。在此示例中，终端7510可基于与虚拟世界对 象关联的信息来控制虚拟世界对象。也就是，终端7510可通过基于与虚拟世 界对象关联的信息产生控制命令并且通过将控制命令发送给显示器7540来 控制虚拟世界对象。在此示例中，终端7510可从虚拟世界服务器7530接收 虚拟世界信息，基于虚拟世界信息以及与虚拟世界对象关联的信息来产生控 制命令，并且将控制命令发送给显示器7540以显示虚拟世界的全部信息。例 如，可由终端7510将虚拟形象信息用于虚拟世界，因此，虚拟世界服务器 7530可仅发送终端7510需要的虚拟世界信息(例如，与虚拟对象或另一虚拟 形象关联的信息)。

在此示例中，终端7510可将根据虚拟世界对象的控制获得的处理结果发 送给虚拟世界服务器7530，并且虚拟世界服务器7530可基于处理结果来更 新虚拟世界信息。也就是，由于虚拟世界服务器7530基于终端7510的处理 结果来更新虚拟世界信息，因此使用处理结果的虚拟世界信息可被提供给其 他终端。虚拟世界服务器7530可使用虚拟世界引擎7531来处理虚拟世界信 息。

上述实施例可被记录在包括执行由计算机实施的各种操作的程序指令的 非暂时计算机可读介质。介质还可单独包括程序指令、数据文件、数据结构 等或者包括程序指令、数据文件、数据结构等的组合。程序指令可由计算机 软件的技术人员来专门设计或者执行。另外，前述各种元数据结构可被记录 在非暂时计算机可读存储介质中。例如，定义用于控制虚拟形象的面部表情 和运动的虚拟形象脸特征点和身体特征点的元数据结构可被记录在非暂时计 算机可读介质中。在这种情况下，可基于虚拟形象脸特征点来表示头轮廓 (HeadOutline)、左眼轮廓(LeftEyeOutline)、右眼轮廓(RightEyeOutline)、 左眉毛轮廓(LeftEyeBrowOutline)、右眉毛轮廓(RightEyeBrowOutline)、左 耳轮廓(LeftEarOutline)、右耳轮廓(RightEarOutline)、鼻子轮廓 (NoseOutline)、嘴唇轮廓(MouthLipOutline)、脸点(FacePoints)和各种点 (MiscellaneousPoints)中的至少一个。根据另一实施例的非暂时计算机可读 存储介质可包括：存储动画控制信息和控制控制信息的第一组指令、以及基 于与虚拟形象的每部分相应的动画控制信息和控制控制信息来将动画剪辑与 从运动传感器接收的值产生的运动数据关联的第二组指令。动画控制信息和 控制控制信息被如上描述。

尽管已经显示和描述了一些实施例，但是本领域的技术人员应该理解， 在不脱离本公开的原理和精神的情况下，可以对这些实施例进行改变，本公 开的范围由权利要求及其等同物限定。