在场景中的人体动作捕捉方法、装置、介质及设备

摘要

本申请的实施例提供了一种在场景中的人体动作捕捉方法、装置、介质及设备。该方法包括：获取目标对象的第一IMU数据、以及观测人员针对目标对象捕捉到的点云数据和图像；根据第一IMU数据对目标对象进行动作估计，得到目标对象对应的人体动作；将点云数据与图像进行对齐；基于激光雷达自身的第二IMU数据，估计激光雷达的运动轨迹信息，并根据运动轨迹信息和对齐后的点云数据构建三维场景网格；根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对人体动作和三维场景网格进行优化，以得到优化后的人体动作和三维场景网格。本申请实施例的技术方案提高对场景和人体动作的捕捉精度，保证捕捉到的数据的准确性。

说明书

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种在场景中的人体动作捕捉方法、装置、介质及设备。

背景技术

随着计算机技术的高速发展，数字世界丰富了人们的生活。而人类和环境是打造数字世界的两大组成部分，目前研究倾向于将动态人体与静态环境分离，从而帮助提高人体动作和环境的捕捉精度。在目前的技术方案中，为了捕捉人体动作，常使用惯性测量单元(Inertial Measurement Unit，IMU)采集人体的动作数据，然而随着采集时间的增加，传感器会出现漂移，即使结合外置摄像头作为提高精度的补救措施，也会因缺乏深度信息，而导致在室外场景中不稳定，且难以提供全局平移。由此，如何提高对场景和人体动作的捕捉精度，保证捕捉到的数据的准确性成为了亟待解决的技术问题。

发明内容

本申请的实施例提供了一种在场景中的人体动作捕捉方法、装置、介质及电子设备，进而至少在一定程度上可以提高对场景和人体动作的捕捉精度，保证捕捉到的数据的准确性。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种在场景中的人体动作捕捉方法，包括：

获取目标对象的第一IMU数据、以及观测人员针对所述目标对象捕捉到的点云数据和图像，所述第一IMU数据由所述目标对象自身佩戴的第一IMU设备获取，所述点云数据和所述图像分别由所述观测人员佩戴的激光雷达和相机获取；

根据所述第一IMU数据对所述目标对象进行动作估计，得到所述目标对象对应的人体动作；

根据所述相机的外部参数将所述点云数据转化至所述相机对应的图像坐标系，以将所述点云数据与所述图像进行对齐；

基于所述激光雷达自身的第二IMU数据，估计所述激光雷达的运动轨迹信息，并根据所述运动轨迹信息和对齐后的点云数据构建三维场景网格；

根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对所述人体动作和所述三维场景网格进行优化，以得到优化后的人体动作和三维场景网格，其中，所述人体场景接触约束项用于约束人与场景接触而不穿透，所述平滑约束项用于使平移、方向和关节保持时间连续性，所述姿态先验约束项用于确保在优化开始时人体动作与IMU数据的一致性，所述网格到点约束项用于最小化人体顶点到重采样后的人体点的距离。

根据本申请实施例的一个方面，提供了一种在场景中的人体动作捕捉装置，包括：

获取模块，用于获取目标对象的第一IMU数据、以及观测人员针对所述目标对象捕捉到的点云数据和图像，所述第一IMU数据由所述目标对象自身佩戴的第一IMU设备获取，所述点云数据和所述图像分别由所述观测人员佩戴的激光雷达和相机获取；

第一估计模块，用于根据所述第一IMU数据对所述目标对象进行动作估计，得到所述目标对象对应的人体动作；

转化模块，用于根据所述相机的外部参数将所述点云数据转化至所述相机对应的图像坐标系，以将所述点云数据与所述图像进行对齐；

第二估计模块，用于基于所述激光雷达自身的第二IMU数据，估计所述激光雷达的运动轨迹信息，并根据所述运动轨迹信息和对齐后的点云数据构建三维场景网格；

处理模块，用于根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对所述人体动作和所述三维场景网格进行优化，以得到优化后的人体动作和三维场景网格，其中，所述人体场景接触约束项用于约束人与场景接触而不穿透，所述平滑约束项用于使平移、方向和关节保持时间连续性，所述姿态先验约束项用于确保在优化开始时人体动作与IMU数据的一致性，所述网格到点约束项用于最小化人体顶点到重采样后的人体点的距离。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的在场景中的人体动作捕捉方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的在场景中的人体动作捕捉方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的在场景中的人体动作捕捉方法。

在本申请的一些实施例所提供的技术方案中，通过获取目标对象的第一IMU数据以及观测人员针对目标对象捕捉到的点云数据和图像，该第一IMU数据由目标对象自身佩戴的第一IMU设备获取，点云数据和图像分别由观测人员佩戴的激光雷达和相机获取，根据该第一IMU数据对目标对象进行动作估计，得到目标对象对应的人体动作，根据相机的外部参数将点云数据转化至相机对应的图像坐标系，以将点云数据和图像进行对齐，再基于激光雷达自身的第二IMU数据估计激光雷达的运动轨迹信息，并根据该运动轨迹信息和对齐后的点云数据构建三维场景网格，根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对所述人体动作和所述三维场景网格进行优化，以得到优化后的人体动作和三维场景网格，由此，结合IMU数据、图像以及点云数据，并根据上述约束项对三维场景网格和人体动作进行优化，可以提高对场景和人体动作捕捉的精度，并保证捕捉得到的数据的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本申请的一个实施例的在场景中的人体动作捕捉方法的流程示意图；

图2示出了可以应用于本申请实施例的技术方案的采集系统的示意图；

图3示出了根据本申请的一个实施例的在场景中的人体动作捕捉装置的框图；

图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本申请的一个实施例的在场景中的人体动作捕捉方法的流程示意图。该方法可以应用于终端设备，也可以应用于服务器。其中，终端设备可以包括但不限于智能手机、平板电脑、便携式电脑、台式电脑中的一种或多种，服务器可以是物理服务器也可以是云服务器，本申请对此不作特殊限定。

值得注意的是，本申请并不限定终端设备和/或服务器的数量，即终端设备和/或服务器的数量可以为一个或者一个以上的任意数量，例如，服务器可以是单个服务器，也可以是由多个服务器组成的服务器集群等。

请参考图1，该在场景中的人体动作捕捉方法至少包括步骤S110至步骤S150，详细介绍如下：

在步骤S110中，获取目标对象的第一IMU数据、以及观测人员针对所述目标对象捕捉到的点云数据和图像，所述第一IMU数据由所述目标对象自身佩戴的第一IMU设备获取，所述点云数据和所述图像分别由所述观测人员佩戴的激光雷达和相机获取。

其中，目标对象可以是需要对其进行动作捕捉的人体对象，其可以是一个也可以是多个。每一目标对象上可以佩戴有第一IMU设备，从而采集目标对象的动作信息，从而生成对应的第一IMU数据。

观测人员可以佩戴有激光雷达和相机，在进行动作捕捉时，观测人员可以通过激光雷达和相机以获取包括环境和目标对象的点云数据以及图像。

如图2所示，在本申请的一个实施例中，还提供了一种采集系统，该采集系统由128束Ouster-os1激光雷达、安装在激光雷达下的DJI-Action2广角相机和诺亦腾的惯性动作捕捉(Motion Capture，Mocap)产品PN Studio组成，以获取人体运动。PN Studio由目标对象佩戴，其使用17个无线IMU连接到肢体，IMU接收器和LiDAR连接到英特尔NUC1微型计算机，并使用24V移动电源为其充电。观测人员可以佩戴有头盔，LiDAR与头盔刚性连接，并通过头盔后面的电缆将数据传输至NUC11，相机数据可以离线存储在本地的存储空间中。由此，通过上述采集系统，即可获取目标对象对应的第一IMU数据、点云数据和图像。

基于前述采集系统，可以定义三个坐标系：

1)IMU坐标系{I}：原点位于第一帧LiDAR佩戴者的脊柱基部，X/Y/Z轴指向人体的左侧/上方/前方。

2)LiDAR坐标系{L}：原点位于LiDAR的中心，X/Y/Z轴指向LiDAR右侧/前方/上方。

3)全局/世界坐标系{W}：原点位于LiDAR佩戴者的起始位置的地板上，X/Y/Z轴指向LiDAR穿戴者的右侧/前方/上方。

在本申请的一个实施例中，在进行动作捕捉之前，还使用地面三维扫描系统(Terrestrial Laser Scanning,TLS)进行设备位置标定，具体地，使用TLS扫描的高精度彩色点云图作为参考，将2D图像以及LiDAR的3D点云配准到高精度彩色点云图来获得相机与LiDAR间准确的位置关系。

另外，针对于每个场景，LiDAR到世界坐标校准矩阵R

在本申请的一个实施例中，在获取目标对象的第一IMU数据、以及观测人员针对所述目标对象捕捉到的点云数据和图像之后，所述方法还包括：

分别确定所述第一IMU数据以及所述点云数据中所述目标对象在动作捕捉开始和结束时因跳跃而产生的的峰值，以对所述第一IMU设备和所述激光雷达进行同步。

在该实施例中，IMU和激光雷达之间的同步是通过检测多个传感器之间的跳跃峰值来实现的。具体地，采集时要求被采集者在动作捕捉开始与结束时进行跳跃，然后检测IMU中的峰值高度，并手动在LiDAR和相机中找到峰值。最后，将较高频率的IMU和相机数据以LiDAR的帧率(例如20Hz)重新采样。

在步骤S120中，根据所述第一IMU数据对所述目标对象进行动作估计，得到所述目标对象对应的人体动作。

在该实施例中，基于第一IMU数据，可以对目标对象进行动作估计，以得到目标对象对应的人体动作，需要说明的，该动作估计可以采用现有的算法，在此不再赘述。

在本申请的一个实施例中，根据所述第一IMU数据对所述目标对象进行动作估计，得到所述目标对象对应的人体动作，包括：

根据所述第一IMU数据进行动作估计，得到用于描述所述目标对象对应的人体动作的SMPL模型。

在该实施例中，SMPL(Skinned Multi-Person Linear Model)是一种裸体的(skinned)，基于顶点(vertex-based)的人体三维模型，能够精确地表示人体的不同形状(shape)和姿态(pose)，通过使用SMPL模型表示IMU坐标{I}中的人体运动M

请继续参考图1，在步骤S130中，根据所述相机的外部参数将所述点云数据转化至所述相机对应的图像坐标系，以将所述点云数据与所述图像进行对齐。

在该实施例中，对于点云数据，使用相机与激光雷达之间的外参K

在本申请的一个实施例中，所述方法还包括：

根据所述图像进行识别，确定所述图像中所述目标对象对应的骨架和边界框；

基于所述点云数据以及所述SMPL模型，分别确定所述点云数据中所述目标人体对应的边界框以及所述SMPL模型中所述目标人体对应的骨架；

最小化所述图像中的骨架与所述SMPL模型中的骨架之间对应点的交并损失以及所述图像中的边界框与所述点云数据中的边界框之间对应节点的均方误差之和，采用梯度下降算法以迭代优化所述相机的外部参数。

在该实施例中，为了减小头部的动态旋转与设备间时间同步的误差带来的影响，可以使用两对2D-3D对应关系来优化相机和雷达之间的K

请继续参考图1，在步骤S140中，基于所述激光雷达自身的第二IMU数据，估计所述激光雷达的运动轨迹信息，并根据所述运动轨迹信息和对齐后的点云数据构建三维场景网格。

在该实施例中，由于动态的头部旋转和拥挤的城市环境，若仅使用激光雷达，常用的匀速补偿模型难以校正帧内点云的畸变，故其在场景建图中经常失败，而结合IMU就可以通过补偿LiDAR扫描中的运动失真并提供良好的初始姿态来解决这个问题。使用激光雷达内置的IMU，通过集成基于迭代卡尔曼滤波器对第二IMU数据进行处理，并且通过基于因子图的环路闭合优化点云数据之间的位姿变化，估计激光雷达的运动轨迹信息，即观测用户自身的运动轨迹，以实现更加精确的场景重建。由此，可以根据运动轨迹信息和对齐后的点云数据，构建三维场景网格，在一示例中，为了满足优化的需要，利用VDB-Fusion来生成干净的三维场景网格S，可用于后续的联合优化与可视化。

在步骤S150中，根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对所述人体动作和所述三维场景网格进行优化，以得到优化后的人体动作和三维场景网格，其中，所述人体场景接触约束项用于约束人与场景接触而不穿透，所述平滑约束项用于使平移、方向和关节保持时间连续性，所述姿态先验约束项用于确保在优化开始时人体动作与IMU数据的一致性，所述网格到点约束项用于最小化人体顶点到重采样后的人体点的距离。

在该实施例中，为了获得准确且场景可信的人体运动M

人体场景接触项L

优化表示见下示公式(1)，其中，λ

L＝λ

人体场景接触项损失L

平滑项包括平移项L

L

其中，

IMU估计的姿态由于漂移而导致肢体末端的一些错位，但在短时间内相对准确。因此，使用L

点云数据P为人体姿态提供了强大的先验深度信息，可以使用它们来优化。然而，SMPL网格是稠密的，但人体的点是稀疏和局部的，由此，即使采用ICP等方法优化后的结果，局部位姿、全局平移甚至来自IMU的方向误差并不像预期的那样理想。

为此，在本申请的一个实施例中，所述方法还包括：

去除所述SMPL模型中因被物体遮挡而无法被所述激光雷达扫描到的隐藏顶点，并模拟所述激光雷达的分辨率，基于所述激光雷达的视点对所述隐藏顶点进行重采样；

将所述SMPL模型中除隐藏顶点以外的顶点视为可见人体顶点，并最小化人体点与可见人体顶点之间的距离以得到所述网格到点约束项。

在该实施例中，提供了一种基于视点的网格-点损失项。首先，通过去除SMPL网格在LiDAR视点中的隐藏顶点，即SMPL网格中位于被物体遮挡的位置而无法被LiDAR扫到的顶点。然后模拟LiDAR分辨率，像光线投射一样对顶点进行重采样。获得的SMPL顶点定义为顶点P

由此，通过获取目标对象的第一IMU数据以及观测人员针对目标对象捕捉到的点云数据和图像，该第一IMU数据由目标对象自身佩戴的第一IMU设备获取，点云数据和图像分别由观测人员佩戴的激光雷达和相机获取，根据该第一IMU数据对目标对象进行动作估计，得到目标对象对应的人体动作，根据相机的外部参数将点云数据转化至相机对应的图像坐标系，以将点云数据和图像进行对齐，再基于激光雷达自身的第二IMU数据估计激光雷达的运动轨迹信息，并根据该运动轨迹信息和对齐后的点云数据构建三维场景网格，根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对所述人体动作和所述三维场景网格进行优化，以得到优化后的人体动作和三维场景网格，由此，结合IMU数据、图像以及点云数据，并根据上述约束项对三维场景网格和人体动作进行优化，可以提高对场景和人体动作捕捉的精度，并保证捕捉得到的数据的准确性。

基于前述实施例，优化后的人体动作以及三维场景网格可以添加至数据集中进行存储。针对所得到的数据集，可以对该数据集进行评估，以确定数据集的可靠性。首先，可以对数据集进行定型评估，表明数据集足够可靠，可以对新任务进行基准测试。然后执行跨数据集评估，以进一步评估该数据集在两项任务上的创新型，包括基于激光雷达的3DHPE和基于相机的三维HPE。最后，再引入新的基准——全局人体姿态估计(GHPE)，并在GLMR上进行实验。

具体地，数据被分成训练集和测试集，用于基于激光雷达/摄像机的姿态估计。训练集包含80000个LiDAR帧和相应的RGB帧。测试集包含大约20000个LiDAR帧和相应的RGB帧。对于全局人体姿态估计，此模块选择了三个具有挑战性的场景进行评估。第一个是单人足球训练场景，在操场上进行高度动态的运动。第二条是沿海岸跑道跑步。第三个是一个涉及日常人体活动的游园活动。

对于3D HPE，利用平均每关节位置误差(MPJPE)和采用Procruste分析的平均每关节位置误差(PA-MPJPE)进行评估。MPJPE是真实和预测关节之间的平均欧氏距离。

PA-MPJPE首先基于Procrustes分析进行刚性变换，将预测关节与真实关节对齐，然后通过计算预测姿态和真实姿态之间每个关节位置的欧几里得距离，并将其取平均来得到关节位置误差的平均值得到MPJPE。对于全局轨迹评估，综合视觉SLAM系统中的绝对轨迹误差(ATE)和相对位姿(这里位姿指的是人体定位)误差(RPE)可以得到更全面的性能评估结果，同时考虑到系统的整体误差和相邻帧之间的姿态误差，有助于评估系统的精度和稳定性。对于ATE，可以计算系统轨迹中每个时刻的位姿估计与真实位姿之间的误差，并将这些误差取平均得到平均误差值。对于RPE，可以计算每个相邻帧之间的相对位姿估计误差，并将这些误差取平均得到平均误差值。最后，将ATE和RPE的平均误差相加，得到系统整体的误差指标。其中ATE非常适合测量全局定位，相反，RPE适合测量系统的漂移，例如，每秒漂移。

对于人体姿态定性评估，方法是将SMPL投影到图像中，并在3D空间中使用相应的LiDAR点可视化3D人体。结果表明，三维人体网格与三维环境和二维图像能很好地对齐。作为一个大规模的城市级人体姿态数据集，不仅提供了多模态捕捉数据和丰富的人体场景注释，还包括大型场景中各种具有挑战性的人体活动。为了评估此联合优化方法，首先将联合优化方法与ICP的结果进行比较。场景感知约束和人体网格到点约束有效地优化了局部姿态、全局平移，甚至IMU的定向误差。优化后，2D投影误差显著降低。

在进行跨数据集评估时，本申请使用不同的模态(即激光雷达和相机)评估与根节点相关的三维人体姿态估计。3DPW是与本申请最相关的户外人体运动数据集。通过VIBE，此模块使用3DPW交叉评估了数据集的相机模态。LiDARHuman26M是一个基于激光雷达的远程人体姿态估计数据集，可以用它交叉评估数据集的LiDAR模态。当只从另一个数据集训练模型时，误差最大。但当在另一数据集和本专利的数据集上进行训练时，误差将进一步减少。这表明，不同的激光雷达传感器之间存在领域差距，两种数据集是相辅相成的。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的在场景中的人体动作捕捉方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的在场景中的人体动作捕捉方法的实施例。

图3示出了根据本申请的一个实施例的在场景中的人体动作捕捉装置的框图。

参照图3所示，根据本申请的一个实施例的在场景中的人体动作捕捉装置，包括：

获取模块310，用于获取目标对象的第一IMU数据、以及观测人员针对所述目标对象捕捉到的点云数据和图像，所述第一IMU数据由所述目标对象自身佩戴的第一IMU设备获取，所述点云数据和所述图像分别由所述观测人员佩戴的激光雷达和相机获取；

第一估计模块320，用于根据所述第一IMU数据对所述目标对象进行动作估计，得到所述目标对象对应的人体动作；

转化模块330，用于根据所述相机的外部参数将所述点云数据转化至所述相机对应的图像坐标系，以将所述点云数据与所述图像进行对齐；

第二估计模块340，用于基于所述激光雷达自身的第二IMU数据，估计所述激光雷达的运动轨迹信息，并根据所述运动轨迹信息和对齐后的点云数据构建三维场景网格；

处理模块350，用于根据人体场景接触约束项、平滑约束项、姿态先验约束项以及网格到点约束项对所述人体动作和所述三维场景网格进行优化，以得到优化后的人体动作和三维场景网格，其中，所述人体场景接触约束项用于约束人与场景接触而不穿透，所述平滑约束项用于使平移、方向和关节保持时间连续性，所述姿态先验约束项用于确保在优化开始时人体动作与IMU数据的一致性，所述网格到点约束项用于最小化人体顶点到重采样后的人体点的距离。

在本申请的一个实施例中，所述第一估计模块320用于：根据所述第一IMU数据进行动作估计，得到用于描述所述目标对象对应的人体动作的SMPL模型。

在本申请的一个实施例中，所述转化模块330还用于：根据所述图像进行识别，确定所述图像中所述目标对象对应的骨架和边界框；基于所述点云数据以及所述SMPL模型，分别确定所述点云数据中所述目标对象对应的边界框以及所述SMPL模型中所述目标对象对应的骨架；最小化所述图像中的骨架与所述SMPL模型中的骨架之间对应点的交并损失以及所述图像中的边界框与所述点云数据中的边界框之间对应节点的均方误差之和，采用梯度下降算法以迭代优化所述相机的外部参数。

在本申请的一个实施例中，在获取目标对象的第一IMU数据、以及观测人员针对所述目标对象捕捉到的点云数据和图像之后，获取模块310还用于：分别确定所述第一IMU数据以及所述点云数据中所述目标对象在动作捕捉开始和结束时因跳跃而产生的的峰值，以对所述第一IMU设备和所述激光雷达进行同步。

在本申请的一个实施例中，处理模块350还用于：去除所述SMPL模型中因被物体遮挡而无法被所述激光雷达扫描到的隐藏顶点，并模拟所述激光雷达的分辨率，基于所述激光雷达的视点对所述隐藏顶点进行重采样；将所述SMPL模型中除隐藏顶点以外的顶点视为可见人体顶点，并最小化人体点与可见人体顶点之间的距离以得到所述网格到点约束项。

图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图4示出的电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)401，其可以根据存储在只读存储器(Read-Only Memory，ROM)402中的程序或者从储存部分408加载到随机访问存储器(Random Access Memory，RAM)403中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(Input/Output，I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。