运动传感数据产生方法和运动传感数据产生系统

摘要

本发明提供一种运动传感数据产生方法和运动传感数据产生系统。运动传感数据产生系统包含运动传感设备和处理器。处理器分析是否在第一运动传感数据中检测到运动传感设备。运动传感设备与用户的人体部位一起做动作，第一运动传感数据基于第一传感器来产生，且运动传感设备包含不同于第一传感器的第二传感器。处理器根据分析结果确定是否基于第一传感器和第二传感器两者来产生第二运动传感数据。因此，可通过多个传感器来增强运动传感数据的内容。

说明书

技术领域

本公开大体上涉及传感数据的产生，尤其涉及一种运动传感数据产生方法和运动传感数据产生系统。

背景技术

为了在电子设备(例如游戏机、计算机、智能手机、智能电器等)上提供直观的操作，可检测用户的运动，以根据用户的运动直接操作电子设备。

在现有技术中，一些电子设备可允许用户的人体部位(例如手部、腿部、头部等)控制这些电子设备的操作。举例来说，提供手持式控制器以用于控制虚拟现实(virtualreality；VR)产品，且每一手持式控制器包含传感器以跟踪用户的手部的运动。然而，运动传感数据的产生可能受传感器类型的限制。举例来说，一些传感器的传感结果仅可用于产生与三个垂直轴上的位置平移相关的运动传感数据，且不会产生关于旋转情况的运动传感数据。

发明内容

运动传感数据的内容受限于运动传感设备的功能。因此，本公开涉及一种运动传感数据产生方法和运动传感数据产生系统。

在示范性实施例中的一个中，一种运动传感数据产生方法包含但不限于以下步骤。分析是否在第一运动传感数据中检测到运动传感设备。运动传感设备与用户的人体部位一起做动作，第一运动传感数据基于第一传感器来产生，且运动传感设备包含不同于第一传感器的第二传感器。根据分析结果确定是否基于第一传感器和第二传感器两者来产生第二运动传感数据。

在示范性实施例中的一个中，一种运动传感数据产生系统包含但不限于运动传感设备和处理器。处理器分析是否在第一运动传感数据中检测到运动传感设备。运动传感设备与用户的人体部位一起做动作，第一运动传感数据基于第一传感器来产生，且运动传感设备包含不同于第一传感器的第二传感器。处理器根据分析结果确定是否基于第一传感器和第二传感器两者来产生第二运动传感数据。

基于上述，根据本发明实施例的运动传感数据产生方法及运动传感数据产生系统，分析第一传感器是否能够检测到包括第二传感器的运动传感备，且可依据分析结果产生人体部位的运动传感数据。藉此，可通过多个传感器增进运动传感数据的内容，且提供弹性且方便的方式来增进运动传感数据的内容。

然而，应理解，这一发明内容可能不含有本公开的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的发明由且将由本领域普通技术人员理解为涵盖对其所作的明显改进和修改。

附图说明

包含附图以提供对本公开的进一步理解，且附图并入本说明书中并构成本说明书的一部分。附图示出本公开的实施例，且与描述一起用来解释本公开的原理。

图1是示出根据本公开的示范性实施例中的一个的运动传感数据产生系统的框图；

图2是示出根据本公开的示范性实施例中的一个的运动传感数据产生系统的示意图；

图3是示出根据本公开的示范性实施例中的一个的运动传感数据产生方法的流程图；

图4是示出根据本公开的示范性实施例中的一个的运动跟踪方法的示意图；

图5是示出根据本公开的示范性实施例中的一个的运动跟踪方法的示意图。

附图标号说明

100、200：运动传感数据产生系统；

110、120：运动传感设备；

111、121：传感器；

130：存储器；

150：处理器；

B1、B2：人体部位；

FOV：视场；

S310、S330：步骤。

具体实施方式

现将详细地对本公开的本优选实施例进行参考，所述实施例的实例在附图中示出。只要可能，相同附图标号在附图和描述中用以指代相同或相似部件。

图1是示出根据本公开的示范性实施例中的一个的运动传感数据产生系统100的框图。参考图1，运动传感数据产生系统100包含(但不限于此)一或多个运动传感设备110、存储器130以及处理器150。在一个实施例中，运动传感数据产生系统100可适用于VR、AR、MR、XR或其它现实相关性技术。在一些实施例中，运动传感数据产生系统100可经调适用于操作外部设备(例如计算机、游戏机、智能手机、内置式系统、智能电器等)。

运动传感设备110可以是手持式控制器或可穿戴设备，例如可穿戴控制器、智能手表、脚踝传感器、腰带或类似物。在一个实施例中，每一运动传感设备110可穿戴在用户的一个人体部位上。举例来说，所述人体部位可以是左手或右手、头部、左脚踝或右脚踝、左腿或右腿、腰或其它部位。

在一个实施例中，运动传感设备110包含传感器111。传感器111可以是运动传感器，例如加速计、陀螺仪、磁力计、激光传感器、惯性测量单元(inertial measurementunit；IMU)、红外(infrared ray；IR)传感器，或前述运动传感器的任何组合。传感器111用于传感自身运动，且与自身所处的人体部位一起做动作。举例来说，运动传感器检测3维空间中的位置和/或自身旋转情况。用户的人体部位可握持、穿戴或携带运动传感设备110，使得运动传感器与人体部位一起做动作。因此，运动传感器的运动可表示人体部位的运动。

在另一实施例中，传感器111可以是图像传感器、其它类型的传感器或多个传感器的组合。

在一个实施例中，运动传感数据产生系统100可进一步包含一或多个运动传感设备120。运动传感设备120可以是头戴式显示器(head-mounted display；HMD)、智能手机、相机、手提式计算机、定位设备或类似物。在一个实施例中，运动传感设备120包含传感器121。传感器121可以是图像传感器，例如相机(例如单色相机或彩色相机)、深度相机、录像机或能够捕获图像的其它图像传感器。

在一些实施例中，传感器121可用于接近用户的一或多个人体部位进行捕获，以产生包含用户的一或多个人体部位的图像。

在另一实施例中，传感器121可以是运动传感器、其它类型的传感器或多个传感器的组合。

存储器130可以是任何类型的固定或可移动随机存取存储器(Random-AccessMemory；RAM)、只读存储器(read-only memory；ROM)、闪存存储器或类似装置或以上装置的组合。在一些实施例中，存储器130可用于存储程序代码、装置配置、缓冲数据或永久数据(例如运动传感数据、图像、运动传感结果等)，且这些数据将在下述介绍。

处理器150耦接存储器130，且处理器150经配置用以加载存储在存储器130中的程序代码，以进行本公开的示范性实施例的过程。在一些实施例中，处理器150的功能可通过使用可编程单元来实施，所述可编程单元例如中央处理单元(central processing unit；CPU)、微处理器、微控制器、数字信号处理(digital signal processing；DSP)芯片、现场可编程门阵列(field programmable gate array；FPGA)等。在一个实施例中，处理器150的功能也可通过独立电子装置或集成电路(integrated circuit；IC)来实施，且处理器150的操作也可通过软件来实施。

应注意，处理器150可以或可以不安置有运动传感设备110和运动传感设备120。然而，运动传感设备110和运动传感设备120以及处理器150可进一步包含通信收发器或用兼容通信技术(例如蓝牙、Wi-Fi、IR或物理传输线路)与所述通信收发器连接，以彼此传输/接收数据。

图2是示出根据本公开的示范性实施例中的一个的运动传感数据产生系统200的示意图。参考图2，运动传感数据产生系统200包含运动传感设备110(所述运动传感设备是例如手持式控制器)和运动传感设备120(所述运动传感设备是例如HMD)。传感器121(所述传感器是例如立体相机)和处理器150嵌入在HMD中，且传感器121可经配置用以接近人体部位B1(也就是用户的左手)和人体部位B2(也就是用户的右手)以捕获相机图像。此外，传感器111(所述传感器是例如IMU)嵌入在手持式控制器中，以获得人体部位B2的运动传感结果。

应注意，将存在设置于运动传感数据产生系统100或运动传感数据产生系统200中的更多运动传感设备110。举例来说，运动传感数据产生系统200进一步包含两个脚踝传感器和腰带。然而，运动传感设备110的数目不限于此。

为了更好地理解在本公开的一或多个实施例中提供的操作过程，将在下文例示若干实施例以详细解释运动传感数据产生系统100的操作过程。在以下实施例中应用运动传感数据产生系统100中的装置和模块以解释本文中所提供的产生方法。可根据实际实施情况调整产生方法的每一步骤，且不应限于本文中所描述的内容。

图3是示出根据本公开的示范性实施例中的一个的运动传感数据产生方法的流程图。参考图3，处理器150分析是否在第一运动传感数据中检测到运动传感设备110(步骤S310)。具体来说，用户可握持、穿戴或携带运动传感设备110。具体来说，第一运动传感数据与人体部位和/或运动传感设备110的运动相关，其中运动传感设备110与人体部位一起做动作。第一运动传感数据基于传感器121来产生。

在一个实施例中，传感器121是图像传感器，且处理器150基于由运动传感设备120的图像传感器所捕获的图像来产生第一运动传感数据。在一个实施例中，处理器150可确定存在于图像中的人体部位的运动，以产生分析结果。这意味着人体部位的运动与分析结果相关。

在一些实施例中，处理器150可检测是否在图像中检测到与运动传感设备120一起做动作的人体部位。在一个实施例中，将通过机器学习技术(例如深度学习、人工神经网络(artificial neural network；ANN)或支持向量机(SVM)等)识别图像中的人体部位。在另一实施例中，可通过其它物件识别技术(例如二进制分类器、自适应增强(adaptiveboosting；Adaboost)等)来识别人体部位。

举例来说，图4是示出根据本公开的示范性实施例中的一个的运动跟踪方法的示意图。参考图4，握持运动传感设备110的人体部位B2存在于运动传感设备120的图像传感器的视场FOV中。对于另一实例，图5是示出根据本公开的示范性实施例中的一个的运动跟踪方法的示意图。参考图5，握持运动传感设备110的人体部位B2不存在于运动传感设备120的图像传感器的视场FOV中。

在另一实施例中，处理器150可比较基于第一运动传感数据的人体部位的位移或轨迹与一或多个预定义轨迹和/或位移。在一些实施例中，对应于图像中的人体部位的传感强度和像素位置可用于估计人体部位的深度信息(即，相对于运动传感设备120或其它参考设备的距离)且估计人体部位在平行于运动传感设备120的平面处的2D位置。处理器150可根据人体部位的距离和2D位置来在预定义坐标系中产生3D位置，以便确定人体部位的位移。在一个实施例中，如果第一运动传感数据符合预定义轨迹和/或位移，那么处理器150可确定运动传感设备110与人体部位一起做动作且确定分析结果是在第一运动传感数据中检测到运动传感设备110。另一方面，处理器150可确定未在第一运动传感数据中检测到运动传感设备110。

在又一实施例中，传感器110是运动传感器，传感器120是图像传感器，且处理器150可确定人体部位的运动在从运动传感器获得的运动传感结果和由图像传感器所捕获的图像两者中是否相同。关于不同类型的传感器110，运动传感结果可以是加速度、旋转、磁力、定向、距离和/或(其后称为)位置且可用于产生位置、位移和/旋转数据。举例来说，可通过对在三个轴上检测到的传感器110的加速度进行二重积分来估计人体部位的位移。可比较运动传感结果与图像之间的位移、位置和/或旋转。如果比较结果相同，那么处理器150确定分析结果是在第一运动传感数据中检测到运动传感设备110。另一方面，如果比较结果不相同，那么处理器150确定未在第一运动传感数据中检测到运动传感设备110。

在一些实施例中，处理器150可进一步识别图像中的手部的手势。举例来说，会将握持手势视为用户的手部正握持运动传感设备110。

应注意，在处理器150确定分析结果之前，处理器150可检查运动传感设备110是否启动。基于传感器110的偏差、位移和/或旋转情况将用于确认运动传感设备110不是静止的。如果运动传感设备110启动，那么处理器150将确定分析结果。

在确定分析结果之后，处理器150可根据分析结果确定是否基于传感器111和传感器121两者来产生第二运动传感数据(步骤S330)。具体来说，如果在第一运动传感数据中检测到运动传感设备110，那么这意味着第一运动传感数据可用于确定运动传感设备110或对应人体部位的运动。另一方面，如果未在第一运动传感数据中检测到运动传感设备110，那么第一运动传感数据可能是无用的。

在一个实施例中，如果分析结果是在第一运动传感数据中检测到运动传感设备110，那么处理器150可基于传感器111和传感器121两者来产生第二运动传感数据。换句话说，基于传感器111的运动传感结果和由传感器121所捕获的图像两者来产生第二运动传感数据。运动传感设备110的运动传感器可在一时间段内感测用户的对应人体部位(所述人体部位携带运动传感设备110)的运动，且处理器150可根据所述时间段内的多个时间点处的运动传感器的运动传感结果(例如所感测强度值、程度等)来产生序列的第三运动传感数据。对于一个实例，第三运动传感数据包含3自由度(3-degree of freedom；3-DoF)信息。对于另一实例，第一运动传感数据包含人体部位在2D/3D空间中的相对位置和/或位移。

在一个实施例中，第二运动传感数据可以是第一运动传感数据与第三运动传感数据的组合。举例来说，基于运动传感器和图像传感器的旋转数据与位置数据的加权组合。位置数据或旋转数据的值将具有权重，且第二运动传感数据基于从两个传感器获得的位置数据或旋转数据的加权计算来产生。因此，可提高第二运动传感数据的准确性。

在另一实施例中，第一运动传感数据包含3-DoF信息，且第二运动传感数据包含6-DoF信息。以图4作为实例，将根据在人体部位B2上所感测的加速度、旋转以及磁力来估计人体部位B2的姿态，且可基于传感器110的运动传感结果来确定人体部位B2在预定义坐标系中的旋转信息。加速度数据可用以估计人体部位B2的位移(即，3-DoF信息)。另一方面，由传感器121所捕获的图像中的对应于人体部位B2的传感强度和像素位置可用于估计人体部位B2的深度信息(即，相对于运动传感设备120的距离)且估计人体部位B2在平行于传感器121的平面处的2D位置，且根据人体部位B2的距离和2D位置来在预定义坐标系中进一步产生3D位置。接着，可融合人体部位B2在预定义坐标系中的旋转和3D位置以产生6-DoF信息。

在另一实施例中，如果分析结果是未在第一运动传感数据中检测到运动传感设备110，那么处理器150可仅基于传感器111来产生第二运动传感数据。在一个实施例中，第二运动传感数据可包含基于传感器111的运动传感结果的3-DoF信息但不包含6-DoF信息。在另一实施例中，第二运动传感数据可以是加速度、旋转、磁力、位置或仅基于第一运动传感数据的其它数据。

以图5作为实例，将不存在仅基于运动传感设备120的人体部位B2的运动传感数据，在所述运动传感设备中，人体部位B2不在运动传感设备120的图像传感器的视场FOV中。然而，运动传感设备110可保持跟踪人体部位B2的运动。

应注意，在一些实施例中，不管分析结果是什么，处理器150都可仅基于传感器110来产生第二运动传感数据。

综上所述，在本发明实施例的运动传感数据产生方法及运动传感数据产生系统中，判断利用第一运动传感数据决定人体部位的运动是否可靠，并基于两个传感器或仅一个传感器来产生第二运动传感数据。藉此，可增进第二运动传感数据的内容。

将对本领域的技术人员显而易见的是，可在不脱离本公开的范围或精神的情况下对本公开的结构作出各种修改和变化。鉴于前述，希望本公开覆盖本公开的修改和变化，前提是所述修改和变化落入所附权利要求和其等效物的范围内。