使用多个传感器的基于机器学习的手势识别

摘要

本公开涉及使用多个传感器的基于机器学习的手势识别。本发明公开了一种设备，该设备实现用于基于机器学习的手势识别的系统，并包括至少一个处理器，该至少一个处理器被配置为从该设备的第一传感器接收第一类型的第一传感器输出，并且从该设备的第二传感器接收不同于该第一类型的第二类型的第二传感器输出。该至少一个处理器被进一步配置为将该第一传感器输出和该第二传感器输出作为输入提供给机器学习模型，该机器学习模型已被训练成基于该第一类型的传感器输出和该第二类型的传感器输出来输出预测手势。该至少一个处理器被进一步配置为基于来自该机器学习模型的输出来确定该预测手势，并且响应于确定该预测手势而在该设备上执行预定动作。

说明书

本申请要求2019年11月8日提交的名称为“Machine-Learning Based GestureRecognition Using Multiple Sensors”的美国临时专利申请序列号62/933232的权益，该专利申请据此全文以引用方式并入本文以用于所有目的。

技术领域

本说明书整体涉及手势识别，包括基于机器学习的手势识别。

背景技术

本公开整体涉及电子设备，并且具体地涉及检测由穿戴或以其他方式操作电子设备的用户做出的手势。

附图说明

本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。

图1示出了根据一个或多个具体实施的用于提供基于机器学习的手势识别的示例性网络环境。

图2示出了根据一个或多个具体实施的可实现用于基于机器学习的手势识别的系统的示例性设备。

图3示出了根据一个或多个具体实施的可由电子设备实现的用于基于机器学习的手势识别的示例性架构。

图4A至图4B示出了根据一个或多个具体实施的可指示手势的电子设备的相应传感器输出的示例性示意图。

图5示出了根据一个或多个具体实施的用于基于机器学习的手势识别的示例性过程的流程图。

图6示出了根据一个或多个具体实施的可指示手势的传感器数据的二元标签的示例性示意图。

图7示出了根据一个或多个具体实施的可由传感器数据指示的手势的平滑标签的示例。

图8示出了根据一个或多个具体实施的可由传感器数据指示的手势的平滑标签的附加示例。

图9示出了根据一个或多个具体实施的用于基于机器学习的手势识别的另一个示例性过程的流程图。

图10示出了根据一个或多个具体实施的可用以实现本主题技术的各个方面的示例性电子系统。

具体实施方式

下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，主题技术不限于本文所述的具体细节，并且可使用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。

电子设备(诸如智能手表)可被配置为包括各种传感器。例如，智能手表可配备有一个或多个生物信号传感器(例如，光电容积描记(PPG)传感器)以及其他类型的传感器(例如，运动传感器、光学传感器、音频传感器等)。各种传感器可彼此独立地和/或相结合地工作以执行一个或多个任务，诸如检测设备位置、环境条件、用户生物条件等。

在一些情况下，用户可能希望使用触摸输入(例如，在电子设备的触摸屏上)来执行动作。另选地或除此之外，用户可能期望在无需依赖于触摸输入的情况下执行手势。例如，用户可能希望电子设备基于穿戴智能手表的同一只手所执行的手势来执行特定动作。

本主题技术通过利用经由电子设备的一个或多个传感器接收到的输出来提供检测用户手势。例如，电子设备可接收来自第一传感器(例如，生物信号传感器)和第二传感器(例如，非生物信号传感器)的相应输出。这些输出可作为输入提供给电子设备上实现的机器学习模型(该机器学习模型已基于来自各种传感器的输出来进行训练)，以便预测用户手势。基于预测手势，电子设备可执行特定动作(例如，改变用户界面)。在一个或多个具体实施中，可基于一般用户群、而非特定单个用户来训练机器学习模型。以此方式，即使没有单独用户的任何特定特征的先验知识，也可跨多个不同用户重复使用该模型。在一个或多个具体实施中，随后可针对特定用户来调谐或个性化一般用户群上训练的模型。

图1示出了根据一个或多个具体实施的用于提供基于机器学习的手势识别的示例性网络环境100。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

网络环境100包括电子设备102、103和104(下文称为102-104)、网络106和服务器108。网络106可通信(直接或间接)地耦接例如电子设备102-104和服务器108中的任何两者或更多者。在一个或多个具体实施中，网络106可以是可包括互联网和/或可通信地耦接到互联网的设备的互连网络。出于解释的目的，网络环境100在图1中被例示成包括电子设备102-104和单个服务器108；然而，网络环境100可包括任何数量的电子设备和任何数量的服务器。

电子设备102-104中的一者或多者可以是例如便携式计算设备，诸如膝上型计算机、智能电话、智能扬声器、外围设备(例如，数字相机、耳机)、平板设备、可穿戴设备诸如智能手表、带等，或者包括例如一个或多个无线接口的任何其他适当设备，诸如WLAN无线电设备、蜂窝无线电设备、蓝牙无线电设备、Zigbee无线电设备、近场通信(NFC)无线电设备和/或其他无线电设备。在图1中，以举例的方式，电子设备102被描绘为智能手表，电子设备103被描绘为膝上型计算机，并且电子设备104被描绘为智能电话。

如下文进一步论述的，电子设备102-104中的每个电子设备都可以包括可用于和/或重新调整用途用于检测从用户接收的输入的一个或多个传感器。电子设备102-104中的每个电子设备都可以是和/或可以包括下文相对于图2所论述的设备和/或下文相对于图10所论述的电子系统的全部或一部分。

服务器108可以是和/或可以包括下文相对于图10讨论的电子系统的全部或一部分。服务器108可包括一个或多个服务器，诸如服务器云。出于解释的目的，相对于各种操作示出并论述了单个服务器108。然而，本文所论述的这些操作和其他操作可由一个或多个服务器执行，并且每个不同的操作可由相同或不同的服务器来执行。在一个或多个具体实施中，电子设备102-104中的一个或多个电子设备可实现独立于网络106和/或独立于服务器108的主题系统。

图2示出了根据一个或多个具体实施的可实现用于基于机器学习的手势识别的系统的示例性设备。出于解释的目的，本文主要参考图1的电子设备102来描述图2。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

电子设备102可包括主机处理器202、存储器204、一个或多个生物信号传感器206、一个或多个非生物信号传感器208和通信接口210。主机处理器202可包括能够处理数据和/或控制电子设备102的操作的适当逻辑部件、电路和/或代码。就这一点而言，主机处理器202可被启用以向电子设备102的各个其他部件提供控制信号。主机处理器202还可控制电子设备102的各部分之间的数据传输。主机处理器202还可实施操作系统或者能够以其他方式执行代码以管理电子设备102的操作。

存储器204可包括使得能够存储各种类型信息的适当逻辑部件、电路和/或代码，诸如所接收的数据、生成的数据、代码和/或配置信息。存储器204可包括例如随机存取存储器(RAM)、只读存储器(ROM)、闪存和/或磁性存储装置。

在一个或多个具体实施中，生物信号传感器206可包括一个或多个传感器，该一个或多个传感器被配置为测量生物信号。例如，生物信号传感器206可对应于光电容积描记(PPG)PPG传感器，该PPG传感器被配置为检测用户组织的微血管床的血容量变化(例如，其中用户将电子设备102穿戴在他/她的身上，诸如他/她的手腕上)。该PPG传感器可包括一个或多个发光二极管(LED)和光电二极管/光电探测器(PD)，该一个或多个LED发射光，并且该PD检测反射光(例如，从手腕组织反射的光)。生物信号传感器206不限于PPG传感器，并且可附加地或另选地对应于以下的一者或多者：脑电图(EEG)传感器、心电图(ECG)传感器、肌电图(EMG)传感器、肌动图(MMG)传感器、眼动电图(EOG)传感器、皮电反应(GSR)传感器、脑磁图(MEG)传感器和/或其他被配置为测量生物信号的合适传感器。

在一个或多个具体实施中，非生物信号传感器208可包括用于检测设备运动、声音、光、风和/或其他环境条件的一个或多个传感器。例如，非生物信号传感器208可包括以下的一者或多者：用于检测设备加速度的加速度计、用于检测声音的音频传感器(例如，麦克风)、用于检测光的光学传感器和/或其他被配置为输出指示设备状态和/或环境条件的信号的合适传感器。

如下文相对于图3至图9进一步论述，电子设备102-104中的一个或多个电子设备可被配置为基于生物信号传感器206所提供和/或非生物信号传感器208所输出的输出(例如，对应于生物信号传感器206和非生物信号传感器208所检测到的输入)来输出预测手势。

通信接口210可包括使得能够诸如在电子设备102和其他设备之间进行有线或无线通信的合适逻辑部件、电路和/或代码。通信接口210可包括例如蓝牙通信接口、NFC接口、Zigbee通信接口、WLAN通信接口、USB通信接口中的一种或多种，或一般地，任何通信接口。

在一个或多个具体实施中，主机处理器202、存储器204、生物信号传感器206、非生物信号传感器208、通信接口210中的一者或多者和/或其一个或多个部分可在软件(例如，子例程和代码)中实现，可在硬件(例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑部件、分立硬件部件或任何其他合适的设备)和/或两者的组合中实现。

图3示出了根据一个或多个具体实施的可由电子设备实现的用于基于机器学习的手势识别的示例性架构300。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

如图所示，手势预测引擎302包括机器学习模型304。在一个示例中，机器学习模型304被实现为神经网络(NN)模型，该NN模型被配置为随时间推移使用此类传感器输入来检测手势。如本文所述，神经网络(NN)为使用连接的节点的集合基于机器学习技术来处理输入数据的计算模型。神经网络可通过将不同操作连接在一起来表示，因而被称为网络。NN(例如，前馈神经网络)的模型可被表示为表示这些操作如何从输入层通过一个或多个隐藏层连接到一起、最后连接到输出层的图形，其中每个层包括一个或多个节点，并且其中不同层对相应输入执行不同类型的操作。

在一个或多个具体实施中，机器学习模型304被实现为卷积神经网络(CNN)。如本文所述，CNN是指特定类型的神经网络，但使用由存在于三个维度中的节点组成的不同类型的层，这些维度可在层之间变化。在CNN中，层中的节点只能连接到前一层中的节点子集。最终输出层可完全连接，并且可根据分类器的数量来设定大小。CNN可包括各种组合，并且在一些情况下可包括以下类型的层的多个类型的层和顺序：输入层、卷积层、池化层、整流线性单元层(ReLU)和完全连接的层。由卷积神经网络执行的部分操作包括获取基于一个或多个参数对输入数据进行迭代的一组过滤器(或内核)。

在一个示例中，卷积层使用内核读取输入数据(例如，对应于传感器输出数据的3D输入体积、传感器输出数据的2D表示或传感器输出数据的1D表示)，该内核每次按小段来读取并且逐步跨过整个输入字段。每次读取均可引起被投影到滤波器图上的输入并且表示对该输入的内部解释。如本文所述，可将CNN诸如机器学习模型304应用于人类活动识别数据(例如，对应于运动或移动的传感器数据)，其中CNN模型学习将给定的信号数据窗口映射到一活动(例如，手势和/或手势的一部分)，在该活动中该模型跨每个数据窗口读取并准备该窗口的内部表示。

机器学习模型304可被配置为接收来自一个、两个或超过两个传感器(例如，至少一个生物信号传感器和/或至少一个非生物信号传感器)的输出作为输入。如图3的示例中所示，机器学习模型304接收第一生物信号传感器输出306至第M生物信号传感器输出308以及第一非生物信号传感器输出310至第N非生物信号传感器输出312作为输入。

第一生物信号传感器输出306至第M生物信号传感器输出308包括来自生物信号传感器206中的一个或多个生物信号传感器的输出。如上所指出，生物信号传感器206可对应于PPG传感器(例如，用于检测血容量变化)和/或被配置为输出生物信号的其他类型的传感器。此外，第一非生物信号传感器输出310至第N非生物信号传感器输出312包括来自非生物信号传感器208中的一个或多个非生物信号传感器的输出。如上所指出，非生物信号传感器208可对应于以下的一者或多者：加速度计、光学传感器、音频传感器(例如，麦克风)和/或被配置为输出指示设备状态和/或环境条件的信号的其他类型的传感器。

在一个或多个具体实施中，传感器输出306-312中的一个或多个传感器输出可对应于由相应传感器收集传感器数据的时间窗口(例如，0.5秒、0.1秒或任何时间窗口)。此外，在作为输入提供给机器学习模型304之前，传感器输出306-312可被过滤和/或预处理(例如，归一化)。

在一个或多个具体实施中，传感器输出306-312可用于指示用户所执行的手势。例如，手势可对应于由耦接到(例如，穿戴)电子设备102的同一只手执行的单手手势。手势可对应于静态手势(例如，保持预定义时间段的特定类型的手/手指定位)和/或动态手势(例如，在预定义时间段内执行的基于运动的手势)。此外，手势可对应于基于手指的手势(例如，其中手指以特定方式移动和/或定位)、基于手腕的手势(例如，其中手腕以特定方式移动和/或定位)和/或基于手指的手势与基于手腕的手势的组合。在一个或多个具体实施中，手势可对应于在水平表面和/或竖直表面诸如桌面、墙面、地面和/或另一只手上执行的手势。

此外，传感器输出306-312可由机器学习模型304单独地和/或共同地用来指示特定类型的用户手势。如上所指出，生物信号传感器206中的一个或多个生物信号传感器可对应于被配置为检测血容量变化的PPG传感器。例如，血容量的变化可指示不同用户手势(例如，其中特定血容量变化映射到相应类型的用户手势)。如上进一步指出，机器学习模型304可接收非生物信号输出(例如，非生物信号传感器输出310-312)，该非生物信号输出可与生物信号传感器输出306-308一起使用，作为补充信息来预测特定手势。例如，非生物信号传感器输出310-312可指示原本由生物信号传感器输出306-308指示的手势预测的误报。

机器学习模型304(例如，CNN)在被部署在电子设备102上之前可能已基于传感器输出数据来在不同设备(例如，除电子设备102之外的一个或多个智能手表)上进行训练(例如，预先训练)。用于训练的传感器输出数据可对应于来自一个或多个生物信号传感器(例如，类似于生物信号传感器206)和/或来自一个或多个非生物信号传感器(例如，类似于非生物信号传感器208)的输出。在一个或多个具体实施中，机器学习模型304可能已跨多个用户进行训练，该多个用户例如在穿戴设备(例如，具有生物信号和/或非生物信号传感器的另一个智能手表)时提供不同类型的手势并且确认这些手势(例如，经由训练用户界面)作为训练过程的一部分。以此方式，机器学习模型在一个或多个具体实施中可用于跨一般用户群而非一个特定用户来预测手势。

在机器学习模型304已经过训练之后，机器学习模型304可生成与手势预测314相对应的一组输出预测。在生成预测之后，可将策略应用于该预测以确定是否指示电子设备102要执行的动作，这将相对于图4A至图4B更详细地论述。

图4A至图4B示出了根据一个或多个具体实施的可指示手势的电子设备的相应传感器输出的示例性示意图。出于解释的目的，本文主要参考图1的电子设备102来描述图4A至图4B。然而，图4A至图4B不限于图1的电子设备102，并且可替代地使用一个或多个其他部件和/或其他合适的设备(例如，电子设备102-104中的任何电子设备)。

图4A示出了电子设备102包括PPG传感器402的示例。PPG传感器402包括被配置为发射光的一个或多个光源404A-404B(例如，LED)。例如，光源404A可发射与第一频率相对应的光(例如，绿光)，并且光源404B可发射与第二频率相对应的光(例如，另一种颜色诸如棕色和/或红外光)。PPG传感器402还包括被配置为检测反射光(例如，基于光源404A-404B所发射的光的、从用户的手腕组织反射的光)的一个或多个光电二极管406A-406B。PPG传感器402可被配置为对来自光电二极管406A-406B的输出取平均或以其他方式进行处理以提供与血容量变化相对应的输出(例如，第一生物信号传感器输出306)。电子设备102还可包括被配置为检测设备加速度的加速度计(未示出)。

图4B示出了电子设备102的相应传感器输出的示例性时序图408-410以及与特定用户手势相对应的相应置信水平。例如，时序图408-410可指示握拳手势的置信度。

时序图408示出了电子设备102的PPG传感器402的传感器输出以及传感器输出对应于特定用户手势(例如，握拳)的置信度输出(例如，基于机器学习模型304)。传感器输出412A-412B对应于光电二极管406A-406B所检测到的基于光源404A-404B所发射的光的反射光。虽然图4B示出了绿色的光源的示例，但PPG可包括另选和/或附加的光源(例如，其他颜色诸如棕色、红外光等)。传感器输出414对应于传感器输出412A-412B的平均值。此外，置信度输出416(例如，基于机器学习模型304)指示传感器输出对应于特定用户手势。

在一个或多个具体实施中，时序图410示出了电子设备102的加速度计的传感器输出以及传感器输出对应于特定用户手势(例如，握拳)的置信度输出(例如，由机器学习模型304进行)。传感器输出418对应于所检测到的加速度(例如，基于设备移动)。此外，置信值420指示的是传感器输出指示特定用户手势的计算置信度(例如，基于机器学习模型304)。

在一个或多个具体实施中，机器学习模型304可被配置为基于在时序图408-410中视觉上示出的上述传感器输出数据在周期性基础上(例如，每秒10个预测或每个时间段的某个其他量的预测)提供手势预测(例如，对应于手势预测314)。虽然图4A至图4B是相对于握拳手势的示例来描述的，但机器学习模型304可被配置为相对于多种不同类型的手势(例如，基于手指的静态和/或动态手势、基于手腕的静态和/或动态手势)来提供手势预测。

在一个或多个具体实施中，如上所述，机器学习模型304可利用策略来确定预测输出。如本文所提及的，策略可以对应于确定特定输入(例如，传感器输出数据)到对应动作(例如，提供相应预测)的映射的函数。例如，机器学习模型304可以利用与特定手势相对应的传感器输出数据来进行分类，并且该策略可以确定先前预测数量的平均值(例如，5个先前预测)。机器学习模型304可以采用在时间窗口内的先前预测，并且当这些预测的平均值超过特定阈值时，机器学习模型304可指示电子设备102要发起的特定动作(例如，更新用户界面)。在一个或多个具体实施中，可以将该策略应用于机器学习模型304的输出。

在一个或多个具体实施中，可以利用状态机(例如基于在时间窗口内的先前预测)来进一步细化机器学习模型304所输出的预测。例如，状态机可包括所检测到的手势与未检测到的手势之间的一个或多个过渡状态，诸如所检测到的手势的开始、所检测到的手势的中间、所检测到的手势的结束等。

图5示出了根据一个或多个具体实施的用于基于机器学习的手势识别的示例性过程的流程图。出于解释的目的，本文主要参考图1的电子设备102来描述过程500。然而，过程500不限于图1的电子设备102，并且过程500的一个或多个框(或操作)可由一个或多个其他部件和其他合适的设备(例如，电子设备102-104中的任一个电子设备)执行。进一步出于解释的目的，过程500的框在本文中被描述为顺序地或线性地发生。然而，过程500的多个框可并行发生。此外，过程500的框不必按所示顺序执行，并且/或者过程500的一个或多个框不必执行和/或可由其他操作替代。

电子设备102从生物信号传感器206中的一个或多个生物信号传感器接收第一类型的第一传感器输出(502)。该设备的生物信号传感器206可为光电容积描记(PPG)传感器。PPG传感器可包括红外光源或彩色光源中的至少一者。在一个或多个具体实施中，第一传感器输出可指示血流变化。

电子设备102从非生物信号传感器208中的一个或多个非生物信号传感器接收与第一类型不同的第二类型的第二传感器输出(504)。非生物信号传感器208可为加速度计和/或麦克风。接收第一传感器输出或接收第二传感器输出中的至少一者可基于该设备处于手势检测模式的确定。

电子设备102将第一传感器输出和第二传感器输出作为输入提供给机器学习模型，该机器学习模型已被训练成基于第一类型的传感器输出和第二类型的传感器输出来输出预测手势(506)。机器学习模型可能已跨多个用户进行训练。

电子设备102基于来自机器学习模型的输出来确定预测手势(508)。预测手势可为基于手指的手势或基于手腕的手势中的至少一者。例如，基于手指的手势可为以下的至少一者：手指捏合手势(例如，一起触摸两个手指)、双捏合或其他多捏合(例如，一起触摸两个手指多次并且多次触摸之间分开两个手指)、握拳手势(例如，将一个或多个(或所有)手指和/或拇指握成拳头形式)和/或双紧握手势或其他多紧握手势。例如，基于手腕的手势可为敲击手势或双敲击手势中的至少一者。

电子设备102响应于确定预测手势而在该设备上执行预定动作(510)。预定动作可对应于改变该设备上的用户界面。这些预定动作在一个或多个具体实施中可对电子设备提供手势驱动的开关控制(例如，以实现可访问性)。例如，手势驱动的开关控制可允许用户仅使用穿戴手表的手臂来导航智能手表的操作系统。手势驱动的开关控制可包括通过在用户界面(UI)元素被选择器加亮时执行手势来操作被选择器加亮的UI元素。

这些预定动作还可使用户能够设定由对应手势唯一地访问的快捷键。例如，可由上下文自动地提供具有相关联的手势的快捷键(例如，包括用于与媒体播放器应用程序交互的快捷键和对应手势、用于与健身应用程序交互的快捷键和对应手势、和/或用于与任何其他应用程序交互的快捷键和对应手势)。

预定动作还可包括向伴随设备(例如，通信地耦接到可穿戴手势检测设备诸如智能手表的移动电话、膝上型电脑、平板电脑、另一种可穿戴设备等)提供指令以实现伴随设备的基于手势的控制。例如，对预测手势作出响应的预定动作可包括将手势信息或指令发送给正播放媒体(例如，音频或视频)的伴随设备以跳转到下一个或上一个曲目或章节、暂停或重启该媒体、或在伴随设备处执行其他媒体控制操作。作为另一个示例，对预测手势作出响应的预定动作可包括将手势信息或指令发送给正播放浏览器或文档的伴随设备以滚动浏览器或文档或对浏览器或文档执行其他控制。作为另一个示例，对预测手势作出响应的预定动作可包括将手势信息或指令发送给正运行增强现实应用程序或虚拟现实应用程序的伴随设备以便输入到或控制该应用程序。

在一个或多个具体实施中，用于手势预测和/或识别的机器学习模型可包括初始预测该模型是否应处于手势检测模式的部分。例如，上文结合图1至图5描述的机器学习模型可包括神经网络中的预测头，该预测头预测该模型的其余部分(或单独模型)是否应开始模型预测。该附加预测头可有助于例如节省能量和计算时间(例如，有助于允许手势检测不断地在后台运行，即使在具有有限电源诸如电池的设备上也是如此)。以此方式，可提供这样的机器学习模型：如果附加手势检测头指示未发生手势，则数据立方体不必一直执行操作到网络的末端。用于确定该模型是否进入手势预测模式的预测头可与该模型的其他部分一起在通用训练操作中训练，或与单独手势预测模型分别地训练。

在一个或多个具体实施中，机器学习模型(例如，机器学习模型304)可为数据缓冲区(例如，存储来自特定时间窗口的传感器数据的数据缓冲区)的数据生成指示数据缓冲区中的数据是否指示用户正执行特定手势的置信度输出(参见例如置信度输出416)或置信值(参见例如置信值420)。在一个或多个具体实施中，机器学习模型还可被布置和训练成生成是否发生手势的标签(例如，二元手势/无手势标签、开始标签和结束标签和/或平滑连续手势标签和/或无手势标签)。图6示出了机器学习模型生成二元手势/无手势标签600的示例。

如图6所示，对于包括与用户所执行的手势相对应的部分604的传感器数据602而言，手势/无手势标签600可例如在执行手势时具有1的值并且在例如未执行手势时具有0的值。在一个或多个具体实施中，手势/无手势标签600从低转变到高和从高转变到低的时间可指示具有手势持续时间606的手势(G)的开始时间608和结束时间610。

如图6中所指示，机器学习模型诸如机器学习模型304可在收集于具有窗口持续时间612的窗口(W)内的传感器数据上运行。例如，可在若干时间中的每个时间将来自具有窗口持续时间612的滑动窗口(W)的传感器数据602加载到能够由机器学习模型访问的缓冲区中，以将来自该窗口的传感器数据作为输入提供给机器学习模型。在图6的示例中，可针对以下窗口执行该模型：完全在手势之前的窗口614、部分地与手势重叠并包括手势的开始的窗口616和618、包括整个手势的窗口620以及部分地与手势重叠并包括手势的结束的一个或多个窗口诸如窗口622。对于窗口614、616、618、620、622等中的每个窗口而言，该模型可生成和/或输出指示该窗口内是否发生手势的二元手势/无手势标签600，以及该窗口内发生哪种手势的预测。在一个或多个具体实施中，可组合与多个窗口相对应的标签和/或预测以确定最终开始时间608、最终结束时间610和/或在最终开始时间与最终结束时间之间发生的最终预测手势。

例如，可提供机器学习模型诸如机器学习模型304，该机器学习模型包括多任务网络头(例如，在模型的末端处)以基于数据缓冲区中的数据来预测手势的开始时间和结束时间(例如，即使对于手势的开始时间608和/或结束时间610可能不一定在数据缓冲区内的窗口诸如图6的窗口616、618或622也是如此)。例如，该模型可被布置和训练成基于在任何给定时间存在于数据缓冲区中的来自手势的部分信息来预测手势实际上何时开始以及手势何时将要结束。例如，机器学习模型可在该模型的末端包括并行手势分类头和感兴趣区域(ROI)回归头，其输出可被串接以便从该模型输出。手势分类头可生成例如要执行哪种手势的预测。ROI回归头可生成例如用于确定要分类的手势的开始时间和结束时间的手势和/或无手势标签，和/或基于所生成的标签来生成预测开始时间和/或预测结束时间。

可组合来自滚动预测窗口的多个手势开始时间戳和结束时间戳以预测该预测手势的最终开始时间和结束时间。例如，与基于多个数据缓冲区输出的输出相对应的聚合预测开始索引和结束索引可用于识别完整手势的开始索引和结束索引，这是由于多个数据缓冲区一起包括来自手势的整个手势持续时间606的数据。

在一个或多个具体实施中，组合多个采样窗口的预测开始时间和结束时间可包括对于每个采样窗口而言，确定该窗口内的感兴趣区域；将感兴趣区域转化成缓冲区坐标中的感兴趣索引(IOI)；将缓冲区坐标中的IOI转换成公共选通时间段相应的IOI；将转换的IOI聚合成聚合IOI；并且将聚合IOI转换成原点在等于零的时间处的索引坐标。

在一个或多个具体实施中，以这种方式在手势期间执行多步预测(例如，而不是将单个预测分配给数据缓冲区)的机器学习模型可针对缓冲区的不同部分提供多个标签的预测。以此方式，机器学习模型可将数据缓冲区中的数据序列变换成与缓冲区的不同部分相对应的标签序列。

尽管可如图6的示例中那样使用二元手势/无手势标签600来执行多步手势预测，但是图6的二元手势/无手势标记可能未考虑训练数据中的噪声(例如，由于训练手势的开始时间和结束时间的含噪训练标签)和/或传感器数据中的噪声(例如，由于用户在如何执行手势方面的变化)。为了提供更稳健和准确的模型，机器学习模型诸如机器学习模型304可被布置和训练成生成用于识别手势的开始和/或结束的平滑标签。

图7示出了在一个或多个具体实施中可使用机器学习模型诸如机器学习模型304来生成的手势预测的平滑标签的示例。在图7的示例中，可使用手势标签700和无手势标签702来确定手势的开始时间608和结束时间610，该手势标签和该无手势标签可各自具有最小值(例如，0)与最大值(例如，1)之间的多个值(例如，离散值或连续值)。如图所示，对于窗口714、716、718、720、722等的每个窗口而言，该模型可生成和/或输出手势标签700(例如，指示该窗口内发生手势的概率)和无手势标签702(例如，指示该窗口内不发生手势的概率)，以及该窗口内发生哪种手势的预测(例如，分类)。

如图7中所指示，对于不包括与手势相关联的任何传感器数据的窗口714而言，手势标签700可具有最小值诸如0的值，并且无手势标签702可具有最大值诸如1的值。当滚动或移动窗口开始包括手势时，手势标签700开始(例如，平滑地)升高并且无手势标签702开始(例如，平滑地)降低直到在完全与手势重叠的窗口720内，手势标签700达到最大值(例如，1)并且无手势标签702达到最小值(例如，0)。当滚动或移动窗口开始包括在手势完成之后获得的传感器数据时，手势标签700开始(例如，平滑地)降低并且无手势标签702开始(例如，平滑地)升高直到在窗口不再与手势的任何部分重叠时，手势标签700达到最小值(例如，0)并且无手势标签702达到最大值(例如，1)。

预测图7的平滑标签(例如，而不是图6的二元标签)的机器学习模型诸如机器学习模型304可指示该模型已看到手势的多少部分以及已看到哪种手势。预测图7的平滑标签的机器学习模型的模型输出可不仅输出概率得分，而且输出数据缓冲区中的当前数据向所执行的手势中扩展了多远的预测(例如，对于每个窗口而言)。例如，可基于手势间隔并根据该模型中的数据缓冲区的大小来生成平滑标签诸如手势标签700和无手势标签702的值，以允许这些标签反映手势中有多少部分与数据缓冲区重叠。可在平滑预测标签的顶部上应用阈值策略以确定数据缓冲区何时大部分或完全在所执行的手势内(例如，手势标签700何时高于阈值诸如0.9和/或无手势标签702何时低于阈值诸如0.1)。

如就二元手势/无手势标签600而言，在一个或多个具体实施中，可组合与多个窗口714、716、718、720、722等相对应的模型输出以确定最终开始时间608、最终结束时间610和在最终开始时间与最终结束时间之间发生的最终预测手势。在各种具体实施中，先前用最高手势标签700和/或最低无手势标签702生成的预测手势可用作最终预测手势，或可在已确定最终开始时间和最终结束时间之后生成最终手势预测(例如，通过利用最终开始时间与最终结束时间之间的数据(并因此包括整个手势)再次运行手势预测)。

在一个或多个具体实施中，可基于最终开始时间608和最终结束时间610来调节机器学习模型的输入数据的缓冲区大小以用于最终手势预测。例如，对于具有100毫秒(ms)手势持续时间的手势而言，可将缓冲区大小从1秒减小到200ms以用于最终手势预测(例如，以避免缓冲区中包括不必要且潜在混淆性的数据)。在另一个示例中，对于具有1.3秒手势持续时间的手势而言，可增加默认1秒缓冲区大小(例如，以确保缓冲区中包括整个手势的传感器数据)以用于最终手势预测。在一个或多个具体实施中，当使用平滑标签诸如图7的手势标签700和无手势标签702时，并不在机器学习模型的输出层处应用交叉熵和softmax函数，而是可应用二元交叉熵和S形函数。

预测手势的开始时间和结束时间可有助于提供可检测多移动手势的机器学习模型。例如，为了提供可预测和/或检测单捏合和双捏合两者或单紧握和双紧握两者的机器学习模型，预测开始时间和结束时间可有助于避免排除与双手势中的第二捏合或第二紧握相对应的数据。

应当理解，图7中示出的在最小值和最大值之间线性地增加或减小的手势标签700和无手势标签702仅仅是示例性的。图8示出了可使用的其他平滑手势标签700和无手势标签702。例如，图8示出了S形和指数手势标签700和无手势标签702。提供平滑手势标签还可包括提供指示特定窗口的优度的附加得分(例如，窗口建议得分)，和/或使用多任务学习(例如，使用附加回归量来指示手势的哪部分在特定预测窗口内)。尽管在手势检测和/或手势预测的上下文中描述了图7和图8的平滑标记，但是应当理解，对于用于检测时间上受限的事件的其他数据而言(例如，对于需要时间序列数据中的边界检测以便可基于一个或多个边界内或附近的传感器数据来采取动作的任何传感器数据而言)，传感器数据中的开始时间和结束时间的这种平滑标记可应用于将统计不确定性结合到这些标签中。

在图6和图7的示例中，窗口614-622和714-722用于在重叠的滑动时间窗口内对数据进行均匀采样。还应当理解，在一个或多个具体实施中，在机器学习模型的训练期间和/或在机器学习模型的客户端使用期间对数据的采样可伪随机地进行(例如，使用以手势周围的伪随机时间为中心的通用宽度的窗口，而不是以手势之前、期间和之后的均匀推进时间为中心)。在一个或多个具体实施中，可使用窗口均匀推进的采样来进行该模型的评估。

在一个或多个具体实施中，本文所公开的手势预测操作(例如，使用机器学习模型304)可进行个性化或针对特定用户进行调谐。该个性化的手势预测可有助于例如对通常快速执行手势(例如，在第一时间段内)的用户以及另外通常缓慢执行手势(例如，在比第一时间段更长的第二时间段内)的用户所执行的手势提供预测和/或检测。该个性化的手势预测还可有助于如具有不同身体活动能力的不同用户所执行的手势的预测和/或检测，有助于如因其他静态和/或动态用户可变性生成的数据所指示的手势的预测和/或检测，有助于随用户之间的移动可变性而变化的手势的预测和/或检测，和/或有助于设备穿戴偏好有变化(例如，智能手表的带松紧度有变化)的用户所生成的手势的预测和/或检测。

在包括个性化的手势识别的具体实施的一个示例中，用户的设备可(例如，在用户和设备的手势注册过程中和/或在用户使用设备期间随时间推移)为该用户构建已知手势的库。一旦已知手势的库可用，就可修改机器学习模型和/或将机器学习模型从手势预测/识别模型更改为手势匹配模型，在该手势匹配模型中，新输入传感器数据与手势库中的手势之一的对应信号数据匹配，以识别所执行的手势。

例如，可在用户首次与用于手势预测和/或识别的机器学习模型交互时为用户执行注册过程。例如，在一个或多个具体实施中，设备诸如电子设备102可向用户提供执行一个或多个感兴趣手势的请求，并且将所执行的手势注册为他们执行手势的方式。然后机器学习模型诸如机器学习模型304可使用这些注册的用户特定手势作为训练数据以便更好地识别该特定用户的特定类型的手势。以此方式，用户可根据用户舒适地执行手势的方式(例如，速度或任何身体活动能力或偏好)来定制手势，并且手势预测/识别模型可适应于用户的行为。

在个性化的手势识别的另一个示例中，可执行个性化的联邦学习操作以训练和/或调谐或个性化机器学习模型，从而识别或预测特定用户所执行的手势。

例如，在一个或多个具体实施中，机器学习模型诸如机器学习模型304可利用联邦学习技术跨保持本地样本的多个分散的设备来训练和/或细化该模型，而不从分散的移动设备交换样本或聚合多个模型更新。以此方式，多个用户可有助于训练通用模型，同时通过避免用户之间共享用户信息来保护用户的隐私。

在一个或多个具体实施中，可使用联邦学习技术来训练机器学习模型以获得以上述方式训练的通用初始模型，然后可进一步在用户的设备处本地训练该机器学习模型以针对特定用户进行定制(例如，使用手势注册过程或来自特定用户和设备的样本数据以用于模型个性化)。

图9示出了根据一个或多个具体实施的用于基于机器学习的手势识别的示例性过程的流程图。出于解释的目的，本文主要参考图1的电子设备102来描述过程900。然而，过程900不限于图1的电子设备102，并且过程900的一个或多个框(或操作)可由一个或多个其他部件和其他合适的设备(例如，电子设备102-104中的任一个电子设备)执行。进一步出于解释的目的，过程900的框在本文中被描述为顺序地或线性地发生。然而，过程900的多个框可并行地发生。此外，过程900的框不必按所示顺序执行，并且/或者过程900的一个或多个框不必执行和/或可由其他操作替代。

在框902处，可从设备诸如电子设备102的传感器接收传感器数据。传感器数据可包括诸如来自光电容积描记(PPG)传感器的生物信号传感器206。PPG传感器可包括红外光源或彩色光源中的至少一者。在一个或多个具体实施中，第一传感器输出可指示血流变化。传感器数据可包括来自非生物信号传感器208中的一个或多个非生物信号传感器的传感器数据。非生物信号传感器208可为例如加速度计和/或麦克风。接收传感器数据可基于设备处于手势检测模式的确定(例如，由机器学习模型的模式检测头作出)。接收传感器数据可包括在至少部分地与手势的手势时间(例如，手势持续时间606)重叠的第一时间窗口期间接收传感器数据。还可在一个或多个附加时间窗口(诸如至少部分地与手势的手势时间重叠的第二时间窗口)期间接收来自该设备的传感器的附加传感器数据。

在方框904处，可将传感器数据作为输入提供给机器学习模型(例如，机器学习模型304)，该机器学习模型已被训练成在该设备的用户正执行手势时以及在手势完成之前，基于传感器数据来输出预测手势、手势的预测开始时间(例如，开始时间608)和手势的预测结束时间(例如，结束时间610)。在一个或多个具体实施中，还可将附加传感器数据(例如，来自第二时间窗口和/或一个或多个附加时间窗口)作为输入提供给机器学习模型。在一个或多个具体实施中，机器学习模型可能已被训练成至少部分地通过为多个时间窗口中的每个时间窗口生成手势标签诸如手势标签700和无手势标签诸如无手势标签702(例如，如上结合图7和图8所述)来输出手势的预测开始时间和手势的预测结束时间。例如，手势标签和无手势标签可各自具有在最大值与最小值之间平滑连续(例如，线性连续、指数连续、S形连续或其他连续)的值。

在框906处，可基于来自机器学习模型的输出来确定预测手势。在一个或多个具体实施中，基于来自机器学习模型的输出来确定预测手势可包括基于以来自第一时间窗口的传感器数据为基础的来自该模型的输出以及基于以来自第二时间窗口的附加传感器数据为基础的机器学习模型的附加输出来确定预测手势。基于以来自第一时间窗口的传感器数据为基础的来自机器学习模型的输出以及以来自第二时间窗口的附加传感器数据为基础的机器学习模型的附加输出来确定预测手势可包括聚合以来自第一时间窗口的传感器数据为基础的来自机器学习模型的第一预测开始时间以及以来自第二时间窗口的附加传感器数据为基础的来自机器学习模型的第二预测开始时间以确定手势的最终预测开始时间。基于以来自第一时间窗口的传感器数据为基础的来自机器学习模型的输出以及以来自第二时间窗口的附加传感器数据为基础的机器学习模型的附加输出来确定预测手势可包括聚合以来自第一时间窗口的传感器数据为基础的来自机器学习模型的第一预测结束时间以及以来自第二时间窗口的附加传感器数据为基础的来自机器学习模型的第二预测结束时间以确定手势的最终预测结束时间。在一个或多个具体实施中，可基于最终预测开始时间和最终预测结束时间来调节(例如，增加或减小)机器学习模型的输入缓冲区的大小(例如，以包括与整个手势的数据相对应的最终预测开始时间与最终预测结束时间之间的所有传感器数据)。确定预测手势可包括使用具有经调节的大小的输入缓冲区中的传感器数据在最终预测结束时间之后的时间确定预测手势。

在框908处，响应于确定预测手势，可在设备上执行预定动作。

如上所述，本发明技术的一个方面是采集和使用特定和合法来源的数据以用于手势识别。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于手势识别。因此，使用此类个人信息数据可便于事务处理(例如，在线事务处理)。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可根据用户的偏好来使用以提供对其总体健康状况的见解，或者可用作对使用技术来追求健康目标的个体的积极反馈。

本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出地并能够被用户方便地访问，并应当随数据的采集和/或使用变化而被更新。用户的个人信息应被收集仅用于合法使用。另外，此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对便采集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的具体考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就手势识别而言，本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。

图10示出了可用以实现本主题技术的一个或多个具体实施的电子系统1000。电子系统1000可以是图1所示的电子设备102-104和/或服务器108中的一者或多者，和/或可以是其一部分。电子系统1000可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统1000包括总线1008、一个或多个处理单元1012、系统存储器1004(和/或缓存)、ROM 1010、永久性存储设备1002、输入设备接口1014、输出设备接口1006以及一个或多个网络接口1016，或其子集及变体形式。

总线1008总体表示通信地连接电子系统1000的许多内部设备的全部系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中，总线1008将一个或多个处理单元1012与ROM 1010、系统存储器1004和永久性存储设备1002通信地连接。一个或多个处理单元1012从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，一个或多个处理单元1012可为单个处理器或者多核处理器。

ROM 1010存储一个或多个处理单元1012以及电子系统1000的其他模块所需的静态数据和指令。另一方面，永久性存储设备1002可为读写存储器设备。永久性存储设备1002可为即使在电子系统1000关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其对应的磁盘驱动器)可以用作永久性存储设备1002。

在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备1002。与永久性存储设备1002一样，系统存储器1004可为读写存储器设备。然而，与永久性存储设备1002不同，系统存储器1004可为易失性读写存储器，诸如随机存取存储器。系统存储器1004可存储一个或多个处理单元1012在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存储在系统存储器1004、永久性存储设备1002和/或ROM 1010中。一个或多个处理单元1012从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。

总线1008还连接至输入设备接口1014和输出设备接口1006。输入设备接口1014使得用户能够向电子系统1000传送信息以及选择命令。可与输入设备接口1014一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口1006可例如使得能够显示电子系统1000所生成的图像。可与输出设备接口1006一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。

最后，如图10所示，总线1008还通过一个或多个网络接口1016将电子系统1000耦接到一个或多个网络和/或耦接到一个或多个网络节点，诸如图1中所示的服务器108。以此方式，电子系统1000可为计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分，或者可为网络中的某网络(诸如互联网)的一部分。电子系统1000的任何或所有部件可与本主题公开一起使用。

可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。

计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质，包括任何能够执行指令的处理电子器件和/或处理电路。例如，非限制地，计算机可读介质可包括任何易失性半导体存储器，诸如RAM、DRAM、SRAM、T-RAM、Z-RAM和TTRAM。计算机可读介质也可包括任何非易失性半导体存储器，诸如ROM、PROM、EPROM、EEPROM、NVRAM、闪存、nvSRAM、FeRAM、FeTRAM、MRAM、PRAM、CBRAM、SONOS、RRAM、NRAM、赛道存储器、FJG和Millipede存储器。

此外，计算机可读存储介质可包括任何非半导体存储器，诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中，有形计算机可读存储介质可直接耦接到计算设备，而在其他具体实施中，有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。

指令可以是直接能执行的，或者可用于开发可执行指令。例如，指令可被实现为可执行的或不可执行的机器代码，或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外，指令也可被实现为数据，或者可包括数据。计算机可执行指令也可以任何格式组织，包括例程、子例程、程序、数据结构、对象、模块、应用、小程序、函数等。如本领域技术人员认识到的那样，包括但不限于指令的数量、结构、序列和组织的细节可明显不同，而不改变底层的逻辑、功能、处理和输出。

虽然以上论述主要涉及执行软件的微处理器或多核处理器，但一个或多个具体实施由一个或多个集成电路诸如ASIC或FPGA执行。在一个或多个具体实施中，此类集成电路执行存储在电路自身上的指令。

本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。技术人员对于每个具体应用可通过不同方式实现所描述的功能性。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。

应当理解，本发明所公开的过程中的框的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的框的特定顺序或者分级结构可被重新布置或者所有示出的框都被执行。这些框中的任何框可被同时执行。在一个或多个具体实施中，多任务和并行处理可能是有利的。此外，上述具体实施中各个系统部件的划分不应被理解为在所有具体实施中都要求此类划分，并且应当理解，程序部件和系统可一般性地被一起整合在单个软件产品中或者封装到多个软件产品中。

如本说明书以及本专利申请的任何权利要求中所用，术语“基站”、“接收器”、“计算机”、“服务器”、“处理器”及“存储器”均是指电子设备或其他技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语“显示”或“正在显示”意指在电子设备上显示。

如本文所用，在用术语“和”或“或”分开项目中任何项目的一系列项目之后的短语“中的至少一者”是将列表作为整体进行修饰，而不是修饰列表中的每个成员(即每个项目)。短语“中的至少一者”不要求选择所列出的每个项目中的至少一个；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说，短语“A、B和C中的至少一者”或“A、B或C中的至少一者”各自是指仅A、仅B或仅C；A、B和C的任意组合；和/或A、B和C中的每一个中的至少一个。

谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。在一个或多个具体实施中，被配置为监视和控制操作或部件的处理器也可以是意指处理器被编程以监视和控制操作或者处理器可操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。

短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一种或多种配置、主题技术、公开、本公开、它们的其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，也不意味着这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。

字词“示例性”在本文中被用于意指“用作示例、实例或者例示”。在本文中被描述为“示例性的”或作为“示例”的任何实施方案不必被理解为优选于或优于其他具体实施。此外，在术语“包括”、“具有”等在说明书或权利要求中使用的限度内，这样的术语旨在是包含性的，与术语“包括”当在权利要求中被用作过渡字词时“包括”被解释的方式类似。

本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。不应根据35U.S.C.§112(f)的规定解释任何权利要求要素，除非使用短语“用于……的装置”明确陈述了该要素，或者就方法权利要求而言，使用短语“用于……的步骤”陈述了该要素。

先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的方面，而是旨在使得全部范围与语言权利要求书一致，其中对奇异值中的元素的引用并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和子标题(如果有的话)仅为了方便起见而使用并且不限制本主题公开。