技术领域
本说明书整体涉及手势识别，包括基于机器学习的手势识别。
背景技术
本公开整体涉及电子设备，并且具体地涉及检测由穿戴或以其他方式操作电子设备的用户做出的手势。可穿戴技术正受到相当大的关注，包括音频附件设备(例如，耳塞)，其中用户可以增加的便利性潜在地享受移动技术的益处。
附图说明
本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。
图1示出了根据一个或多个具体实施的用于提供基于机器学习的手势识别的示例性网络环境。
图2示出了根据一个或多个具体实施的包括示例性电子设备和示例性无线音频输出设备的示例性网络环境。
图3示出了根据一个或多个具体实施的可由无线音频输出设备实现的示例性架构，其用于在不使用触摸传感器的情况下基于其他传感器输出数据来检测手势。
图4A至图4B示出了根据一个或多个具体实施的来自无线音频输出设备的可指示相应手势的传感器输出的示例性时序图。
图5示出了根据一个或多个具体实施的用于基于机器学习的手势识别的示例性过程的流程图。
图6示出了根据一个或多个具体实施的可用以实现本主题技术的各个方面的示例性电子系统。
具体实施方式
下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，主题技术不限于本文所述的具体细节，并且可使用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。
可穿戴设备诸如耳机/头戴式耳机/耳麦和/或一个或多个耳塞可被配置为包括各种传感器。例如，耳塞可配备有各种传感器，诸如光学传感器(例如，光电容积描记(PPG)传感器)、运动传感器、接近传感器和/或温度传感器，这些传感器可独立地和/或协同工作以执行一项或多项任务，诸如检测何时将耳塞放置在用户的耳朵内、检测何时将耳塞放置在壳体内等。包括前述传感器中的一个或多个传感器的耳塞和/或耳机还可包括一个或多个附加传感器，诸如麦克风或麦克风阵列。然而，鉴于尺寸/空间约束、功率约束和/或制造成本，耳塞和/或耳机可以不包括用于检测触摸输入和/或触摸手势的触摸传感器。
尽管如此，可能期望允许不包括触摸传感器的设备诸如耳塞检测来自用户的触摸输入和/或触摸手势。本主题技术使得不包括触摸传感器的设备能够通过利用经由设备中所包括的一个或多个非触摸传感器所接收的输入来检测来自用户的触摸输入和/或触摸手势。例如，可将从一个或多个非触摸传感器接收的输入应用于机器学习模型，以检测该输入是否对应于触摸输入和/或手势。这样，本主题技术可使得能够在不使用触摸传感器的情况下检测设备表面上的触摸输入和/或触摸手势，诸如轻击、轻扫等。
图1示出了根据一个或多个具体实施的用于提供基于机器学习的手势识别的示例性网络环境。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
网络环境100包括电子设备102、无线音频输出设备104、网络106和服务器108。网络106可以通信地(直接地或间接地)耦接例如电子设备102和/或服务器108。在图1中，无线音频输出设备104被示出为不直接耦接到网络106；然而，在一个或多个具体实施中，无线音频输出设备104可直接耦接到网络106。
网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。在一个或多个具体实施中，通过网络106的连接可被称为广域网连接，而电子设备102和无线音频输出设备104之间的连接可被称为对等连接。出于解释的目的，图1中示出的网络环境100包括电子设备102-105和单个服务器108；然而，网络环境100可包括任何数量的电子设备和任何数量的服务器。
服务器108可以是和/或可以包括下文相对于图6讨论的电子系统的全部或部分。服务器108可包括一个或多个服务器，诸如服务器云。出于解释的目的，相对于各种操作示出并论述了单个服务器108。然而，本文所论述的这些操作和其他操作可由一个或多个服务器执行，并且每个不同的操作可由相同或不同的服务器来执行。
电子设备可以是例如便携式计算设备诸如膝上型计算机、智能电话、外围设备(例如，数码相机、头戴式耳机)、平板设备、智能扬声器、机顶盒、内容流式传输设备、可穿戴设备诸如手表、带等或包括一个或多个无线接口(诸如一个或多个近场通信(NFC)无线电设备、WLAN无线电设备、蓝牙无线电设备、Zigbee无线电设备、蜂窝无线电设备和/或其他无线无线电设备)的任何其他适当的设备。在图1中，通过举例的方式，电子设备102被描绘成智能电话。电子设备102可为和/或可包括下文相对于图2所论述的电子设备和/或下文相对于图6所论述的电子系统的全部或部分。
无线音频输出设备104可为例如无线耳麦设备、无线头戴式耳机、一个或多个无线耳塞、智能扬声器、或一般来讲包括音频输出电路和一个或多个无线接口的任何设备，诸如，近场通信(NFC)无线电设备、WLAN无线电设备、蓝牙无线电设备、Zigbee无线电设备和/或其他无线无线电设备。在图1中，通过举例的方式，无线音频输出设备104被描绘为一组无线耳塞。如下文进一步论述的，无线音频输出设备104可包括可用于和/或重新调整用途用于检测从用户接收的输入的一个或多个传感器；然而，在一个或多个具体实施中，无线音频输出设备104可以不包括触摸传感器。如本文所提及的，触摸传感器可指测量直接由与物理触摸对应的物理交互(例如，当触摸传感器接收到来自用户的触摸输入时)产生的信息的传感器。触摸传感器的一些示例包括表面电容传感器、投射电容传感器、线电阻传感器、表面声波传感器等。无线音频输出设备104可以是和/或可以包括下面参考图2讨论的无线音频输出设备和/或下面参考图6讨论的电子系统的全部或一部分。
无线音频输出设备104可诸如经由蓝牙与电子设备102配对。在将两个设备102、104配对在一起之后，当设备102、104彼此邻近定位时，诸如在彼此的蓝牙通信范围内时，它们可自动形成安全的对等连接。电子设备102可以将诸如音乐、电话呼叫等音频流式传输到无线音频输出设备104。
出于解释的目的，本文相对于无线音频输出设备104描述了本主题技术。然而，本主题技术还可应用于不包括触摸传感器的有线设备，诸如有线音频输出设备。进一步出于解释的目的，相对于不包括触摸传感器的设备论述了本主题技术。然而，在一个或多个具体实施中，本主题技术可与触摸传感器结合使用，诸如以增强和/或改善对触摸传感器的触摸输入的检测。例如，设备可包括可粗略检测触摸输入和/或触摸手势的低成本和/或低功率触摸传感器，并且可使用本主题技术来细化粗略检测到的触摸输入/手势。
图2示出了根据一个或多个具体实施的包括示例性电子设备102和示例性无线音频输出设备104的示例性网络环境200。出于解释的目的，图2中示出了电子设备102；然而，电子设备102的一个或多个部件也可以由其他电子设备来实现。类似地，出于解释的目的，图2中示出了无线音频输出设备104；然而，无线音频输出设备104的一个或多个部件也可以由其他设备来实现。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
电子设备102可以包括主机处理器202A、存储器204A和射频(RF)电路206A。无线音频输出设备104可包括主机处理器202B、存储器204A、RF电路206B、数字信号处理器(DSP)208、一个或多个传感器210、专用处理器212和扬声器214。在一个具体实施中，传感器210可包括运动传感器(诸如加速度计)、光学传感器和声音传感器(诸如麦克风)中的一者或多者。应当理解，前述传感器不包括电容或电阻触摸传感器硬件(或触摸传感器的前述示例中的任一者)。
RF电路206A-B可包括一个或多个天线和用于发送/接收诸如WiFi、蓝牙、蜂窝等的RF通信的一个或多个收发器。在一个或多个具体实施中，电子设备102的RF电路206A可包括用于形成广域网连接和对等连接的电路，诸如WiFi、蓝牙和/或蜂窝电路，而无线音频输出设备104的RF电路206B可包括蓝牙、WiFi和/或用于形成对等连接的其他电路。
在一个具体实施中，RF电路206B可用于接收可由主机处理器202B处理并发送到扬声器214的音频内容，并且/或者还可用于接收来自电子设备102的RF电路206A的信号以用于完成任务，诸如在其他类型的任务中的调节扬声器214的音量输出。
主机处理器202A-202B可以包括使得能够分别处理电子设备102和无线音频输出设备104的数据和/或控制它们的操作的合适的逻辑部件、电路和/或代码。就这一点而言，可使得主机处理器202A-202B能够分别向电子设备102和无线音频输出设备104的各种其他部件提供控制信号。另外，主机处理器202A-202B可使得能够实施操作系统，或者能够以其他方式执行代码以分别管理电子设备102和无线音频输出设备104的操作。存储器204A-204B可包括使得能够存储各种类型信息的合适的逻辑部件、电路和/或代码，诸如所接收的数据、生成的数据、代码和/或配置信息。存储器204A-204B可包括例如随机存取存储器(RAM)、只读存储器(ROM)、闪存和/或磁性存储装置。无线音频输出设备104的DSP 208可以包括使得能够进行特定处理的合适的逻辑部件、电路和/或代码。
如本文所述，给定电子设备诸如无线音频输出设备104可包括专用处理器(例如，专用处理器212)，该专用处理器可始终通电并且/或者处于活动模式，例如，即使当设备的主机处理器/应用处理器(例如，主机处理器202B)处于低功率模式时或者在此类电子设备不包括主机处理器/应用处理器(例如，CPU和/或GPU)的情况下亦如此。这种专用处理器可为被设计成也利用比CPU或GPU更少能量的低计算能力处理器，并且在一个示例中还被设计成连续地在该电子设备上运行以便收集音频和/或传感器数据。在一个示例中，这种专用处理器可为始终通电的处理器(AOP)，该AOP为被实现为嵌入式运动协处理器的小型低功率辅助处理器。在一个或多个具体实施中，DSP 208可以是和/或可包括专用处理器212的全部或部分。
专用处理器212可被实现为专用、定制和/或专有硬件，诸如可始终通电(例如，以检测音频触发、收集和处理来自传感器诸如加速度计、光学传感器等的传感器数据)并且在无线音频输出设备104上连续运行的低功率处理器。专用处理器212可用于以具有更高计算效率和/或功率效率的方式执行某些操作。在一个示例中，为了能够在计算能力小于主处理器(例如，主机处理器202B)的专用处理器212上部署神经网络模型，在神经网络模型的编译过程期间执行对神经网络模型的修改，以便使其与专用处理器212的架构兼容。在一个示例中，可利用专用处理器212执行来自此类编译的神经网络模型的操作，该神经网络模型如下文图3中进一步所述。在一个或多个具体实施中，无线音频输出设备104可仅包括专用处理器212(例如，不包括主机处理器202B和/或DSP 208)。
在一个或多个具体实施中，电子设备102可与无线音频输出设备104配对，以便生成可用于形成连接(诸如设备102、104之间的对等连接)的配对信息。该配对可以包括例如交换通信地址诸如蓝牙地址。在配对之后，设备102、104可以将所生成和/或交换的配对信息(例如，通信地址)存储在相应的存储器204A-204B中。以这种方式，当在相应的RF电路206A-206B的通信范围内时，设备102、104可以使用相应的配对信息自动地且在没有用户输入的情况下连接到彼此。
传感器210可包括用于检测设备运动、用户生物识别信息(例如，心率)、声音、光、风和/或通常任何环境输入的一个或多个传感器。例如，传感器210可包括用于检测设备加速度的加速度计、用于检测声音的一个或多个麦克风和/或用于检测光的光学传感器中的一者或多者。如下文相对于图3至图5进一步所述，无线音频输出设备104可被配置为基于由一个或多个传感器210所提供的输出(例如，对应于由一个或多个传感器210所检测到的输入)来输出预测手势。
在一个或多个具体实施中，主机处理器202A-202B、存储器204A-204B、RF电路206A-206B、DSP 208和/或专用处理器212中的一者或多者和/或其一个或多个部分可在软件(例如，子例程和代码)中实现，可在硬件(例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑部件、分立硬件部件或任何其他合适的设备)和/或两者的组合中实现。
图3示出了根据一个或多个具体实施的可由无线音频输出设备104实现的示例性架构300，其用于在不使用触摸传感器的情况下基于其他传感器输出数据来检测手势。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。
在一个或多个具体实施中，架构300可以在不使用来自触摸传感器的信息的情况下基于馈送到手势预测引擎302中的传感器输出来提供检测手势，该传感器输出可以由专用处理器212执行。2019年5月31日提交的名称为“Compiling Code For A MachineLearning Model For Execution On A Specialized Processor”的美国临时专利申请号62/855,840中详述了专用处理器的示例，该申请据此全文以引用方式并入本文以用于所有目的。如图所示，手势预测引擎302包括机器学习模型304。在一个示例中，机器学习模型304被实现为卷积神经网络模型，该卷积神经网络模型被配置为随时间推移使用此类传感器输入来检测手势。此外，在将机器学习模型304部署在无线音频输出设备104上之前，可基于传感器输出数据在不同设备(例如，电子设备102和/或服务器108)上对该机器学习模型进行预先训练。
如本文所述，神经网络(NN)为使用连接的节点的集合基于机器学习技术来处理输入数据的计算模型。神经网络可通过将不同操作连接在一起来表示，因而被称为网络。NN(例如，前馈神经网络)的模型可被表示为表示这些操作如何从输入层通过一个或多个隐藏层连接到一起、最后连接到输出层的图形，其中每个层包括一个或多个节点，并且其中不同层对相应输入执行不同类型的操作。
如上所述的卷积神经网络(CNN)是一种神经网络类型。如本文所述，CNN是指特定类型的神经网络，但使用由存在于三个维度中的节点组成的不同类型的层，这些维度可在层之间变化。在CNN中，层中的节点只能连接到前一层中的节点子集。最终输出层可完全连接，并且可根据分类器的数量来设定大小。CNN可包括各种组合，并且在一些情况下可包括以下类型的层的多个类型的层和顺序：输入层、卷积层、池化层、整流线性单元层(ReLU)和完全连接的层。由卷积神经网络执行的部分操作包括获取基于一个或多个参数对输入数据进行迭代的一组过滤器(或内核)。
在一个示例中，卷积层使用内核读取输入数据(例如，对应于传感器输出数据的3D输入体积、传感器输出数据的2D表示或传感器输出数据的1D表示)，该内核每次按小段来读取并且逐步跨过整个输入字段。每次读取均可引起被投影到滤波器图上的输入并且表示对该输入的内部解释。如本文所述，可将CNN诸如机器学习模型304应用于人类活动识别数据(例如，对应于运动或移动的传感器数据)，其中CNN模型学习将给定的信号数据窗口映射到一活动(例如，手势和/或手势的一部分)，在该活动中该模型跨每个数据窗口读取并准备该窗口的内部表示。
如图3所示，可将来自图2所述的前述传感器(例如，传感器210)的从第一传感器输出306到第N传感器输出308的一组传感器输出作为输入提供给机器学习模型304。在一个具体实施中，每个传感器输出可对应于一时间窗口，例如0.5秒，在该时间窗口中由相应的传感器来收集传感器数据。在一个或多个具体实施中，在作为输入提供给机器学习模型304之前，传感器输出306-308可被过滤和/或预处理，例如，归一化。
在一个具体实施中，第一传感器输出306到第N传感器输出308包括来自加速度计的数据、来自光学传感器的数据和来自无线音频输出设备104的麦克风的音频数据。根据所收集的传感器数据，可训练机器学习模型(例如，CNN)。在第一示例中，使用来自加速度计的数据和来自光学传感器的数据来训练该模型。在第二示例中，使用来自加速度计的数据、来自光学传感器的数据和来自麦克风的音频数据来训练该模型。
在一个示例中，由光学传感器、加速度计和麦克风检测到的输入可单独地和/或共同地指示触摸输入。例如，沿着无线音频输出设备104的主体/外壳和/或在其上的触摸输入/手势，诸如向上轻扫或向下轻扫、轻击等，可导致由在该主体/外壳上和/或沿着该主体/外壳设置的光学传感器检测到的光的特定变化。类似地，此类触摸输入/手势可导致可由麦克风检测到的特定声音，并且/或者可导致可由加速度计检测到的特定振动。此外，如果无线音频输出设备104包括设置在不同位置处的多个麦克风，则在每个麦克风处检测到的声音可基于沿主体/外壳的接收到触摸输入/手势的位置而变化。
在训练之后，机器学习模型304生成对应于预测手势310的一组输出预测。在生成预测之后，可将策略应用于该预测以确定是否指示无线音频输出设备104要执行的动作，这在下文图4A至图4B的描述中更详细地论述。
图4A至图4B示出了根据一个或多个具体实施的来自无线音频输出设备104的可指示相应触摸手势的传感器输出的示例性时序图。
如图4A至图4B所示，曲线图402和曲线图450包括来自无线音频输出设备104的相应运动传感器的传感器输出数据的相应时序图。曲线图402和曲线图450的x轴对应于来自加速度计或其他运动传感器的运动值，并且曲线图402和曲线图450的y轴对应于时间。
还如图所示，曲线图404和曲线图452包括无线音频输出设备104的光学传感器的相应时序图。曲线图404和曲线图452的x轴对应于来自光学传感器的发光度的值(例如，从用户的皮肤反射的光量)，并且曲线图402和曲线图450的y轴对应于时间。区段410和区段412对应于基于曲线图402和曲线图404中所示的传感器输出数据发生特定手势的时间段。类似地，区段460和区段462对应于基于曲线图450和曲线图452中所示的传感器输出数据发生特定手势的时间段。
机器学习模型304的相应预测在曲线图406和曲线图454中示出。在一个具体实施中，机器学习模型304基于曲线图406和曲线图454中可视地示出的前述传感器输出数据，每秒提供十个预测(或一些其他预测量)。机器学习模型304提供落入如下七个不同类别之一的预测输出：无数据(“无”或无手势)、向上轻扫的开始(“向上轻扫前”)、向上轻扫的中间(“向上轻扫”)或向上轻扫的结束(“向上轻扫后”)、向下轻扫的开始(“向下轻扫前”)、向下轻扫的中间(“向下轻扫”)或向下轻扫的结束(“向下轻扫后”)。
不同类别的预测手势使得边界条件更具稳健性，从而使得机器学习模型304不需要在无手势和向上轻扫之间提供“硬”分类，因此，存在过渡期，在该过渡期中传感器输出数据可以在对应于无(例如，无手势)、向上轻扫前、向上轻扫然后向上轻扫后的手势阶段之间进行，然后再回落到向下轻扫至无手势。在曲线图406和曲线图454中，x轴指示帧数，其中每个帧可对应于单个数据点。在一个示例中，可以将多个帧(例如，125帧)用于由机器学习模型304提供的每个预测。
在一个具体实施中，如前所述，机器学习模型304还进一步利用策略来确定预测输出。如本文所提及的，策略可以对应于确定特定输入(例如，传感器输出数据)到对应动作(例如，提供相应预测)的映射的函数。在一个示例中，机器学习模型304仅利用对应于向上轻扫或向下轻扫的传感器输出数据来进行分类，并且该策略可以确定先前预测数量的平均值(例如，5个先前预测)。机器学习模型304采用在特定时间窗口内的先前预测，并且当这些预测的平均值超过特定阈值时，机器学习模型304可指示无线音频输出设备104要发起的特定动作(例如，调节扬声器214的音量)。在一个或多个具体实施中，可以利用状态机例如基于在时间窗口内的先前预测来进一步细化预测。
在一个具体实施中，对于一对无线音频输出设备，诸如一对耳塞，相应的机器学习模型可在该对无线音频输出设备中的每个无线音频输出设备上独立运行。该对无线音频输出设备可在彼此之间进行通信，以确定这两个无线音频输出设备是否大约在同一时间检测到轻扫手势。如果这两个无线音频输出设备大约在同一时间检测到轻扫手势，无论轻扫手势是在相同方向上还是在相反方向上，则该策略可确定抑制对轻扫手势的检测，以有助于防止在这两个无线音频输出设备上检测到不同方向的轻扫，或者引起并非由无线音频输出设备中的一个无线音频输出设备上的触摸输入而是由一般运动(例如，与无线音频输出设备要采取的特定动作不对应的动作)而导致的错误触发。
图5示出了根据一个或多个具体实施的用于基于机器学习的手势识别的示例性过程的流程图。出于解释的目的，本文主要相对于图1的无线音频输出设备104来描述过程500。然而，过程500不限于图1的无线音频输出设备104，并且过程500的一个或多个框(或操作)可由一个或多个其他部件和其他合适设备来执行。进一步出于解释的目的，过程500的框在本文中被描述为顺序地或线性地发生。然而，过程500的多个框可并行发生。此外，过程500的框不必按所示顺序执行，并且/或者过程500的一个或多个框不必执行和/或可由其他操作替代。
无线音频输出设备104从第一传感器(例如，传感器210中的一个传感器)接收第一类型的第一传感器输出(502)。无线音频输出设备104从第二传感器(例如，传感器210中的另一传感器)接收第二类型的第二传感器输出(504)。
无线音频输出设备104将第一传感器输出和第二传感器输出作为输入提供给机器学习模型，该机器学习模型已被训练成基于第一类型的传感器输出和第二类型的传感器输出来输出预测手势(506)。
无线音频输出设备104基于来自机器学习模型的输出来提供预测手势(508)。在一个具体实施中，第一传感器和第二传感器可以是非触摸传感器。在一个或多个具体实施中，第一传感器和/或第二传感器可包括加速度计、麦克风或光学传感器。第一传感器输出和第二传感器输出可对应于从由用户相对于无线音频输出设备104所提供的触摸手势中检测到的传感器输入，该触摸手势诸如轻击、向上轻扫、向下轻扫等。在一个具体实施中，预测手势包括以下中的至少一者：开始向上轻扫、中间向上轻扫、结束向上轻扫、开始向下轻扫、中间向下轻扫、结束向下轻扫或非轻扫。针对前述手势中的每个手势的相应传感器输入可以是不同输入。例如，用于开始向下轻扫或开始向上轻扫的传感器输入可对应于指示分别在第一方向或第二方向上的加速度或移动的加速度计输入，和/或是否在位于无线音频输出设备104上的特定光学传感器处接收到传感器输入(例如，在无线音频输出设备104包括至少两个光学传感器的情况下)，和/或在特定麦克风处的传感器输入(例如，在无线音频输出设备104可包括一个或多个麦克风的情况下)。在另一个示例中，用于结束向上轻扫或结束向下轻扫的传感器输入对应于指示加速度或移动已结束的加速度计输入，和/或对第二特定麦克风的传感器输入，和/或是否在位于无线音频输出设备104上的特定光学传感器处接收到传感器输入。
可至少基于预测手势来调节无线音频输出设备104的输出水平，例如音频输出水平或音量。在一个示例中，对应于向下轻扫手势的传感器输入可基于包括开始向下轻扫、中间向下轻扫和结束向下轻扫的预测手势的组合来确定。此外，可基于前述预测手势的特定顺序来预测向下轻扫手势，诸如其中首先预测开始向下轻扫，其次预测中间向下轻扫，最后预测结束向下轻扫。然后，系统基于预测手势来确定无线音频输出设备104的特定动作，诸如调节无线音频输出设备104的音频输出水平。
在一个示例中，对应于中间向上轻扫或中间轻扫的传感器输入导致用于执行增大或减小无线音频输出设备104的音频输出水平的动作的相应预测手势。在一个示例中，预测手势至少部分地基于中间向上轻扫或中间向下轻扫，并且调节音频输出水平包括将音频输出设备的音频输出水平增大或减小特定增量。
又如，各种手势的组合和/或手势组合的特定顺序可对应于基于连续手势(即，与手指行进的距离成比例的控制)的特定动作。在一个示例中，调节音频输出水平至少部分地基于：1)基于开始向上轻扫、中间向上轻扫和结束向上轻扫的第一距离，或者2)基于开始向下轻扫、中间向下轻扫和结束向下轻扫的第二距离。在该示例中，调节音频输出水平包括与第一距离或第二距离成比例地增大或减小音频输出设备104的音频输出水平。
如上所述，本技术的一个方面是采集和使用能够从特定且合法来源获得的数据，以用于提供与消息传递相关联的用户信息。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可以用于提供对应于用户的与消息传递相关联的信息。因此，使用此类个人信息数据可便于事务处理(例如，在线事务处理)。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可根据用户的偏好来使用以提供对其总体健康状况的见解，或者可用作对使用技术来追求健康目标的个体的积极反馈。
本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出地并能够被用户方便地访问，并应当随数据的采集和/或使用变化而被更新。用户的个人信息应被收集仅用于合法使用。另外，此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对便采集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的具体考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在提供对应于用户的与消息传递相关联的信息的情况下，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。
图6示出了可利用以实现本主题技术的一个或多个具体实施的电子系统600。电子系统600可以是图1所示的电子设备102-106和/或服务器108中的一者或多者，和/或可以是其一部分。电子系统600可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统600包括总线608、一个或多个处理单元612、系统存储器604(和/或缓存)、ROM 610、永久性存储设备602、输入设备接口614、输出设备接口606以及一个或多个网络接口616，或其子集及变体形式。
总线608总体表示通信地连接电子系统600的许多内部设备的全部系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中，总线608将一个或多个处理单元612与ROM 610、系统存储器604和永久性存储设备602通信地连接。一个或多个处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，一个或多个处理单元612可为单个处理器或者多核处理器。
ROM 610存储一个或多个处理单元612以及电子系统600的其他模块所需的静态数据和指令。另一方面，永久性存储设备602可为读写存储器设备。永久性存储设备602可为即使在电子系统600关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其对应的磁盘驱动器)可被用作永久性存储设备602。
在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备602。与永久性存储设备602一样，系统存储器604可为读写存储器设备。然而，与永久性存储设备602不同，系统存储器604可为易失性读写存储器，诸如随机存取存储器。系统存储器604可存储一个或多个处理单元612在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存储在系统存储器604、永久性存储设备602和/或ROM 610中。一个或多个处理单元612从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。
总线608还连接至输入设备接口614和输出设备接口606。输入设备接口614使得用户能够向电子系统600传送信息以及选择命令。可与输入设备接口614一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口606可例如使得能够显示电子系统600所生成的图像。可与输出设备接口606一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
最后，如图6所示，总线608还通过一个或多个网络接口616将电子系统600耦接到一个或多个网络和/或耦接到一个或多个网络节点，诸如图1中所示的服务器108。以此方式，电子系统600可为计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分，或者可为网络的网络(诸如互联网)的一部分。电子系统600的任何或全部部件可与本主题公开一起使用。
可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。
计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质，包括任何能够执行指令的处理电子器件和/或处理电路。例如，非限制地，计算机可读介质可包括任何易失性半导体存储器，诸如RAM、DRAM、SRAM、T-RAM、Z-RAM和TTRAM。计算机可读介质也可包括任何非易失性半导体存储器，诸如ROM、PROM、EPROM、EEPROM、NVRAM、闪存、nvSRAM、FeRAM、FeTRAM、MRAM、PRAM、CBRAM、SONOS、RRAM、NRAM、赛道存储器、FJG和Millipede存储器。
此外，计算机可读存储介质可包括任何非半导体存储器，诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中，有形计算机可读存储介质可直接耦接到计算设备，而在其他具体实施中，有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。
指令可以是直接能执行的，或者可用于开发可执行指令。例如，指令可被实现为可执行的或不可执行的机器代码，或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外，指令也可被实现为数据，或者可包括数据。计算机可执行指令也可以任何格式组织，包括例程、子例程、程序、数据结构、对象、模块、应用、小程序、函数等。如本领域技术人员认识到的那样，包括但不限于指令的数量、结构、序列和组织的细节可明显不同，而不改变底层的逻辑、功能、处理和输出。
虽然以上论述主要涉及执行软件的微处理器或多核处理器，但一个或多个具体实施由一个或多个集成电路诸如ASIC或FPGA执行。在一个或多个具体实施中，此类集成电路执行存储在电路自身上的指令。
本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。技术人员对于每个具体应用可通过不同方式实现所描述的功能性。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。
应当理解，本发明所公开的过程中的框的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的框的特定顺序或者分级结构可被重新布置或者所有示出的框都被执行。这些框中的任何框可被同时执行。在一个或多个具体实施中，多任务和并行处理可能是有利的。此外，上述具体实施中各个系统部件的划分不应被理解为在所有具体实施中都要求此类划分，并且应当理解，程序部件和系统可一般性地被一起整合在单个软件产品中或者封装到多个软件产品中。
如本说明书以及本专利申请的任何权利要求中所用，术语“基站”、“接收器”、“计算机”、“服务器”、“处理器”及“存储器”均是指电子设备或其他技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语“显示”或“正在显示”意指在电子设备上显示。
如本文所用，在用术语“和”或“或”分开项目中任何项目的一系列项目之后的短语“中的至少一者”是将列表作为整体进行修饰，而不是修饰列表中的每个成员(即每个项目)。短语“中的至少一者”不要求选择所列出的每个项目中的至少一个；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说，短语“A、B和C中的至少一者”或“A、B或C中的至少一者”各自是指仅A、仅B或仅C；A、B和C的任意组合；和/或A、B和C中的每一个中的至少一个。
谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。在一个或多个具体实施中，被配置为监视和控制操作或部件的处理器也可以是意指处理器被编程以监视和控制操作或者处理器可操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。
短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一种或多种配置、主题技术、公开、本公开、它们的其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，也不意味着这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。
字词“示例性”在本文中被用于意指“用作示例、实例或者例示”。在本文中被描述为“示例性的”或作为“示例”的任何实施方案不必被理解为优选于或优于其他具体实施。此外，在术语“包括”、“具有”等在说明书或权利要求中使用的限度内，这样的术语旨在是包含性的，与术语“包括”当在权利要求中被用作过渡字词时“包括”被解释的方式类似。
本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。不应根据35U.S.C.§112(f)的规定解释任何权利要求要素，除非使用短语“用于……的装置”明确陈述了该要素，或者就方法权利要求而言，使用短语“用于……的步骤”陈述了该要素。
先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的方面，而是旨在使得全部范围与语言权利要求书一致，其中对奇异值中的元素的引用并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和子标题(如果有的话)仅为了方便起见而使用并且不限制本主题公开。
机译： 基于机器学习的手势识别使用多个传感器
机译： 基于机器学习的手势识别使用多个传感器
机译： 基于抢占式机器学习的手势识别
