永远接通低功率关键字检出

摘要

本发明涉及永远接通低功率关键字检出。具体而言，本发明涉及包括唤醒系统的电子设备，唤醒系统在实质上低的功率水平下操作，并应用于将电子设备从睡眠模式唤醒。唤醒系统包括将所接收的声信号转换成电信号的声换能器和预先识别在电信号的一部分中的与多个关键字中的至少一个相对应的语音能量分布的关键字检测逻辑单元。在一些实施方式中，关键字查找器还被激活，以便以提高的准确度识别电信号的该部分中是否存在所述至少一个关键字并产生唤醒控制来将电子设备的主机从其睡眠模式激活。

说明书

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2013年3月15日提交的序列号 为61/790,760、标题为“Always-On Low-Power Keyword Spotting”的临时 申请的权益，该临时申请的主题通过引用全部并入本文。

技术领域

本发明涉及电子设备，且更具体地涉及将电子设备的主机从其休眠或 睡眠状态唤醒的系统、设备和方法。

背景技术

几乎所有电子设备都预留睡眠模式、待机模式或休眠模式，其中一些 ——如果不是全部——程序是不活动的，且尽可能多的处理单元保持在休 眠状态中。这些模式通过停用（deactivate）不需要的子系统且只将必要的 数据存储保留在一些随机存取存储器（RAM）中来显著节省电消耗。由于 全世界在使用中的电子设备数量巨大，可通过使用这些能量节约模式来节 约极大量的能量。而且，这些能量节约模式对电池操作的设备（例如移动 设备）特别关键，不仅因为这些设备作为未来的趋势正被日益普遍应用， 而且因为对这些设备的电池充电显著影响用户体验。睡眠模式延长电池寿 命并减小充电频率，除了能量节约的一般益处以外还极大地改善了电池操 作的设备的用户体验。

大多数电子设备终止睡眠、待机或休眠模式，并在从设备用户接收到 通知时返回到正常操作。设备用户常常必须按电子设备上的硬件按钮来传 送他们需要使用设备的通知。例如，大多数个人计算机依赖于电源按钮的 唤醒按压或键盘上的点击来唤醒。虽然移动鼠标现在对激活计算机也是足 够的，但是唤醒方法通常需要由设备用户物理触摸，然而，这样的触摸并 不总是可用的。例如，唤醒位于手臂所能及的距离之外的睡眠的移动电话 几乎是不可能的，特别是当设备用户正驾驶汽车时。因此，存在对远程地 唤醒睡眠的电子设备同时仍然在睡眠模式期间维持低功率消耗的需要。

发明内容

本发明的各种实施方式涉及电子设备，且更具体地涉及合并了唤醒系 统的系统、设备和方法，唤醒系统在实质上低的功率水平下操作并将电子 设备的主机从睡眠模式唤醒。

根据本发明的一个实施例，唤醒系统包括将所接收的声信号转换成电 信号的声换能器和预先（preliminarily）识别与在电信号的一部分中的多个 关键字中的至少一个相对应的语音能量分布（speech energy profile）的关键 字检测逻辑单元。在一些实施例中，关键字查找器（keyword finder）进一 步被激活来以提高的准确度识别至少一个关键字是否存在于电信号的该部 分中，并产生唤醒控制以将电子设备的主机从其睡眠模式激活。

根据本发明的另一实施例，可应用将电子设备从睡眠模式唤醒的方法。 将由声换能器接收的声信号转换成电信号。对应于多个关键字中的至少一 个的语音能量分布在电信号的一部分中被预先识别，且关键字查找器实质 上随后被从睡眠模式激活来以提高的准确度进一步识别多个关键字中的至 少一个。基于这样的预先和准确的关键字识别，唤醒控制被产生以将电子 设备的主机从睡眠模式激活。

在这个发明内容部分中一般性地描述了本发明的某些特征和优点；然 而，额外的特征、优点和实施例在本文中被呈现或者对于本领域技术人员 而言根据附图、说明书及其权利要求将是明显的。因此，应理解，本发明 的范围不应由在这个发明内容中公开的特定实施例限制。

附图说明

将参考本发明的实施例，其例子可在附图中示出。这些附图用于说明 而不是限制。虽然本发明通常在这些实施例的背景中被描述，应理解，它 并不用于将本发明的范围限制到这些特定的实施例。

图1示出根据本发明中的各种实施例的基于唤醒系统的电子设备的示 例性方框图。

图2示出根据本发明中的各种实施例的基于唤醒系统的电子设备的另 一示例性方框图。

图3示出根据本发明中的各种实施例的将电子设备从睡眠模式唤醒的 方法。

具体实施方式

在下面的描述中，为了解释的目的，阐述了特定的细节以便提供对本 发明的理解。然而对本领域技术人员而言显而易见的是，本发明可在没有 这些细节的情况下被实施。本领域技术人员将认识到，可以以各种方式并 使用各种装置来执行下面描述的本发明的实施例。本领域技术人员还将认 识到，额外的修改、应用和实施例在其范围内，如本发明可提供效用的额 外领域一样。因此，下面描述的实施例说明本发明的特定实施例，且意欲 避免使本发明难以理解。

在说明书中对“一个实施例”或“实施例”的提及意味着结合该实施 例描述的特定的特征、结构、特性或功能包括在本发明的至少一个实施例 中。短语“在一个实施例中”、“在实施例中”等在说明书中的不同地方的 出现并不一定都指同一实施例。

此外，在附图中在部件之间或在方法步骤之间的连接不限于直接实现 的连接。相反，在附图中所示的在部件之间或方法步骤之间的连接可通过 将中间部件或方法步骤添加到其而被修改或以另外方式来改变，而不偏离 本发明的教导。

本发明的各种实施例涉及合并唤醒系统的电子设备，且更具体地涉及 使用声信号来将电子设备的主机从其休眠、睡眠或待机状态远程地唤醒的 系统、设备和方法。用户可向电子设备发出语音唤醒命令。当接收到命令 时，唤醒系统将电子设备的主机从待机、睡眠或休眠模式唤醒，且其后电 子设备返回到正常操作。在一方面，唤醒系统能够主动接收并处理语音唤 醒命令，即使当主机处于休眠状态中时。在另一方面，唤醒系统的功率消 耗被控制在实质上低的水平，使得它不使电子设备的总功率预算负担重， 特别是当电子设备休眠时。

电子设备采用不同的活动性水平来更好地节约能量消耗。例如，膝上 型计算机具有与逐渐变低的活动性水平和逐渐变低的能量消耗相关联的待 机模式、睡眠模式和休眠模式。越来越多的程序被禁用，且当功率水平变 低时，越来越多的硬件单元被停用。待机模式可以简单地与暗屏幕相关联。 在睡眠模式中，机器状态在进入睡眠模式之前的时刻被冻结，且数据暂时 存储在被不断地供电的RAM中。然而，在休眠模式中，这样的数据可被 备份在硬盘中，且RAM也被禁用以节约更多的能量消耗。本发明的各种 实施例被应用来将电子设备从所有这些能量节约模式唤醒。为了清楚和简 单，在本发明中这些模式通常被称为睡眠模式，即使它们可能涉及不同的 活动性水平。

图1示出根据本发明中的各种实施例的基于唤醒系统的电子设备的示 例性方框图100。电子设备100包括声换能器102、缓冲器104、关键字识 别器106和主机108。声换能器102耦合成接收声信号，并将它转换成电信 号。所转换的声信号的一部分被缓存和存储在缓冲器104内用于随后的处 理。关键字识别器106处理所转换的声信号的该部分，识别其中的目标关 键字并产生唤醒控制。当目标关键字在所转换的声信号的该部分内被识别 出时，耦合到关键字识别器106的主机108被激活并返回到其正常操作。 特别是，声换能器102、缓冲器104和关键字识别器106构成唤醒系统110， 其用于唤醒电子设备100的主机108。

在本发明的各种实施例中，唤醒系统110对多个关键字做出响应并激 活主机108，电子设备100可能需要一个或多于一个关键字在所转换的声信 号的该部分中被识别。

在本发明的各种实施例中，声信号是可采用在可听得见的范围（20 Hz-20,000Hz）内、之下或之外的频率。在涉及在我们的日常使用中应用的 大多数电子设备的某些实施例中，声信号是可听得见的。所转换的声信号 的该部分必须包括由设备用户发出的语音唤醒命令。语音唤醒命令可包括 关键字识别器106解释为对唤醒主机108的请求的至少一个关键字。这样 的关键字可以是像“我的手机”或“打开电视”这样的短语。

在一些实施例中，电子设备100应用于一些特殊目的，且声信号是超 声或次声。一个例子是使用超声信号来触发电话唤醒并运行特定的应用， 例如用于用户的本地特定的健康和安全警告；或唤醒设备内的其它无线或 光通信协议以接收或发送相关的本地化数据。其它不可听得见的例子和使 用是可能的。

唤醒系统110必须维持实质上低的功率消耗水平，因为电子设备100 的总功率预算可能被限制在睡眠模式。然而，关键字识别器106可涉及某 些复杂的信号处理算法，以便准确地识别目标关键字。关键字识别器106 的功率消耗通常随着信号处理算法的复杂性而增加。作为结果，具有复杂 的信号处理算法的关键字识别器106有时与唤醒系统110不兼容。

为了减少能量消耗，关键字识别可在两个步骤中实现，用于快速区分 目标关键字的一个预备步骤和用于准确地识别目标关键字的另一高级步 骤。预备步骤涉及有限的功率消耗，并适合于在唤醒系统110内的集成。

图2示出根据本发明中的各种实施例的基于唤醒系统的电子设备的另 一示例性方框图100。关键字识别分成两个步骤，一个预备步骤和一个高级 步骤，且这两个步骤分别在关键字检测逻辑单元106A和关键字查找器 106B中实现。关键字检测逻辑单元106A集成在唤醒系统110内，并恒定 地保持为活动的，即使主机108处于睡眠模式中。然而，关键字查找器106B 被从唤醒系统110移除并在睡眠模式期间被禁用以节约功率消耗。在一些 实施例中，复杂的信号处理算法由于其相对可缩放的功率预算而合并在关 键字查找器内。

关键字检测逻辑单元106A预先识别在缓冲器104中缓存的所转换的 声信号的那部分中的至少一个目标关键字。关键字检测逻辑单元106A采用 相对简单的信号处理算法，且因此维持明显低水平的能量消耗。在一个实 施例中，关键字检测逻辑单元106A搜索所转换的声信号的该部分以找到可 与包括某些关键字的语音唤醒命令相关联的某种类型的语音能量分布。在 某个实施例中，关键字检测逻辑单元106A使用语音能量分布来区分开语音 唤醒命令与常规对话语音或一段背景音乐。当检测到能量分布时，关键字 检测逻辑单元106A经由查找器控制信号实现关键字查找器106B，并发送 所转换的声信号的该部分用于进一步识别。

当被实现时，关键字查找器106B从睡眠模式启动，并准确地识别在所 转换的声信号的该部分中的关键字。在某些实施例中，复杂的声处理方法 在关键字查找器106B内被采用以按照内容和语音特征来识别特定的关键 字。因为语音的音高在不同的人当中是变化的，相同的关键字如果被除了 实际设备所有者以外的人说出则可能不被识别出。一旦目标关键字由关键 字查找器106B识别出，唤醒控制就被产生以激活最初在睡眠模式休眠的主 机108。

在一个实施例中，语音能量分布可以是双模的，因为分开某个时间间 隔的一对关键字被应用。例如，关键字可以是“唤醒我的电话”。声换能器 102和关键字检测逻辑单元106A恒定地是活动的以检测这对关键字。这两 个单元消耗低水平的功率，例如几毫瓦，而电子设备100的其余部分在睡 眠模式中休眠。一旦双模语音能量分布被检测到，关键字检测逻辑单元 106A就将包含关键字“唤醒我的电话”的缓存的语音样本传递到关键字查 找器106B。关键字查找器106B使用最新的隔离字识别技术来比较缓存的 语音样本与目标关键字对。如果目标关键字对在缓存的语音样本中被识别， 则关键字查找器106B触发对主机108的唤醒控制，主机108随后从睡眠模 式醒来。在一些实施例中，主机108等待在唤醒之后接受另外的命令。如 果没有另一命令在预定的时间间隔内被接收到，则主机108返回到睡眠模 式。

在一些实施例中，主机108在接收到唤醒控制时发送回一响应。这个 响应是可听得见的或可见的，使得用户可依赖于唤醒系统110来识别缺失 的电子设备100的位置。在另一实施例中，唤醒系统110作为通道被应用 于在活动模式期间接收来自用户的命令。特别是当驾驶员正驾驶汽车且不 能够拨打移动电话时，他或她可唤醒移动电话并拨打某个电话号码。一系 列命令从驾驶员说出的声信号恢复以连续唤醒电话、可选地将电话解锁并 打电话。

根据本发明，声换能器102是优选地需要低功率消耗的麦克风。在一 个实施例中，在很多电子设备中看到的常规扬声器被重新分排任务（be  re-tasked）以在睡眠模式中用作声换能器102。在扬声器内的声膜片由于声 压水平而开始运动，并使音圈在磁场内移动。在音圈的端子两端的电压因 此与所接收的声压水平的幅值成比例地产生。通过这个手段，重新分排任 务的扬声器像动态麦克风一样运转，将声信号转换成相应的电信号。

当常规扬声器用作声换能器102时，永远接通功率（always on power） 明显减少。特别是，几乎每个移动设备都具有一个或多个内置麦克风。然 而，如通常可获得的和所使用的这样的常规麦克风由于其相对高的功率消 耗而不是优选的。这些麦克风通常需要由恒定偏流启动，且这个偏流一般 在150μA和2mA之间。假定睡眠模式的总功率预算是仅仅几毫瓦，则麦 克风和相关联的偏置将消耗这个预算的相当大的一部分。

此外，一般的麦克风只维持用于声转换的单个模式；然而，当涉及两 种声转换模式时，唤醒系统110可以以较低的功率水平更好地起作用。在 第一模式中，声换能器102是提供对预先声识别而言足够的简化电信号的 被重新分排任务的扬声器，特别是用于基于某种类型的语音能量分布来区 分语音唤醒命令。在第二模式中，所转换的声信号的部分已经被捕获并缓 存用于在关键字查找器106B中的关键字识别。可接着通过启动在稍微更高 的功率水平下更准确地记录的常规麦克风来更准确地捕获在这个第二模式 中的随后的语音。因此，所转换的声信号的稍后细节以高保真度被记录。 声换能器102在其大部分操作时间里以比第二模式需要低得多的功率来操 作的第一模式进行工作。常规麦克风只在第二模式中操作，优化第一模式 以减少在大部分操作时间期间的功率消耗。

因此，声换能器102优选地使用1）重新分排任务的扬声器和2）基于 多于一种模式来转换声压的常规麦克风的组合来实现。在涉及次声和超声 的某些实施例中，声换能器102也被设计成对在相应的频率范围内的声信 号作出响应。

在本发明的各种实施例中，缓冲器104合并在声传感器102或关键字 识别器106A内以暂时存储所转换的声信号的一部分。本领域技术人员知 道，缓冲器104在图1和2中可选地被示为独立的部件。

图3示出根据本发明中的各种实施例的将电子设备从睡眠模式唤醒的 示例性方法300。在步骤302，声信号被捕获并转换成电信号。在步骤304， 多个关键字中的至少一个在所转换的声信号的一部分中被检测到。在步骤 30，唤醒控制被产生以将电子设备的主机从睡眠模式激活。

为了进一步节约睡眠模式下的功率消耗，步骤304分成一个预备步骤 和一个高级关键字识别步骤。在步骤3042，语音能量分布在所转换的声信 号的该部分中首先被识别以对应于多个关键字中的至少一个。在步骤3044， 与语音能量分布相关联的所转换的声信号的该部分被缓存。在步骤3046， 关键字查找器被激活以检测在所转换的声信号的该部分中的多个关键字中 的至少一个。步骤3042被不断地实现来粗略地检测对应于关键字的语音能 量分布，而步骤3044和3046只在这样的语音能量分布被成功地识别出时 才实施。假定在步骤3046的准确的关键字识别通常是功耗大的，则基于单 独的识别步骤的这样的布置可有效地减小设备唤醒功能所需的总功率消 耗。

本领域技术人员知道电子设备100可以是桌上型计算机、膝上型计算 机、平板电脑、移动电话、电视机和合并睡眠模式并需要从睡眠模式启动 的很多其它设备。当移动设备被广泛应用在我们的日常生活中时，本发明 对方便地启动移动设备是特别有用的，同时在睡眠模式期间消耗有限数量 的电池能量。

虽然本发明容许各种修改和可选的形式，其特定的例子在附图中示出 并在本文中被详细地描述。然而，应理解，本发明不限于所公开的特定形 式，而相反，本发明涵盖落在所附权利要求的范围内的所有修改、等效和 可选形式。