用于移动设备的实时音频回声和背景噪声的减小

摘要

音频增强系统包括显示单元，所述显示单元配置为展示对应于遭受音频干扰的麦克风信号的波形。所述音频增强系统还包括干扰减小单元，所述干扰减小单元耦连到所述麦克风信号且配置为提供音频干扰的减小，其中减小的音频干扰由所述波形实时地指示。还提供了麦克风信号增强方法。

说明书

技术领域

本申请概括地说针对的是回声和背景噪声的消除，更具体地，针对的 是音频增强系统和麦克风信号增强方法。

背景技术

随着移动设备变得越来越流行，在诸如机场、户外街道和交通场合 （traffic situations）或例如餐馆等嘈杂的环境中越来越多地使用它们。声学 噪声抑制处理了由所述移动设备本身制造的本质上独立的信息音频信号的 背景噪声源，但是降低了这些独立的信息音频信号的信噪比，因此需要降 低或消除噪声。声学回声消除主要处理所述独立信息的因用户环境中的声 学反射或因极为解接近移动设备的扬声器和它的附随的麦克风而出现的独 立的信息音频信号的声学回声。

这些环境使得很难通过通信链路准确的听到或理解。因此，许多通信 系统越来越多地依赖计算机语音命令或音频识别来进行适当地操作。高水 平的背景声学干扰能造成这些类型的系统中的高出错率。相对于背景噪声 源或音频反射器（reflectors）移动的移动设备对这些环境中的适当的操作 提供了增加的复杂性。因此，增强的功能，尤其是移动设备的对这些环境 的增强的补偿功能将对本领域是有益的

发明内容

本公开的实施例提供了音频增强系统和麦克风增强方法。

在一个实施例中，所述音频增强系统包括显示单元，所述显示单元配 置为展示对应于遭受音频干扰的麦克风信号的波形。所述音频增强系统还 包括干扰减小单元，所述干扰减小单元耦连到所述麦克风信号且配置为提 供音频干扰的减小，其中减小的音频干扰由所述波形实时地指示。

在另一方面，所述麦克风增强方法的实施例包括显示对应于遭受音频 干扰的麦克风信号的波形，并提供所述麦克风信号的音频干扰的减小，其 中，减小的音频干扰由所述波形实时地指示。

前面已经概括了本公开的优选的和替代性特征，从而使本领域技术人 员可以更好的理解以下对本公开的详细描述。将在下文中描述本公开的形 成本公开的权利要求的主题的附加技术特征。本领域技术人员应当理解， 他们可以容易的用所公开的构思和特定的实施例作为设计或改造用于实施 本公开的相同的目的的其它结构的基础。

附图说明

现在结合附图引用以下说明，其中：

图1示出了根据本公开的原理所构建的部分通信布置的框图；

图2A、2B和2C示出了对应于如参照图1所论述的声学回声消除的波 形的实例;

图3A、3B和3C示出了集中在比图2A至2C稍迟的观测时间的波形 的另一个实例；

图4A和4B示出了根据本公开的原理所构建的采用移动设备和相关联 的分开的主机设备的通信系统的实施例的示意图；

图5A和5B示出了根据本公开的原理所构建的采用移动设备的通信系 统的另一实施例的示意图；和

图6示出了根据本公开的原理所实施的麦克风信号增强方法的流程图。

具体实施方式

本公开的实施例提供了改变、调整或调谐声学回声消除和背景噪声抑 制的图形化方法，所述方法在移动设备中可能是特别有益的。通常，采用 实时纠正或分析来增强音频质量相关问题，其中能量是变化的。

为了本公开的目的，如在回声消除或噪声抑制中所使用的术语“实时” 被定义为针对现有的或进行中的通信，体验所述视频质量中的改进的足够 短的时间。此外，移动设备被定义为具有显示器和使用用于音频信号的通 信的麦克风和扬声器的任意便携式电子单元。

图1示出了根据本公开的原理所构建的广泛地标示为100的部分通信 布置的框图。所述部分通信布置100包括扬声器105、麦克风110和音频 增强系统115。所述音频增强系统115包括干扰减小单元116，该干扰减小 单元116具有耦连到分析单元120的声学回声消除器117和音频背景噪声 抑制器118。所述音频增强系统115还包括数据记录存储器125和显示单 元130。声学回声消除器117、音频背景噪声抑制器118和分析单元120实 时提供并验证音频质量的增强。

通常，显示单元130配置为展示对应于遭受音频干扰的麦克风信号111 的波形。该音频干扰典型地由源自扬声器105的声学回声反馈和源自用户 现场环境的音频背景噪声组成。干扰减小单元116耦连到所述麦克风信号 111且可以耦连到输入扬声器信号106以提供所述音频干扰的减小，其中 减小的音频干扰由所述波形实时地指示。

在示出的实施例中，音频背景噪声抑制器118耦连到声学回声消除器 117并配置为在达到所述声学回声信号的预选的回声消除程度之后，实时 地减小背景噪声。通常所述处理框（回声消除和噪声抑制）的顺序取决于 算法设计选择。这里，所显示的处理顺序是示例性的，基于本公开的原理 任意处理顺序都是可接受的。

扬声器105提供正比于输入扬声器信号106的音频输出。来自扬声器 105的这个音频输出的意外的（unintended）部分作为声学回声反馈到麦克 风110，其中，它进一步作为麦克风信号111中的电输入被提供到声学回 声消除器117，用于声学回声信号的减小。在一个实施例中，声学回声消 除器117采用归一化最小均方差（NLMS）滤波器结构或算法来减小所述 噪声至可接受的或预选的回声消除程度。相应地，分析单元120可以提供 估算的回声脉冲响应指示。

此外，回声消除或音频抑制算法可以自适应地达到预选的音频干扰减 小程度。在一种情况下，输入扬声器信号106可以被用作到声学回声消除 器117的参考输入。在另一种情况下，回声消除算法可以包括适应的回声 延迟估算，以提供所述回声消除程度。或者，回声消除或视频背景噪声抑 制算法可以是用户指导的，以实现预选的消除或抑制度，其中，用户指导 的关注（AT）命令可以用于修改例如合适的参数。

采用数据记录存储器125来保留在回声消除和噪声压制期间的回声和 背景噪声数据以及用于以后的分析或测试（例如，回声或噪声算法测试） 的数据。所述回声和背景噪声数据可以对应于所记录的保留在数据记录存 储器125中的波形样图，用于附加的分析。所述附加的分析可以包括音频 文件的显示、回放或转换。

在示出的实施例中，通过声学回声消除器117达到所要求的或预选的 回声消除程度后，它的输出信号允许音频背景噪声抑制器118提供剩下的 背景噪声的噪声抑制。所述剩下的背景噪声典型地可以包括诸如咔擦声、 流行乐或其它类似的干扰噪声等能量变化的信号，以及其它可以与例如风、 飞机、火车、汽车或人群相关的环境噪声。通常，来自声学回声消除器117、 音频背景噪声抑制器118、分析单元120和数据记录存储器125的各自的 输入106、111和输出可用于在显示单元130上观测。

图2A、2B和2C示出了广泛地标示为200、210、220的对应于如参照 图1所论述的声学回声消除的波形的实例。这里标出了观测时间205，该 观测时间205可以对应于例如在声学回声消除器117中的初始回声消除滤 波器或算法设置。在图2A、2B和2C的实例中，该初始回声消除算法或滤 波器设置提供了不可接受的回声消除程度。

波形200对应于如可应用于图1的扬声器105的扬声器波形。波形210 包含两个分量波形。第一分量波形212对应于由扬声器105所指示的并反 馈到麦克风110从而提供输入111到声学回声消除器117的音频回声波形。 第一分量波形212指示从扬声器105耦连到麦克风110的回声是大量的。 此外，第一分量波形212还指示麦克风信号强度不足于造成第一分量波形 212的限幅（clipping），从而避免了不希望的信号失真。第一分量波形212 附加地指示所述麦克风信号强度是足够提供用于它的合适的处理。

第二分量波形214基于在回声消除观测时间205所提供的到它的输入 的声学回声信号，对应于声学回声消除器117的输出。如可以看到的，声 学回声消除器117的输出（即，第二分量波形214）指示占大比例的声学 回声能量仍然包含在声学回声消除器117的输出中。

波形220对应于得到的回声消除信号，如可以由图1的分析单元120 所提供的。这里，波形220对应于声学回声消除器117所采用的回声消除 滤波器或算法的系数快照（coefficients snapshot）。该波形220典型地提供 估算的回声脉冲响应。尽管没有具体地显示出，波形220也可以对应于声 学回声消除器117所采用的回声消除滤波器或算法的系数总和（coefficients  summation），波形220可以附加地指示输出仍然存在的声学回声能量的水 平。

波形220还指示在声学回声消除器117中所应用的回声消除算法消除 所述声学回声的程度如何。波形220指示所应用的回声消除算法或滤波器 没有有效地消除所述声学回声。

图3A、3B和3C示出了广泛地标示为300、310、320的波形的另一个 实例，该实例集中在比图2A至2C稍迟的观测时间。这里，观测时间305 对应用于声学回声消除器117中的更新的回声消除设置。这发生在在时间 t1对所述声学回声消除器中的回声消除滤波器设置或算法修改之后。这里， 该更新的回声消除滤波器或算法设置提供了可接受的回声消除程度。

图3A和3B的波形与图2A和2B中显示为波形200、210的波形是一 样的。在回声消除观测时间305，可以看到第一分量波形212指示应用于 声学回声消除器117的声学回声能量是像之前一样强的。

然而，表示声学回声消除器117的输出的改进的第二分量波形314指 示所述声学回声已经基本上消除（例如，在这个实例中，进一步分析指示 声学回声能量已经降低了80dB）。几个背景噪声尖峰（第一尖峰316和第 一尖峰318）是可见的且通过音频背景噪声抑制器118降低到了可接受的 水平。

波形320进一步指示声学回声消除器117中的所述更新的回声消除算 法消除所述声学回声的程度如何。波形320指示所应用的回声消除算法或 滤波器正有效地消除所述声学回声。这里所述滤波器系数快照显示了具有 指示所述声学回声能量有效去除的一个主峰325（不像对应的波形220）的 回声副本状（replica-like）形状。

图4A和4B示出了根据本公开的原理所构建的、广泛地标示为400、 450的、采用移动设备和相关联的分开的主机设备的通信系统的实施例的 示意图。通信系统400包括由网络420耦连到一起的第一和第二移动设备 410、415（第一和第二移动手机410、415）。通信系统400还包括通过数 据连接440耦连到第一移动手机410的分开的主机设备430（笔记本电脑 430）。

如所示的，通过网络420将到第二手机415的音频输入提供到第一手 机410，然后第一手机410可以提供相应的音频输出。第一手机410的音 频反射环境造成了该音频输出的声学回声，该声学回声反馈到它的麦克风。 如果以“扬声器”模式使用第一手机110，该音频回声反馈可能是尤其严 重的。如所示的，被传回的音频以及与第一手机410相关联的音频背景噪 声通过网络420发送到第二手机415，从而提供被传回的和背景噪声音频 干扰，导致了用于第二手机415的音频质量的降低。

在示出的实施例中，第一手机410不具有声学回声消除或音频背景噪 声抑制功能。使用笔记本电脑430以利用数据连接440为第一手机410提 供这些声学回声消除器和音频背景噪声抑制器（即，干扰减小单元）的功 能。此外，笔记本电脑430还提供了用于所述回声消除和背景噪声抑制以 及在它的电脑屏幕上显示它们的相关联的波形的分析单元功能。

在这个实例中，初始回声消除算法不足于降低音频回声到第二手机415 所要求的程度。波形440、442、444和448分别对应于图2A、2B和2C 所示的波形200、212、214和220，指示该不足的回声消除条件。

图4B对应于稍迟的观测时间，其中，如参照图3A、3B和3C所论述 的，更新的回声消除设置（例如，在所述声学回声消除器中的更新的回声 消除过滤器或算法设置）提供可接受的回声消除程度。这里，波形440、 442、464和468分别对应于图3A、3B和3C所示的波形200、212、314 和320，指示该可接受的回声消除程度。

在图4A和4B的实例中，笔记本电脑430使用数据连接440，以从第 一手机410接收必要的麦克风信号，用于回声消除和背景噪声抑制。相应 地，将回声消除器和背景噪声抑制器输出信号通过数据连接440从笔记本 电脑430提供到第一手机410，用于进一步的调节（conditioning）和传送 到第二手机415。

图5A和5B示出了根据本公开的原理所构建的、广泛地标示为500、 550的、采用移动设备的通信系统的实施例的示意图。通信系统500包括 由网络520耦连到一起的第一和第二移动设备510、510（第一和第二智能 手机510、515）。在这个实施例中，回声消除器和背景噪声抑制器（即， 干扰减小单元）和分析单元包含在第一智能手机510中。此外，使用它的 移动设备屏幕来显示与回声消除、背景噪声抑制和分析相关联的波形。

向前面一样，如所示的，通过网络520将到第二智能手机515的音频 输入提供到第一智能手机510，然后可第一智能手机510提供相应的音频 输出。第一智能手机510的音频反射环境造成了该音频输出的声学回声。 该声学回声反馈到它的麦克风造成了待通过网络520发送到第二手机515 的被传回的音频以及与第一手机510相关联的音频背景噪声，从而导致了 用于第二手机515的音频质量的降低。

如参照图4A所论述的，图5A示出了初始回声消除算法不足于降低音 频回声到第二手机515所要求的程度。波形540、542、544和548分别对 应于图2A、2B和2C所示的波形200、212、214和220，指示该不足的回 声消除条件。

图5B对应于稍迟的观测时间，其中，如参照图3A、3B和3C所论述 的，更新的回声消除设置（例如，在所述声学回声消除器中的更新的回声 消除过滤器或算法设置）提供可接受的回声消除程度。这里，波形540、 542、564和568分别对应于图3A、3B和3C所示的波形200、212、314 和320，指示该可接受的回声消除程度。

在图4A、4B、5A和5B示出的实施例中，回声消除、背景噪声抑制 和分析功能全部地包含在分开的主机设备或移动设备中。采用本公开的原 理的其它实施例可以在所述分开的主机设备和所述移动设备之间分布至少 部分这些功能。

图6示出了根据本公开的原理所实施的广泛地标示为600的麦克风信 号增强方法的实施例的流程图。方法600开始于步骤605，且在步骤610 中，显示对应于遭受音频干扰的麦克风信号的波形。在步骤615，提供了 所述麦克风信号的音频干扰的减小。此外，在步骤620，分析减小的音频 干扰以提供已经达到音频干扰的所要求的程度的指示。

通常，提供所述音频干扰的减小包括具有音频干扰的麦克风信号的声 学回声消除和音频背景噪声抑制。在一个实施例中，所述音频背景噪声抑 制耦连到所述声学回声消除，以在达到预选的回声消除程度之后，实时地 减小音频背景噪声。此外，分析可以使用归一化最小均方差（NLMS）系 数（例如，回声脉冲响应分析）。

控制回声消除或音频背景噪声抑制的算法可以自适应地达到预选的音 频干扰减小程度。或者，所述算法可以是用户指导的，以实现预选的音频 干扰减小制度。相应地，用户指导的关注（AT）命令可以用于修改所述算 法的参数。进一步，所述算法可以包括适应的回声延迟或噪声频谱估算， 或经估算的回声或噪声能量，以提供所述音频干扰减小程度。

在另一个实施例中，提供所述音频干扰的减小的至少一部分包含在移 动设备或分开的主机设备中。相应地，所述移动设备可以是移动手机、而 所述分开的主机设备可以是笔记本电脑。在又一个实施例中，对应于所述 麦克风信号的所记录的样图保留在数据记录存储器中，用于附加的分析。 相应地，所述附加的分析可以包括音频文件的显示、回放或转换。在进一 步的实施例中，麦克风信号强度水平由所述波形实时地指示。所述方法600 在步骤625结束。

虽然已经对本文所公开的方法进行描述并且参考按特定顺序所实施的 特定步骤加以示出，但是应该理解这些步骤可以合并、细分或重新排序以 形成等价的方法，而不脱离本公开的教导。因此，除非本文特别指示，步 骤的顺序或分组不是本公开的限制。

与本申请相关的本领域技术人员应该理解可以对所描述的实施例做出 其它和进一步的增加、删除、替代和修改。