用于增强听力装置的环境音频信号的方法、系统和听力装置

摘要

本发明涉及一种用于增强听力装置的音频信号的方法，包括以下步骤：‑使用听力装置的麦克风来接收源自收听听力装置的用户的环境的环境音频信号，‑借助于处理单元通过抑制噪声和/或放大音频数据来处理环境音频信号以增强环境音频信号，‑借助于扬声器将增强音频信号输出至收听听力装置的用户，其特征在于，处理单元被布置在通信网络中，远离听力装置，其中处理单元被配置为接收来自听力装置的麦克风的环境音频信号，并经由通信网络将增强音频信号重新发送至听力装置的扬声器。

说明书

技术领域

本发明涉及一种用于增强听力装置的音频信号的方法，包括以下步骤：

-使用听力装置的麦克风来接收源自收听听力装置的用户的环境的环境音频信号，

-借助于处理单元通过抑制噪声和/或放大音频数据来处理环境音频信号以增强环境音频信号，以及

-通过扬声器将增强音频信号输出至收听听力装置的用户。

背景技术

WO 2018/083570 A1公开了一种智能助听器，其包括彼此可操作地连接的麦克风、智能电话和耳机，其中麦克风被配置用于接收、记录环境音频数据并将其传输到智能电话。智能电话被配置为对从麦克风接收到的音频数据进行噪声抑制和数据放大以生成增强音频数据并将其传输到耳机。耳机被配置为接收和输出增强音频数据。

但是，根据上述现有技术的装置的问题在于，为了改善用户的声音感知而对音频信号进行处理需要相当大量的处理能力。该处理通常由用户的听力装置所包括的处理器(CPU)或处理单元执行。实际上，这导致电池寿命显著降低、听力装置过于复杂、高成本以及尤其是高CPU负载。

此外，当用户携带助听器等以将环境音频信号处理为与用户的最佳声音感知相匹配的信号时，由于助听器在用户耳朵内或耳朵上的额外重量，用户的舒适度相对低。此外，携带听力装置/助听器常常导致用户受歧视。

此外，US 2015/0199977 A1公开了一种用于改善音频信号的语音清晰度(speechintelligibility)的系统，该系统包括助听器、服务器以及诸如智能电话或平板电脑的外部装置。助听器具有短程收发器。服务器可通过互联网访问，并具有将语音转换为文本的语音识别引擎。外部装置具有用于与所述助听器进行通信的短程收发器、用于经由互联网向所述服务器提供无线数据连接的第二收发器、用于处理旨在用于助听器的语音流的部件以及适于基于文本串合成语音的文本转语音引擎。还公开了一种改善音频信号的语音清晰度的方法。但是，助听器自身的数字处理器(例如，US 2015/0199977 A1的图1中的附图标记35)或外部装置(诸如平板电脑和智能电话)执行改善音频信号，例如补偿听力损失的操作，如[0010]、[0040]、[0046]段中公开的那样，需要大量的“本地”处理能力、电池使用并且要求用户随身携带或移动周围的许多装置。US 2010/0040248 A1公开了用于使用一个或更多个协处理器装置来增强助听装置的技术。但是，大部分信号处理仍在助听装置自身上进行。

US 2013/0343584 A1公开了一种助听装置，其中通过利用外部装置的资源来辅助或改善一个或更多个功能。同样，对于US 2013/0343584 A1的公开，助听装置自身仍可能进行大量处理。

发明内容

因此，本发明的目的是提供一种用于增强听力装置的音频信号以改善用户的声音感知的方法，其中用户侧的听力装置的电池寿命增加，其中可以简化用户装置，并且重要的是，可以防止高CPU负载。

本发明的另一目的是提供一种相对舒适的听力装置。

本发明的另一目的是提供一种听力装置，其可以被设计为使得当用户佩戴该听力装置时不太可能被看到，从而使用户不太可能受到歧视。

对此，根据本发明的方法的特征在于，处理单元被布置在通信网络中，远离听力装置，其中该处理单元被配置为接收来自听力装置的麦克风的环境音频信号并经由通信网络将增强音频信号重新发送至听力装置的扬声器。

由于在助听器自身上没有发生将环境音频信号处理为增强音频信号(大部分)的情况，因此大大减少了用户侧所需的处理能力的量。处理不再必须由布置在用户位置处的听力装置或类似装置(诸如智能电话)所包括的处理器(CPU)或处理单元执行。

由此电池寿命显着增加、听力装置相对简单、低成本以及低CPU负载。

环境音频信号可以是在收听听力装置的用户附近形成的任何类型的音频信号，诸如人说话、风、车辆经过等，也可以是源自用户附近的用户设备的音频，诸如智能电话、笔记本电脑或电视。

在本专利申请的上下文中，应注意，“听力装置”应广义地解释为能够改善听力的装置，而不仅仅是常规的入耳式助听器。

此外，要使用的噪声抑制和音频数据放大算法对于本领域技术人员是已知的，诸如从上述现有技术文献WO 2018/083570 A1中获知的。表述“远离听力装置”是指处理不会在助听器自身上进行，也不会由用户握持或携带的另一装置进行或不在用户握持或携带的另一装置上进行。尽管可以设想例如在用户所在房间中布置的服务器上进行处理，但是优选地，处理单元例如被布置在因特网服务器上或在云计算网络中的服务器上。

一个实施方式涉及前述方法，其中通信网络被配置为具有小于50ms的延时(latency)。

一个实施方式涉及前述方法，其中通信网络被配置为具有小于30ms的延时。

一个实施方式涉及前述方法，其中通信网络被配置为具有小于10ms的延时。

一个实施方式涉及前述方法，其中通信网络被配置为具有1-5ms的延时。

上述延时的优点在于，可以在听力装置与处理单元之间进行“实时”通信，其中用户体验到“实时”为具有50ms或更小的延时。延时是指“响应时间”，即包经由通信网络从听力装置行进到处理单元、再从处理单元行进到听力装置所耗用的时间。特别地，发明人发现，可以经由例如5G网络实现小于50ms的延时。

一个实施方式涉及前述方法，其中听力装置连接到通信单元，该通信单元具有发送器和接收器，发送器用于在通信网络中将来自听力装置的麦克风的环境音频信号无线发送至处理单元，接收器用于在通信网络中从处理单元无线地接收增强音频信号。这可以例如经由Wi-Fi或蓝牙连接来实现，可能是通过靠近用户的Wi-Fi或蓝牙发送器或接收器来实现。

一个实施方式涉及前述方法，其中通信网络包括另一处理单元，以进一步处理增强音频信号来与用户的最佳听力简档相匹配，诸如本申请人在荷兰专利申请NL 2020909中公开的(该申请的内容通过引用结合到本申请中)。

这样，可以将环境音频信号直接传送到另一处理单元，其中对其进行处理以使环境音频信号与所存储的最佳听力简档相匹配。可替代地，环境音频信号首先被处理单元处理以通过抑制噪声和/或放大音频数据来增强音频信号，然后被进一步处理以与用户的最佳听力简档相匹配。

本发明的另一方面涉及一种用于增强听力装置的音频信号的系统，其包括：

-听力装置所包括的麦克风，用于接收源自收听听力装置的用户的环境的环境音频信号，

-用于借助于通过抑制噪声和/或放大音频数据来增强环境音频信号以处理环境音频信号的处理单元，

-扬声器，诸如耳机，被配置为将增强音频信号输出至收听听力装置的用户，

其特征在于，处理单元被布置在通信网络中，远离听力装置，其中，处理单元被配置为接收来自听力装置的麦克风的环境音频信号，并经由通信网络将增强音频信号重新发送至听力装置的扬声器。

一个实施方式涉及一种系统，其中听力装置连接到通信单元，该通信单元具有发送器和接收器，发送器用于在通信网络中将来自听力装置的麦克风的环境音频信号无线地发送至处理单元，接收器用于在通信网络中从处理单元无线地接收增强音频信号。

一个实施方式涉及一种系统，其中通信单元的接收器和发送器被配置为收发器，该收发器相比于具有单独的发送器和接收器的通信单元更紧凑。

一个实施方式涉及一种系统，其中听力装置包括通信单元，使得听力装置是完全独立的。

一个实施方式涉及一种系统，其中通信网络被配置为具有小于50ms、更优选地小于30ms、甚至更优选地小于10ms，最优选地1-5ms的延时。

本发明的另一方面涉及一种用于前述方法或系统中的听力装置，其包括：

-麦克风，用于接收源自收听听力装置的用户的环境的环境音频信号，

-扬声器，被配置为向收听听力装置的用户输出增强音频信号，

-通信单元，其具有发送器和接收器，发送器用于在通信网络中将来自听力装置的麦克风的环境音频信号无线发送到处理单元，接收器用于在通信网络中从处理单元无线地接收增强音频信号，其中处理单元被布置在通信网络中，远离听力装置，其中处理单元被配置用于通过抑制噪声和/或放大音频数据来处理环境音频信号以增强环境音频信号。

附图说明

在下文中将参考根据本发明的方法的示例性实施方式并参考附图来说明本发明。

其中：

图1示出了根据本发明的系统的一个示例性实施方式；以及

图2示出了根据本发明的系统的一个示例性实施方式。

具体实施方式

图1公开了根据本发明的系统的一个示例性实施方式。该系统包括与处理单元3进行通信的听力装置2，其中处理单元3位于服务器4处。服务器4与听力装置2相距一定距离，其中服务器4经由诸如电信网络的通信网络14或诸如互联网的公共通信网络而与听力装置2进行通信。

听力装置2包括：第一和第二麦克风11、11'，第一和第二扬声器9、9'，数字模拟转换器10以及通信单元1。通信单元1包括发送器8和接收器5。

例如，听力装置2是用户设备，诸如智能电话或用户佩戴的听力装置，其包括SIM卡或具有类似功能的专用芯片(未示出)，其中听力装置通过电信网络(诸如5G电信网络)连接至服务器4。

通信单元1的发送器8与听力装置2的两个麦克风11、11′通信连接。利用两个麦克风11、11'，可以识别环境音频信号来自的方向。通信单元1的接收器5与听力装置2的扬声器9、9'通信连接。听力装置2也可以包括单个麦克风11和/或单个扬声器9。

发送器8和接收器5通信地连接到处理单元3。处理单元3被配置为处理经由发送器8从麦克风11、11'接收的音频信号，并且用于经由布置在听力装置2处的通信单元1的接收器5将经处理的音频信号传送到扬声器9、9'。

数字模拟转换器被配置为将数字信号转换为模拟信号，反之亦然。在这种情况下，数字模拟转换器被配置为：在环境音频信号经由发送器8无线地传送到处理单元3之前，将由麦克风11、11'接收到的模拟环境音频信号转换为数字信号。在处理单元3将环境音频信号处理成增强音频信号之后，将该增强音频信号传递到接收器5。然后，数字模拟转换器将数字增强音频信号转换成模拟音频信号，其后增强音频信号经由扬声器9被传递给用户12。

在图1中，示出了扬声器9、9'被布置在听力装置2处。然而，如图2所示，听力装置2的扬声器9、9'也可以被布置成距听力装置2一定(短)距离。接收器5无线连接到扬声器单元16的另一个接收器15，扬声器单元16包括扬声器9和数字模拟转换器(未示出)。接收器5与另一接收器15之间的连接可以例如经由蓝牙或近场通信(NFC)来布置。例如，预期具有麦克风11的听力装置2被布置在用户12附近的房间中的桌子上，其中用户12佩戴扬声器单元16。

扬声器单元16可以是头戴式收话器或头戴式耳机，诸如例如Apple airpods。扬声器单元16也可以包括单个或两个耳机9、9'，它们可以至少部分地分别插入用户的一只或两只耳朵中。

在一个实施方式中，扬声器9简单地经由导线而与通信单元1连接。在该实施方式中，不需要包括数字模拟转换器和另外的接收器15的扬声器单元16，而可以将扬声器9以距听力装置2有一(相对短)距离而设置。

图2公开了用于增强听力装置2的音频信号的系统13的示例性实施方式。听力装置2的麦克风11被配置为接收源自收听听力装置2(即携带听力装置2)的用户12的环境的环境音频信号。环境音频信号借助于处理单元3进行处理，以通过抑制噪声和/或放大音频数据来增强环境音频信号。增强音频信号借助于扬声器9被输出到收听听力装置2的用户12。处理单元3被布置在通信网络14中，(物理上)远离听力装置2。处理单元3被配置为从听力装置2的麦克风11接收环境音频信号，并经由通信网络14将增强音频信号重新发送至听力装置2的扬声器9。通信网络14优选地被配置为具有小于50ms、更优选地小于30ms、甚至更优选小于10ms、最优选地1-5ms的延时。若干因素在减少通信网络14的延时中起作用，诸如通信网络14的带宽、通信网络14的负载、竞争比(contention ratio，潜在的最大需求与实际带宽之比)、与本地交换的距离、流量限制、服务器的负载、网络路由以及招致的路由延迟的数量和大小。再者，预见到网络中节点的数量影响通信网络的延时，其中节点(例如路由器)越多，由于路由延迟(delay)导致的延时增加越多，如技术人员所知的那样。

应注意，少量的最终处理可以在例如助听器2自身上进行。然而，增强音频信号本质上将由布置在通信网络14中的处理单元3几乎全部地(诸如90-100％)或者全部地(即100％)生成/处理，使得没有音频增强处理或仅最少的音频增强处理和/或最终处理需要在本地(例如在听力装置2自身上)进行处理。

在本发明范围内可以使用许多音频增强技术来抑制噪声和/或放大音频数据，例如但不限于主动降低/消除噪声、风噪降低、脉冲噪声降低、遮挡降低(occlusionreduction)、反馈控制、声音平滑、语音增强和/或聚焦、装置的双耳连接、T设置(T-setting)、FM兼容性、数字信号处理、多通道处理、方向操纵、声音选择、基于位置或环境的自动设置控制、用户限定的多个存储器、运动检测、频率压缩、以及定向语音增强和音频/视频(a/v)同步。还可以想到增强音乐元素的技术和算法：节奏、动力学、旋律、和声、形式、音色和质感。

通过a/v同步，特别是对于在影片期间的嘴唇同步，发现当音频馈送领先视频馈送不超过100ms和音频滞后于视频不超过25ms时，因此当相对于视频馈送的音频延迟时间在-100ms和+25ms之间时，通常无法检测到音频和视频之间的偏差。当音频延迟时间在-125ms至+45ms之间时，通常可以检测到该偏差。而且，认为在-185ms至+90ms之间的音频延迟时间是不可接受的。遵循上述内容，发明人发现，对于使用本发明而通常不可检测的a/v同步，应当提供具有至少50ms的延时的连接，发现通过使用5G网络可以实现它们。可以对其他音频增强技术进行类似的估计。

听力装置2包括通信单元1，该通信单元1具有发送器8和接收器5，发送器8用于在通信网络14中将来自听力装置2的麦克风11的环境音频信号(无线地)发送到处理单元3，接收器5用于在通信网络14中从处理单元3(无线地)接收增强音频信号。优选地，通信单元1物理地包含在听力装置2中或由听力装置2包含。

处理单元3与包括数据库7的存储单元6进行通信。存储单元6还可以布置在服务器4处。优选地，数据库包含与相应的多个用户12相关联的多个最佳听力简档(hearingprofile)。每个最佳听力简档包括用户12的听力范围的信息。通过访问数据库7，在将环境音频信号处理为增强音频信号时，可以考虑用户12的最佳听力简档。这样，噪声抑制和/或放大可以基于(尽管是部分地)用户12的最佳听力简档。例如，当多个用户12在(同时)参加在线会议(诸如Skype、Goto或Zoom会议)时，这可以是非常有利的，每个用户12都能够听到最佳声音，而不必本地处理音频信号来产生增强音频信号。

根据本发明的一种用于增强听力装置2的音频信号的方法包括以下步骤：

-经由听力装置2的麦克风11接收源自收听听力装置2的用户12的环境的环境音频信号；

-经由通信单元1的发送器8将环境音频信号传送到布置在服务器4处的处理单元3，其中处理单元3被布置成与通信单元1相距一定距离并且经由通信网络14连接到该通信单元1；

-由处理单元3处理环境音频信号，从而通过抑制噪声和/或放大音频数据来形成增强的环境音频信号；

-由处理单元3经由通信单元1的接收器5将增强音频信号传递到扬声器9；以及

-经由扬声器9将增强音频信号输出到收听听力装置2的用户12。

应该清楚的是，以上描述旨在说明本发明的优选实施方式的操作，而不是为了减小本发明的保护范围。基于上面的描述，技术人员可以在本发明的发明构思和保护范围内想到许多实施方式。

附图标记列表

1.通信单元

2.听力装置

3.处理单元

4.服务器

5.接收器

6.存储单元

7.数据库

8.发送器

9.扬声器/耳机

10.(数字模拟)转换器

11.麦克风

12.用户

13.系统

14.通信网络

15.另一接收器

16.扬声器单元