首页> 中国专利> 用外部声音向车辆驾乘人员警告外部事件并掩蔽车内谈话

用外部声音向车辆驾乘人员警告外部事件并掩蔽车内谈话

摘要

一种音频处理系统可选择性地识别某些环境声音,并在车辆的车厢中回放这些声音或这些声音的表示。所述音频处理系统可过滤所述环境声音以识别与事件匹配的特定声音,所述事件例如弹跳球、啸叫的轮胎、脚步等。所述音频处理系统可接着为所述车辆中的驾乘人员提供音频警报。举例来说,所述系统可处理识别的声音(例如,放大和/或隔离所述声音),并使用扬声器来输出所述处理的声音至所述车辆内部。在另一个实施方案中,所述音频处理系统可将环境声音作为音频掩蔽声音使用,以用于在所述车辆中产生隐私区。所述音频处理系统可过滤所述环境声音以识别连续声音,接着输出所述连续声音以产生所述隐私区。

著录项

  • 公开/公告号CN104658548A

    专利类型发明专利

  • 公开/公告日2015-05-27

    原文格式PDF

  • 申请/专利权人 哈曼国际工业有限公司;

    申请/专利号CN201410676445.1

  • 发明设计人 S.马蒂;D.迪森索;A.朱内贾;

    申请日2014-11-21

  • 分类号G10L25/48(20130101);G10L21/0208(20130101);

  • 代理机构11105 北京市柳沈律师事务所;

  • 代理人李国华

  • 地址 美国康涅狄格州

  • 入库时间 2023-12-18 08:59:18

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-12-24

    授权

    授权

  • 2016-12-14

    实质审查的生效 IPC(主分类):G10L25/48 申请日:20141121

    实质审查的生效

  • 2015-05-27

    公开

    公开

说明书

背景技术

许多车辆制造商对其车辆进行设计,以使得环境噪声(例如,公路噪声)在达到车厢(也就是车辆的内部)之前被抑制。为了抑制或预防外部环境噪声达到车厢,车辆可使用被动技术(例如,噪声抑制材料和设计)和/或主动技术(例如,噪声消除系统、主动噪声控制等)。事实上,许多制造商宣传其车辆的安静搭乘,所述安静搭乘借助于使用降低车厢噪声的被动技术和/或主动技术提供。

然而,降低车厢噪声没有选择性。也就是说,被动技术或主动技术不加区别地减弱各种环境音。驾驶员或乘客可能想要听到的声音与驾乘人员不想听到的声音被同样程度地减弱。因此,通过减弱所有环境声音来降低车厢噪声可对驾乘人员的行驶体验具有不利影响。

发明内容

本公开的一个实施方案包括车载音频系统,所述系统包括配置用于感测车辆外部的环境噪声的音频检测器。所述系统还包括音频处理模块,所述模块配置用于从音频检测器接收表示环境噪声的一个或多个信号并过滤环境噪声以识别对应于环境噪声中至少一个声音的事件。另外,所述至少一个声音由事件产生。音频处理模块向车辆的驾乘人员提供与所述事件相关联的警报。

本公开的另一个实施方案包括一种用于处理车辆外部的环境噪声的方法。所述方法包括接收表示环境噪声的一个或多个信号以及过滤环境噪声以识别对应于环境噪声中至少一个声音的事件。另外,所述至少一个声音由事件产生。所述方法还包括修改至少一个声音的至少一个听觉特征,以提高车辆中的驾乘人员识别与至少一个声音相关联的事件的能力。接着在车辆内部中的扬声器上输出修改的声音。

本公开的另一个实施方案包括一种用于处理车辆外部环境噪声的计算机程序产品。所述计算机程序产品包括计算机可读程序代码,所述程序代码配置用于接收表示环境噪声的一个或多个信号并过滤环境噪声以识别对应于环境噪声中至少一个声音的事件。一旦确定警告模式被激活,程序代码则使用扬声器提供与事件相关联的警报。程序代码还过滤环境噪声以识别环境噪声中的连续声音并将连续声音处理成掩蔽声音。一旦确定掩蔽模式被激活,程序代码则使用扬声器提供掩蔽声音以在车辆内部中产生隐私区。

附图说明

图1例示具有音频处理系统以用于选择性地识别预定义环境噪声的车辆;

图2例示用于识别外部声音事件的系统;

图3为用于使用识别的声音来向车辆的驾乘人员警告外部事件的流程图;

图4为用于基于车辆的速度向车辆的驾乘人员警告外部事件的流程图;

图5为用于识别和提供连续声音至车辆的驾乘人员的流程图;

图6为用于提供警报和/或掩蔽声音至车辆的驾乘人员的流程图。

为有助于理解,已尽可能使用相同的参考数字来指代附图中通用的相同元件。可构想的是,一个实施方案中公开的元件可在无需特别指明的情况下有利地在另一个实施方案中使用。这里所指的附图不应理解成按比例绘制,除非特别注明。而且,为了清除地说明和解释,通常将附图简化并将细节或部件省略。附图和讨论用于解释下面讨论的原理,其中相同的标号表示相同的元件。

具体实施方式

尽管许多汽车制造商的目标是减少渗透到车辆内部的环境噪声或外部噪声的量,但是不加区别地减弱环境声音可能干扰车辆的驾乘人员所需要的体验。代之,本公开包括用于选择性地识别某些环境声音并在车辆的车厢中回放这些声音或这些声音的表示的技术。在一个实施方案中,车载音频处理系统可过滤环境声音以识别与事件匹配的特定外部声音,所述事件例如弹跳球、啸叫的轮胎、脚步等。所述音频处理系统可接着为所述车辆中的驾乘人员提供音频警报。举例来说,系统可处理识别的声音(例如,从其它环境声音中放大和/或隔离所述识别的声音),并使用扬声器输出处理的声音至车辆内部。在另一个实例中,音频处理系统可提供口语警报(例如,“一名儿童正在汽车右侧附近玩耍”)或音频警报(例如,哔哔声或警报器声)。以这种方式,音频处理系统可选择性地识别哪种环境声音与车辆的驾乘人员相关,并向驾乘人员提供音频警报。

在另一个实施方案中,所述音频处理系统可将环境声音作为音频掩蔽声音使用,以用于在所述车辆中产生隐私区。举例来说,当打电话时或当与另一名驾乘人员说话时,位于车辆后排的驾乘人员可能需要隐私。为防止驾驶员能够听到其它驾乘人员的谈话,音频处理系统可识别车辆周围的环境声音中的连续声音。“连续声音”为适合用于掩蔽目的的任何反复声音或一致声音。从环境声音中识别连续声音可比简单地产生人造白噪声或通过摇下车窗更好。举例来说,在驾乘人员(例如,驾驶员)靠近输出声音的说话者的情况下,白噪声可不起作用,且摇下车窗会将车厢暴露于外部天气。代之,音频处理系统可过滤环境声音以识别连续声音,所述连续声音例如风迎着汽车呼啸而过的声音、例如降雨的天气因素声音、发动机噪声、轮胎噪声、来自附近汽车的声音等,并在可防止一名驾乘人员能够听到另一名驾乘人员的谈话的水平和/或控制方向上输出连续声音。

图1例示具有音频处理系统以用于选择性地识别预定义环境声音的车辆100。如所示出,车辆100包括一个或多个音频检测器105(例如,麦克风、转换器等)和一个或多个扬声器110。如果使用多个音频检测器105,那么其可放置在车辆100上的不同位置处(例如,车辆的各侧、车辆下方、车辆的顶部、发动机中等)。尽管音频检测器105A和105B被示出位于车辆100的外表面上,但是这并非必要条件。在其它实施方案中,音频检测器105可凹入,以使得其不可见,例如位于发动机舱中或位于车门与车架之间。无论选择何种特定位置,音频检测器105可被布置用于检测源自车辆外部事件的环境声音。外部事件可为单个事件(例如,啸叫的刹车或叫喊)、周期性事件或间歇性事件(例如,脚步、人类谈话、弹跳球等)或连续事件(例如,雨、风、运行的发动机等)。另外,音频处理系统可检测车辆本身内部发生的事件。举例来说,音频检测器105可感测当车辆的发动机有问题或出现爆胎问题时产生的声音。这样,与事件相关联的一个声音(或多个声音)源自于事件或由事件产生,而不是反射的声信号(例如,当执行超声波测距时使用的信号),其中所述声信号在与信号检测的事件的位置不同的位置处产生。

音频处理系统可评估由音频检测器105检测的不同声音或噪声,以便识别与声音相关联的事件。与这些事件相关联的环境声音的非限制性实例包括人说话声(例如一组行人走近人行横道)、管制交通的警务人员或建筑工人给出指令、来自人行横道红绿灯的声信号(例如,哔哔声)、自行车或球发出的声音、天气事件(例如冰雹、雷电、风或雨)等。如这里所示出,音频检测器105A可检测弹跳球115的声音、童声120和脚步声125。这些声音115、120、125的每一个可具有不同特征,音频处理系统可将所述不同特征关联成特定事件。音频处理系统可评估声音频率、声音中的周期性模式,识别言语等,以便将声音115、120和125关联至各事件。以这种方式,音频处理系统分配特定事件至声音,例如声音115为弹跳球或声音125为脚步,和/或将声音归类为单个声音、周期性声音或连续声音。这样,与事件相关联的一个声音(或多个声音)源自于事件或由事件产生,而不是反射的声信号(例如,当执行超声波测距时使用的信号),其中所述声信号在与信号检测的事件的位置不同的位置处产生。

音频检测器105可放置在不同位置中,以便确定声音事件距离车辆100的方向。例如,音频检测器105A和105B两者可感测脚步125的声音。然而,因为音频检测器105B距离所述事件比音频检测器105A近,所以由检测器105B感测的声音可具有比检测器105A感测的声音更大的幅值。除此之外,由检测器105A感测的声音抵达可晚于由检测器105B感测的声音。这样,音频处理系统可确定发出脚步声的儿童(也就是声音事件)可能位于车辆100的右侧(相对于图1中示出的视图)。除了方向之外,声音感测系统可比较由音频检测器105的至少一个感测的声音,以估算从声音事件至车辆100的距离。举例来说,如果脚步声变得越来越响(也就是,检测的声音幅值增大),那么音频处理系统可确定声音事件正在接近车辆100。使用多个音频检测器105,音频处理系统可估算声音事件相对于车辆100的距离。也就是说,通过确定来自特定声音事件的声音何时抵达各音频检测器105,音频处理系统可识别检测器105与声音事件的距离。要做到这一点,音频处理系统可使用任何合适的声波测距技术。

处理或隔离各种环境声音之后,音频处理系统可识别一个或多个相关声音,也就是被认为与驾乘人员有关的声音。举例来说,音频处理系统可认为弹跳球115的声音与驾乘人员有关,而鸟的鸣叫声与驾乘人员无关。处理系统可接着使用扬声器110A和110B来提供对应于相关声音的音频输出。举例来说,音频处理系统可传输放大版本的弹跳球声音115,所述声音警告车辆的驾乘人员对球加以注意。在其它实施方案中,系统还可提供声音和/或从车辆100至声音事件的距离的方向指示。举例来说,系统可提供音频警报:一名儿童正在距离车辆驾驶员侧十英尺的位置玩耍。

在另一个实施方案中,音频处理系统可过滤环境声音以识别适合作为掩蔽声音的连续声音。举例来说,音频处理系统可识别车辆的轮胎在公路上摩擦的反复或一致的声音,所述音频处理系统在进行处理之后使用扬声器110回放处理的声音。音频处理系统可调整连续声音的幅值,以使得车辆100的一名驾乘人员(例如,驾驶员)无法听到车辆中另一名驾乘人员的谈话。以这种方式,可在车辆100中产生隐私区的系统可使用由音频检测器105感测的从环境声音识别的连续声音。除此之外,隐私区还可用于减轻对驾乘人员的干扰。举例来说,如果驾驶员不希望其它驾乘人员发出的声音影响其集中精力的能力,那么驾驶员可激活隐私区,所述隐私区建立无干扰区,所述无干扰区中由其它驾乘人员发出的声音被掩蔽声音淹没。

扬声器110可布置在车辆100中的任何位置,以使得车辆100中的驾乘人员听到其音频输出。因此,扬声器110对于驾乘人员可是可见的(例如,并入耳内扬声器、头戴式耳机,或安装在头枕、车顶、侧面板,或)或对于驾乘人员可不可见(例如,嵌入仪表板或座位中)。此外,音频处理系统可使用与车辆使用的音频系统(例如,收音机、CD播放器、DVD播放器等)相同的扬声器,这可降低实施音频处理系统的成本。在一个实施方案中,扬声器110被专门设计用于提供音频输出至驾乘人员中的一个(例如,驾驶员)。举例来说,如果音频处理系统使用扬声器110来提供对应于相关事件的处理声音,那么可布置扬声器110,以使得保证驾驶员听到这些声音,这样其便可以采取预防措施来防止妨害到车辆100、车辆内的驾乘人员和环境中的物体/人类。类似地,如果系统被配置用于基于检测的连续声音提供掩蔽声音,那么扬声器110可被布置用于为车辆100中的一个或多个驾乘人员形成隐私区。尽管如此,扬声器110还可为车辆中的其它驾乘人员提供音频警报或掩蔽声音。

扬声器110可在没有具体口语提示的情况下为驾乘人员提供方向信息。也就是说,如果事件发生在车辆100的后方,那么扬声器110可提供声音,以使得驾乘人员感知到声音来自于车辆的后方。要做到这一点,可以特定方式布置扬声器110和/或使用方向音频技术(例如,3D声音),以便当回放外部声音的处理版本时传达方向信息至驾乘人员。

当回放与事件相关联的声音时,音频处理模块还可向驾乘人员传达距离车辆的距离。举例来说,随着事件移动更靠近车辆,所述模块可提高正在回放的声音的音量。此外,音频处理模块可使用回放声音的音量来指示事件的重要性。也就是说,尽管与第一事件相关联的声音可比与第二事件相关联的声音响,但是音频处理模块可通过不回放来自第一事件的声音或通过对声音进行处理来人为强调第二事件,以使得当输出至车辆内部时第二事件的声音比第一事件的处理声音响。举例来说,第一事件可为狗在街道的另一侧吠叫,所述吠叫比自行车接近车辆后方(第二事件)的声音响。因为第二事件可具有比第一事件更高的重要性,例如自行车可能比狗更靠近车辆,所以音频处理模块可强调第二事件的声音,并不再强调第一事件的声音。为了给事件区分优先次序,音频处理模块可使用任意数目的因素,例如事件类型、事件距离车辆的距离、事件的方向、事件的移动等。

图2例示用于识别外部声音事件并提供对应音频输出的系统。车辆100包括计算装置205以及至少一个扬声器110和音频检测器105。计算装置205包括处理器210,所述处理器可为能够执行本公开中描述的功能的通用处理器或专门处理元件(例如,ASIC)。计算装置205还包括存储器215,所述存储器可包括依电性存储器、非依电性存储器或两者。实例包括RAM、瞬时存储器、硬盘、高速缓冲存储器等。存储器215包括音频处理模块220,所述模块可接收由音频检测器105感测的环境声音,并基于识别的声音使用扬声器110为车辆100中的驾乘人员提供音频输出。音频处理模块220可为软件应用程序、固件、硬件或它们的某种组合。下面将描述可由音频处理模块220执行的逻辑。

计算装置205还包括网络适配器225,所述适配器允许计算装置205来与网络通讯。举例来说,网络适配器225可允许计算装置205使用WiFi、蜂窝网络或连接(Bluetooth是Bluetooth技术联盟所拥有的商标)连接至互联网。如下面将更为详细地讨论,音频处理模块220可使用网络适配器来接收更新或当为车辆中的驾乘人员提供警报或掩蔽声音时提供对其它音频处理模块220有用的信息。

为驾乘人员提供音频警报

图3为用于使用识别的声音来向车辆的驾乘人员警告事件的方法300的流程图。在这个情况中,音频处理模块评估由音频检测器接收的环境声音,以确定是否应该为车辆的驾乘人员提供音频警报。在方框305处,安装在车辆上的音频检测器(例如,麦克风)检测来自车辆周围环境的环境声音。这种原始数据可包括不同环境声音的混合。为了识别感兴趣的声音或相关声音,在方框310处,音频处理模块过滤检测的音频以隔离和评估各种声音。举例来说,环境声音可包括由天气条件(例如,降雨)造成的声音、发动机噪声、儿童在汽车附近玩耍的声音、动物的声音等。音频处理模块可评估环境声音以过滤和识别环境声音中的各种声音的特定声音。总体来说,音频处理模块可执行听觉场景识别,以便将特定事件与环境声音中的特定声音相关联。

在一个实施方案中,音频处理系统可确定一种声音是否匹配预定义的声音。举例来说,音频处理模块可评估环境声音的特征(频率、幅值、反复模式等),以识别音频中的特定声音。篮球在路面上弹跳可产生一种声音,所述声音具有与鸟鸣叫或自行车移动不同的特征。通过识别环境声音中的声音特征,音频处理模块可接着将这些特征与已知事件的特征进行比较。如果检测的特征匹配已知的特征,那么音频处理模块可识别与不同声音相关联的事件,例如弹跳的篮球、鸣叫的鸟、移动的自行车等。

在一个实施方案中,事件的预定义特征可存储在图2中讨论的计算装置的存储器中。举例来说,所述特征可存储在数据库或表格中,接着音频处理模块访问所述数据库或表格来将检测的特征与存储在存储器中的特征进行匹配。如果所述特征类似于存储在存储器中的特征,那么它们匹配。为了确定检测的声音的特征是否类似于已知声音的特征,音频处理模块可使用一个或多个阈值或匹配标准。也就是说,因为篮球弹跳的声音将根据街道的特定表面、球中的空气量、球的材料等变化,所以音频处理系统可使用阈值或匹配标准来确定测量的特征是否足够接近预定义的特征,以断言检测的声音确实为篮球弹跳声音。阈值和标准可为事件的特定频谱或分析时间频率域中能量峰值的音频指纹识别标准。在另一个实例中,音频处理模块可包括用于检测人声的语音识别应用软件。如果应用软件识别出人声(例如,儿童笑声),那么音频处理模块可将相关联声音视为相关事件。

以这种方式,音频处理模块可评估环境声音中的各种声音,以识别声源(也就是与所述声音相关联的事件)。在一个实施方案中,音频处理模块可分配权重至识别的事件。也就是说,音频处理模块可为预定义事件的每一个分配重要性,以使得可对其进行比较。例如,弹跳球可具有与儿童靠近车辆不同的权重。可预定义与事件相关联的权重。然而,在一个实施方案中,音频处理模块可基于事件相对于车辆的距离或方向改变权重。最初,与儿童相关联的权重可高于与弹跳球相关联的权重;然而,如果儿童距离车辆的距离比球远得多,那么音频处理系统可变更权重,以使得与儿童相关联的权重现在小于与球相关联的权重。类似地,音频处理系统可知晓车辆的当前或未来方向。如果车辆正在倒退或反向行驶,那么音频处理模块可增加与发生在车辆后方的事件相关联的权重。在一个实施方案中,音频处理模块使用权重来选择在车辆内部回放哪种声音。然而,因为音频处理模块可回放与多个识别事件相关联的声音的每一个,所以这并非必要条件。

音频处理模块还可使用权重来确定事件是否与车辆的驾乘人员有关。例如,音频处理模块可识别来自环境声音的事件,但是事件可远离车辆(例如,远处的警报器)。因此,音频处理模块可基于其估算的与车辆相距的距离调整与事件相关联的权重。如果权重不符合预定义的最小值,那么音频处理模块可认为所述事件与驾乘人员无关,且不会将其相关联声音作为警报回放。然而,音频处理模块可继续重新评估环境声音并随着声源移动更靠近车辆(例如,警报器声接近车辆)增加与事件相关联的权重。

当然,可在不衡量权重的情况下使用上述因素,以便给环境声音区分优先次序。也就是说,音频处理模块可单独或结合事件类型、事件距离车辆的距离、事件接近车辆的速度、事件相对于车辆的方向等进行考虑。基于这些因素的任意一个或它们的组合,音频处理模块可选择性地确定事件中的哪些与车辆的驾乘人员有关。举例来说,音频处理模块可将所述因素作为阈值使用,而不是衡量事件的权重。只要事件满足与所述因素的一个或多个相关联的阈值(例如,事件(1)在距离车辆十英尺范围内且(2)正在移动更靠近车辆),那么处理模块可认为事件与车辆的驾乘人员有关。

在方框315处,音频处理模块在车辆内部播放声音之前修改与识别的事件相关联的声音的特征。举例来说,音频处理系统可隔离或整理与事件相关联的声音。这样做可更好地允许驾乘人员快速识别事件(也就是,知晓事件)并选择适当反应,例如刹车、转弯、减速、寻找事件的方向等。音频处理系统可处理声音,以提高声音的音调、放大声音、变更频率分布等。举例来说,音频处理系统可识别附近汽车当前正在车辆的盲点中行驶,并将车辆的声音放大以便警告汽车的驾驶员。在另一个实例中,音频处理系统可识别汽车附近的人的脚步,但是因为人可在碎石或草地上行走,所以脚步声被消音。这样,音频处理模块可提高声音的音调来使得与脚步相关联的声音更明显且驾乘人员可识别。

在一个实施方案中,音频处理系统可选择表示事件的统一、预确定声音。也就是说,音频处理系统可使用相同声音来表示事件,即使事件的声音不同。如前面所解释,由弹跳球发出的声音因任意数目的因素而不同。然而,不考虑弹跳球发出的实际声音,音频处理系统可使用预先录制的与弹跳球相关联的声音,而不是输送从外部实际检测出的篮球声音。这样做为驾乘人员提供附加的可预测性,因为与事件相关联的声音始终相同。

在方框320处,音频处理系统使用如图1和图2中示出的扬声器回放选择的音频(例如,实际事件或预确定声音的处理音频)至车辆内部作为对驾乘人员的警报。在一个实施方案中,音频处理模块可从扬声器输出声音,以便事件相关于车辆的原始方向被保存(例如,左侧、右侧、前方、后方、上部等)。举例来说,扬声器可建立环绕声环境,音频处理模块可使用扬声器在所述环境中回放选择的音频,以对应于由音频检测器在车辆外部感测的原始声音的方向。使用扬声器来设置环绕声环境是非必要的,然而可用于传达事件相对于驾乘人员的方向。代之,音频处理模块可使用3D音频效果,所述3D音频效果仅使用一个或两个扬声器为驾乘人员传达方向。然而,在其它实施方案中,当向驾乘人员回放音频警报时,音频处理模块可不传达事件的方向。举例来说,音频处理模块可在不试图向驾乘人员传达事件方向的情况下使用与内置收音机或媒体播放器相关联的扬声器来为汽车中的驾乘人员播放选择的音频。

在一个实施方案中,系统检测外部环境并以不同程度在车辆车厢内部再现所述环境。也就是说,可相关于频率、幅值、位置等再现外部环境的选择方面(例如,选择的声音)。此外,音频处理模块可过滤出与相关事件无关的声音(例如,公路噪声或无法识别的声音)。或者,可完全再现外部声音,进而在车厢内产生外部声音环境的3D扩展。

在一个实施方案中,音频处理模块可在从驾乘人员接收某种指示后回放处理的声音。举例来说,在驾驶员表示其想要变更车道(例如一旦驾驶员打开方向灯)之前,模块可不会输出在车辆盲点中的汽车的声音。

当然,音频处理模块可播放即使车辆的门是打开的或车窗被摇下驾乘人员仍将无法听到的声音。举例来说,音频处理模块可检测即使未被车辆抑制但仍过于减弱,人耳无法检测的声音。在这种情况下,音频处理模块可处理声音(例如,放大柔和声音),并使用扬声器播放人为放大的声音。以这种方式,音频处理模块可针对事件向驾乘人员发出报警,所述事件即使其车窗被摇下或车门打开驾乘人员仍将无法另外检测出。

尽管上述实施方案将警报描述成听觉警报,但是并不限于这种形式。代之,警报可仅为可在车辆的平视显示器或车窗的一个上显示的视觉警报,所述视觉警报向驾乘人员发出事件警报或描述事件。

在一个实施方案中,音频处理模块可能够学习,以便提高其识别相关事件的能力。在一个实例中,当识别出事件但事件被错误归类或事件与驾乘人员无关时,或如果发生与驾乘人员有关的事件但是音频处理模块错过所述事件,那么车辆的驾乘人员可提供反馈至音频处理模块。作为对正式情形的举例,音频处理模块可将狗反复吠叫的声音误判成弹跳球的声音,并回放狗吠叫的声音至车辆内部。驾乘人员可使用语音指令或用户界面元件(按钮或触摸屏)来告知音频处理模块所述声音并非弹跳球声音。作为响应,音频处理模块可细化与识别弹跳球事件相关联的阈值或匹配标准,以排除反复的狗吠叫声。或者,音频处理模块可已经正确识别与感测的声音相关联的事件,但是所述事件可与驾乘人员无关,例如模块可已经检测出警笛,但是驾乘人员可能不希望在汽车内回放这些声音。因此,驾乘人员可告知音频处理模块这些事件是不相关的。

作为当音频处理模块可能已经错过事件时的实例,驾乘人员可注意到自行车接近车辆,但是驾乘人员可能听不到通过扬声器回放的声音。这样,驾乘人员可使用用户界面来通知音频处理模块由音频检测器感测的前一个声音应已回放至车辆内部。作为响应,音频处理模块可在接收用户的指令之前立即保存由音频检测器感测出的声音(例如,音频的最后10秒)。所述模块可使用录制的声音来在存储器中定义新事件并定义阈值,以用于将保存的声音与由音频检测器感测的未来声音进行匹配。

音频处理模块还可通过直接或间接与其它音频处理模块通讯来扩展相关声音的数目。举例来说,音频处理模块可在车辆遇到事故之前立即检测出声音。尽管音频处理模块可尚未能够将声音与任何已知事件相关联,但是模块可基于声音与事故有关的假设添加事件。使用网络适配器,音频处理模块可将关于事件的信息上传至其它音频处理模块,或上传至中央存储库,其它音频处理模块可从所述中央存储库下载事件。以这种方式,音频处理模块可学习其它模块的经验并扩展其相关事件列表。

在一个实施方案中,车辆可包括提供汽车周围环境的影像的摄像机。在这种情况下,计算装置可包括视频处理模块,所述视频处理模块与音频处理模块同步工作以识别环境中发生的相关事件。通过结合听觉信息和视觉信息,系统可能够更为准确地识别相关事件。除此之外,视觉信息可提供对事件相对于车辆的更为确定的方向和/或距离估算。

图4为用于基于车辆的速度针对外部事件向车辆的驾乘人员报警的流程图。在方法400中,音频处理模块可基于车辆的速度改变输出音频。方法400在图3的方框310之后开始,音频处理模块在这里已通过过滤与车辆周围环境相关联的环境声音识别出至少一个事件。在方框405处,音频处理模块确定车辆的当前速度或速率是否超出预定义的阈值。举例来说,音频处理模块可以通信方式耦合至监控车辆速度的计算装置。音频处理模块可询问这个计算装置来确定车辆速度是否高于或低于阈值。

如果速度高于阈值,那么方法400可继续进行至方框315并如上面所解释继续,例如音频处理模块回放识别声音的处理版本或表示事件的预确定声音。然而,如果车辆速度不高于阈值,那么在方框410处,音频处理模块可识别事件的口语描述。也就是说,音频处理模块可使用言语输出事件的描述,例如“有人正在接近汽车”或“汽车附近有正在移动的自行车”,而不是回放与事件相关联的声音。可设置速度阈值,以使得音频处理模块有时间来提供事件的描述,且驾乘人员有时间做出反应。举例来说,如果车辆正在以小于15英里每小时的速度行驶,那么音频处理模块可使用事件的口语描述来警告驾乘人员。在这些低速度下,驾乘人员可有足够的时间来处理口语描述并对事件做出反应。

在一个实施方案中,除速度以外,系统还可使用其它参数来确定是否提供事件的口语描述或提供事件的实际声音。举例来说,音频处理模块可考虑事件的速度(例如,事件接近车辆的速率)、估算的影响时间或事件距离车辆的距离。音频处理模块可将这些参数的组合(以及车辆的速度)与预定义的阈值进行比较或仅比较这些参数的一个或多个,以确定何时为驾乘人员提供口语描述或实际声音。

口语描述还可包括事件相对于车辆的距离或方向。此外,可结合距离或方向估算以识别事件相对于车辆的3D点或位置。方向可相对于汽车的一侧(例如,“有一辆汽车位于驾驶员侧盲点中”或“有一辆应急车辆正从后方接近”)或为基本方向(“有一辆自行车正从北面接近”)。除此之外,所述描述可包括与事件相关联的速度,例如“一名儿童正朝向车辆奔跑”或“一辆自行车正以10英里每小时的速度从汽车的乘客侧接近”。口语描述还可包括建议的动作或指令,例如“一名儿童正在接近,请立刻踩刹车!”或“请勿变更车道”。

在一个实施方案中,口语描述的长度可根据车辆的速度或与事件相关联的速度而变更。举例来说,因为车辆接近阈值,所以音频处理模块可缩短描述以便为用户提供更多时间做出反应。举例来说,当车辆静止且弹跳球接近车辆时,音频处理模块可说出“一只球正在朝向车辆的左侧滚动”。当车辆处于方框405的速度阈值附近时,模块可仅说出“一只球正在快速接近”。类似地,如果事件正在快速接近车辆,那么音频处理模块还可缩短音频描述,以为驾乘人员提供更多时间做出反应。在方框415处,音频处理模块使用上述扬声器输出识别的事件描述。

尽管方法400例示如果速度高于阈值那么回放与事件相关联的声音,以及如果速度低于阈值那么输出口语描述,但是在其它实施方案中,音频处理模块可执行两者。举例来说,尽管车辆的速度超出阈值,但是当回放处理的音频时音频处理模块可提供事件的简要描述;或如果车辆的速度低于阈值,那么提供处理版本的声音。这样做可允许驾乘人员更早地识别事件,且因此比仅使用技术中的一种来警告驾乘人员的情况更快地做出反应。

为驾乘人员提供掩蔽声音

图5为用于识别和提供连续声音至车辆的驾乘人员的流程图。总体来说,方法500从环境声音识别连续声音,以提供车辆中的隐私区(或无干扰区)。连续声音可用于在无需白噪声发生器或以物理方式将内部各部分隔开的声音抑制屏障的情况下建立隐私区。当从靠近驾乘人员的扬声器输出白噪声时(例如,在驾乘人员的几英尺范围内),用于阻隔其它噪声的白噪声的有效性被降低。因此,在例如车辆内部的较小空间中,白噪声发生器来建立隐私区可不如例如使用自然发生的连续声音有效。另一方面,声音抑制屏障价格昂贵,且对于许多车辆来说成本过高。因此,使用从周围环境识别的连续声音可更为有效,且给车辆增加的成本比先前讨论的用于建立隐私区的方法要少。这样做还可优于摇下车窗,因为摇下车窗会将车厢暴露于外部天气。

在方框505处,音频检测器感测车辆周围环境中的各种声音。这种原始数据可包括不同环境声音的混合。在方框510处,音频处理模块可过滤检测的音频,以隔离和评估各种声音。举例来说,环境声音可包括由天气条件(例如,降雨)造成的声音、发动机噪声、儿童在汽车附近玩耍的声音、动物的声音等。音频处理模块可评估环境声音以过滤和识别环境声音中的各种声音的特定声音。具体来说,在这个实施方案中,音频处理模块可在环境声音中搜索适合于作为掩蔽声音的连续声音。音频处理模块可接着使用连续声音来建立一个或多个隐私区。

连续声音可为适合于掩蔽其它声音的任何反复和/或恒定声音。连续声音的实例包括降雨、来自轮胎和发动机的噪声、风等。音频处理模块可监控环境声音,以识别具有指示声音为连续声音的属性的特定声音,所述属性例如反复模式、恒定幅值或信号中的频率类型。如果声音匹配这些预定义的属性,那么模块可将声音归类为连续声音。

在方框515处,音频处理系统可通过例如识别声音的片段、变更幅值、提高声音的音调等来处理连续声音。举例来说,音频处理系统可增加声音中某些频率的幅值但是降低其它频率,以形成更为均匀的连续声音,这使得声音作为掩蔽声音更为理想。在一个实施方案中,音频处理系统可包括车辆内部中的麦克风,所述麦克风用于感测由驾乘人员发出的声音。音频处理模块可接着响应于由驾乘人员发出的声音变更幅值。举例来说,音频处理模块可使用内部麦克风来处理连续声音,以使得所述连续声音将掩蔽其它驾乘人员的谈话。因此,尽管车辆后方的驾乘人员正在进行大声谈话,但音频处理模块可自适应地处理连续声音,以掩蔽来自车辆前方的驾乘人员的谈话。

在方框520处,音频处理模块回放处理的、连续声音。在一个实施方案中,音频处理模块可连续地感测来自环境的连续声音,对声音进行处理并将处理的声音输出作为掩蔽声音。或者,模块可识别连续声音的片段(例如,一个十秒片段),接着模块循环(重复)所述片段来产生掩蔽声音。因此,如果连续声音停止,例如雨停或车辆停止,那么音频处理模块可仍然提供掩蔽声音。然而,连续地提供环境声音(而不是重复声音循环)的一个优势在于:掩蔽声音越匹配环境中的声音,也就是说掩蔽声音对于驾乘人员来说越逼真,则认知负荷将越低。另外,试图使用环境声音可使得掩蔽效果非常微妙,以至于驾驶员无法知晓其存在。如果掩蔽声音事实上来自于真实环境,也就是与驾乘人员在环境中看到的内容(例如,风中伴着雨水击打汽车)同步,那么这更可能实现。此外,使用环境声音可混合来自环境的连续声音来产生掩蔽声音,也就是雨声以及湿滑公路上的轮胎声音,它们使得掩蔽声音更为真实。

在一个实施方案中,音频处理模块可耦合至接收来自驾乘人员的口头指令或身体指令的用户界面,以用于激活隐私区。举例来说,当需要隐私时,后座中的驾乘人员可例如使用按钮或语音指令激活掩蔽声音,这在后座中建立隐私区。当然,相同的掩蔽声音可用于在汽车中产生多个隐私区。举例来说,前排乘客座位也可为隐私区,驾驶员和后排的任何乘客无法听到前排乘客的谈话(且反之亦然)。

可对汽车内部的扬声器进行任何形式的布置,以便通过输出掩蔽声音产生一个或多个隐私区。举例来说,扬声器可定位在头枕中;可以是驾乘人员佩戴的耳机;或围绕将从谈话中排除的驾乘人员。此外,可对音频处理系统进行预配置或定制,以在车辆中产生适合于特定扬声器布置的掩蔽声音。举例来说,如果扬声器位于驾驶员的前方,那么音频处理系统可需要输出比当扬声器位于驾驶员与后排座位乘客之间(例如,在驾驶员的头枕中)时的情况更响的掩蔽声音,以为后排座位上的乘客产生隐私区。以这种方式,音频处理模块可配置用于针对任意数目的不同声音扬声器布置产生隐私区。

图6为用于提供警报和/或掩蔽声音至车辆的驾乘人员的流程图。总体来说,方法600例示音频处理模块的实例,所述音频处理模块可向用户提供外部事件警报,或提供掩蔽声音以在车辆中产生一个或多个隐私区。在方框605处,安装在车辆上的音频检测器(例如,麦克风)检测来自车辆周围环境的环境声音。这种原始数据可包括不同环境声音的混合。为了识别感兴趣的声音或相关声音,在方框610和方框615处,音频处理模块过滤检测的音频来隔离和评估各种声音。举例来说,环境声音可包括由天气条件(例如,降雨)造成的声音、发动机噪声、儿童在汽车附近玩耍的声音、动物的声音等。音频处理模块可评估环境声音,以过滤和识别环境中的各种声音的特定声音。

在方框610处,音频处理模块可执行听觉场景识别,以便将特定事件与环境声音中的特定声音相关联。在一个实施方案中,音频处理系统可确定一种声音是否匹配预定义的声音。如图3中所讨论,音频处理模块可评估环境声音的特征(频率、幅值、反复模式等),以识别音频中的特定声音。如果检测的特征匹配已知的特征,那么音频处理模块可识别与不同声音相关联的事件,例如弹跳的篮球、鸣叫的鸟、移动的自行车等。

一旦识别出外部事件,在方框620处,音频处理模块确定模块当前是否设置成警告模式,也就是警告模式是否激活。所述模式可由驾乘人员设置或基于预定义的标准设置。举例来说,驾乘人员可将其车窗摇下且不需要(或希望)音频处理模块回放识别出的环境声音。在其它实施方案中,音频处理模块可自动激活或解活警告模式,也就是无需用户输入。举例来说,音频处理系统可包括汽车内部的音频检测器,所述音频检测器确定有多少环境声音被车辆减弱。如果驾乘人员仍然可检测出环境声音(在不进行任何回放的情况下),那么音频处理模块可解活其警告模式。举例来说,应急车辆的警报器可足够响亮以穿透至车辆内部,且因此,音频处理模块可自动解活其警告模式。

如果警告模式不激活,那么方法600可返回方框605来继续过滤环境声音。然而,如果警告模式激活,那么方法600可前进至例如图4的方框405,以确定如何向驾乘人员提供警报。为简洁起见,这里将不再重复图4的细节。总体来说,方法600可与用于向车辆的驾乘人员提供警报的任何技术组合。

在方框615处,音频处理模块过滤检测的音频,以识别适合作为掩蔽声音的连续声音。如上所述,连续声音可为适合于掩蔽其它声音的任何反复和/或恒定声音。连续声音的实例包括降雨、来自轮胎和发动机的噪声、风等。音频处理模块可监控环境声音,以识别具有指示声音为连续声音的属性的特定声音,所述属性例如反复模式、恒定幅值、频率类型等。如果声音匹配这些预定义的属性,那么模块可将声音归类为连续声音。音频处理模块可接着使用连续声音来建立一个或多个隐私区。

在方框625处,音频处理模块可确定当前是否处于掩蔽模式。如果音频处理模块的掩蔽模式不激跃,那么方法600可返回方框605来继续过滤环境声音。然而,如果掩蔽模式激活,那么音频处理模块基于识别出的连续声音向驾乘人员提供掩蔽声音。举例来说,方法600可前进至图5的方框515,在这里如上面所讨论对连续声音进行处理并回放给驾乘人员。

方法600例示音频处理模块可同时处于警告模式和掩蔽模式两者,也就是模块可使用车辆中的扬声器并联提供警告声音和掩蔽声音。因此,音频处理模块可过滤环境声音,以识别外部事件以及连续声音。当然,检测出的声音可为连续声音和外部事件指示两者。举例来说,在洲际公路上时,由处于车辆盲点的汽车发出的声音可作为产生警报以及掩蔽声音的依据。此外,警告声音和掩蔽声音可预定用于车辆中的相同驾乘人员或不同驾乘人员。举例来说,音频处理模块可将最靠近驾驶员的扬声器用于提供警报,但使用其它扬声器来使用掩蔽声音在乘客周围建立隐私区。

在另一个实施方案中,警告模式和掩蔽模式可相互排斥,因为在任何既定时间,音频处理模块可仅处于两种模式中的一种,而不是两者。在这种情况下,可改变方法600,以使得音频处理模块基于其当前模式在如方框610中所示出的过滤环境声音以识别外部事件与如方框615中示出的过滤音频以识别连续声音之间选择性地选取。

已呈现各种实施方案的描述以用于说明目的,但并非意在详列或限于公开的实施方案。在不背离所描述实施方案的范围和精神的情况下,许多修改和变化对于本领域普通技术人员来说将是明显的。

本实施方案的各方面可实施为系统、方法或计算机程序产品。因此,本公开的各方面可采用以下形式:完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或结合了软件与硬件方面的实施方案,所述实施方案在本文中一般都可称为“电路”、“模块”或“系统”。另外,本公开的各方面可采用实施于一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质具有在其上实施的计算机可读程序代码。

可利用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或前述介质的任何合适组合。计算机可读存储介质的更具体实例(非详尽列表)将包括以下介质:具有一个或多个导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程序只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述介质的任何合适组合。在本文档的语境中,计算机可读存储介质可以是可含有或存储供指令执行系统、设备或装置使用或与其联用的程序的任何有形介质。

计算机可读信号介质可包括传播数据信号,所述传播数据信号中实施有计算机可读程序代码,例如实施于基带中或实施为载波的一部分。这种传播信号可采用多种形式的任一种,包括但不限于电磁形式、光学形式或所述形式的任何合适组合。计算机可读信号介质可为任何计算机可读介质,所述计算机可读介质并非计算机可读存储介质且可传达、传播或传送程序供指令执行系统、设备或装置使用或与其联用。

在计算机可读介质上实施的程序代码可以使用任何适当的介质来传输,所述介质包括但不限于无线、有线线路、光纤电缆、RF等或前述介质的任何合适组合。

用于进行本公开各方面的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写,所述编程语言包括面向对象的编程语言,如Java、Smalltalk、C++等,以及常规程序性编程语言,如“C”编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行,部分地在用户的计算机上执行,作为独立的软件包执行,部分地在用户的计算机上且部分地在远程计算机上执行,或完全在远程计算机或服务器上执行。在后一种场景中,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可以连接到外部计算机(例如,使用互联网服务提供商通过互联网进行连接)。

参照根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或方框图来描述本公开的各方面。应理解,流程图图解和/或方框图的每一个方框以及流程图图解和/或方框图的方框组合可以通过计算机程序指令来实施。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以便产生一种机器,以使得通过计算机或其它可编程数据处理设备的处理器执行的指令建立用于实施在流程图和/或方框图方框中规定的功能/操作的手段。

这些计算机程序指令还可以存储在例如可以引导计算机、其它可编程数据处理设备或其它装置以特定方式运作的非临时性计算机可读介质中,以使得存储在计算机可读介质中的指令产生包括指令的制品,所述指令实施在流程图和/或一个或多个方框图方框中规定的功能/操作。

计算机程序指令还可以加载至计算机、其它可编程数据处理设备或其它装置上,以引起将在计算机、其它可编程设备或其它装置上执行的一系列操作步骤,从而产生计算机实施的过程,以使得在计算机或其它可编程设备上执行的指令提供用于实施在流程图和/或一个或多个方框图方框中规定的功能/操作的过程。

本公开的实施方案可通过云计算基础架构提供至最终用户。云计算总体上涉及提供可扩展计算资源作为经由网络的服务。更正式地来说,云计算可定义成在计算资源与其底层技术架构(例如,服务器、存储器、网络)之间提供抽象概念的计算能力,从而允许对可在需要最少管理工作或服务提供商互动的情况下快速分配和发布的可配置计算资源共享区的便捷、按需网络访问。因此,云计算允许用户访问“云端”的虚拟计算资源(例如,存储器、数据、应用程序且甚至是完全虚拟化的计算系统),而不考虑用于提供计算资源的底层物理系统(或这些系统的位置)。

通常来说,云计算资源以按次付费使用为基础提供至用户,且仅对实际使用的计算资源(例如,用户消耗的存储空间量或被用户实体化的虚拟化系统的数目)向用户收费。用户可在任何地方通过互联网随时访问设置在云中的资源的任何一种。在本公开的语境中,用户可访问云中可用的其它处理模块或新相关事件或连续声音(例如,由其它音频处理模块添加的事件或声音)或相关数据。

附图中的流程图和方框图示出根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实行方案的体系结构、功能性和操作。在这个方面,流程图或方框图中的每个方框可以表示代码的模块、区段或部分,所述代码包括用于实施所指定的一个或多个逻辑功能的一个或多个可执行指令。还应当指出的是,在一些替代实行方案中,方框中提到的功能可以不按附图中提到的顺序出现。举例来说,连续展示的两个方框实际上可以大体上同时执行,或者这些方框有时可以按相反的顺序执行,这取决于所涉及的功能性。还应当指出的是,方框图和/或流程图图解的每个方框以及方框图和/或流程图图解中的方框的组合可以由执行规定的功能或操作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实施。

尽管前述内容针对本公开的实施方案,但是可在不背离其基本范围的情况下设计出本公开的其它和更多实施方案,且所述基本范围由以上权利要求确定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号