用于减小基于换位器的虚拟低音系统中的延迟的系统及方法

摘要

虚拟低音处理系统中的延迟减小系统对音频信号的低频分量执行谐波换位以生成表示音频信号的谐波的换位数据。该系统使用大于2的基本换位因子，并且响应于由使用非对称分析窗口和合成窗口的正向变换段和逆向变换段确定的频域值来生成谐波。该系统通过具有滤波器系数截断的奈奎斯特滤波器的分析滤波器组将虚拟低音信号与经延时的宽带音频信号进行组合。当与音频信号组合时，虚拟低音信号可以滞后经延时的宽带音频信号以进一步减小由谐波换位引起的延迟。该虚拟低音输入信号可以直接从前面的混合滤波器组段的CQMF分析滤波器组被路由，以避免与奈奎斯特滤波器组相关联的延时。

说明书

相关申请的交叉引用

本申请要求于2012年10月15日提交的美国临时专利申请No. 13/652,023的优先权，其通过引用以全部内容合并到本文中。

技术领域

一种或更多种实施方式一般地涉及基于变换的音频信号处理，并且更 具体地涉及减小基于换位器的虚拟低音合成系统中的延迟。

背景技术

低音合成指的是向信号的低频范围添加分量以增强所感知的低音。在 这些方法之中，超低音合成技术创建低于信号的现有分音的低频分量，以 扩展和提高存在于对象音频内容中的最低频率范围。另一种方法使用虚拟 音高算法，该虚拟音高算法从听不见的低音范围(例如，通过小扬声器播 放的低音高的低音)生成听得见的谐波，因此使谐波以及最终还使音高听 得见以改善低音响应。

虚拟低音合成是虚拟音高方法，其提高当在不能物理地再现低端低音 频率的小扬声器上播放音频时音频中的低音内容的感知水平。该方法基于 以下“消失的基频”心理声学观察：即使当基频和一次谐波自身消失时， 人类听觉系统仍能够根据高次谐波推断出低音调。基本的功能性方法是对 存在于音频中的低音频率进行分析并且生成有助于感知消失的较低频率 的听得见的高次谐波。虚拟低音的主要特征是：其通过对低于具有小扬声 器的装置的低频滚降(例如，低于150Hz)的频率的高次谐波进行合成来 增强在所述装置上的感知低音响应。在能量调整之后，使用多个换位因子 (谐波)将听不见的信号分量换位至较高的听得见的频率。虚拟低音合成 还可以增大耳机回放或全频段(full-range)扬声器上的回放的感知低音。 图1A示出了具有频率分量的听不见的范围10以及高于听不见的范围的 频率分量的听得见的范围的音频信号的频率幅度谱。听不见的范围10内 的频率分量的谐波换位可以生成听得见的范围的部分11中的经换位的频 率分量，其可以增强回放期间音频信号的低音内容的感知水平。这样的谐 波换位可以包括对输入音频信号的每个相关的频率分量应用多个换位因 子来生成该分量的多个谐波。

在利用传统虚拟低音系统的某些音频处理系统中，与频率换位功能相 关联的延时或延迟对于某些应用而言会太大。例如，延迟是1025个采样 的数字音频处理系统可以使用添加另外的3200个采样的延时的传统虚拟 低音系统。假设采样频率(f_s)为48kHz，则这可以导致总延时超过88 毫秒。该延迟量通常是有问题的，并且对于游戏和电信应用而言甚至是禁 止的，其中，大约100毫秒的延迟开始在听得见的信号延时方面变得明显。

在传统虚拟低音系统中使用的传统换位器系统对于时间至频率变换 和频率至时间变换的分析段和合成段分别使用对称的时域窗口。图1B示 出了如现有技术中已知的与在传统虚拟低音系统中使用的对称窗口相关 联的延时。图1B图形化地示出了由二阶换位器即生成二阶谐波的换位器 所强加的延时。如时间曲线100中所示，假定分析窗口的时间步幅S_A， 格式上对称的分析窗口之一的中心被选择为时间零基准，以及可以从分析 段102中的时间t₀添加新输入的采样104。时间曲线110示出了换位器的 时间拉伸对偶性，其中，t₀被拉伸至合成段112中的2·t₀。

对于图1B中示出的示例处理，总的分析/合成链延时D_ts可以在下面 的等式1中如下被表达，其中，L是换位器窗口大小，S_A是分析时间步幅 或跳距：

D_ts＝L/2+2·(L/2-S_A)＝3·L/2-2·S_A   (等式1)

在基于HQMF(混合正交镜像滤波器)组的音频处理系统中，至 CQMF(复数正交镜像滤波器)分析段的输入信号以及来自CQMF合成 段的输出信号通常均具有相同的采样频率f_s，其中，f_s通常被设置为 44.1kHz或48kHz。由于系统通常处理仅来自64通道CQMF组的第一 CQMF信号，所以对于虚拟低音处理的输入信号采样速率可以是f_s/64。 应当注意，也可以使用除了64通道以外的CQMF大小。由于使用因子2 基本换位因子的组合换位功能，所以来自传统虚拟低音处理系统的经换位 的输出的采样频率为2·f_s/64，产生因子2带宽扩展。在组合的换位器中， 基本换位因子是其中源变换频率段(或频带)按照一对一的关系被映射至 目标变换频率段(或频带)的因子，即，在源至目标频率段映射中不涉及 插值或抽取。基本换位因子还控制分析窗口的时间步幅与合成窗口的时间 步幅之间的关系。更特别地，合成时间步幅等于分析时间步幅乘以基本换 位因子。对于L＝64并且S_A＝4的情况而言，来自基于64通道CQMF的 系统的输出采样中的延时变成：

D_ts＝{3·L/2-2·S_A}·64/2＝2816个采样  (等式2)

除了该延时以外，还添加来自两个虚拟低音输出CQMF子带信号的 奈奎斯特(Nyquist)滤波器组分析段处理的延时。该延时可以是大约384 个采样，从而针对该示例现有技术传统虚拟低音处理系统，给出了 2816+384＝3200个采样的总延时。

针对由传统虚拟低音系统强加的延迟的一个解决方案是如通过使用 替选部件替代谐波换位器来改变实际的处理电路系统如谐波发生器。然 而，这潜在地给系统增加了大量成本和复杂度，而且还负面地影响音频品 质。

背景技术部分中论述的主题不应当仅因为在背景技术部分中被提到 就被认为是现有技术。类似地，背景技术部分中提到的或与背景技术部分 的主题相关联的问题不应当被认为是现有技术中先前已经认识到的问题。 背景技术部分中的主题仅仅表示不同的方法，这些不同的方法本身也可以 是发明。

发明内容

实施方式包括虚拟低音处理系统中的延迟减小系统，其对音频信号的 低频分量执行谐波换位以生成表示谐波的换位数据。谐波换位处理使用大 于2的基本换位因子，并且响应于由使用非对称分析窗口和合成窗口的变 换段和逆变换段确定的频域值来生成谐波。通过使用包括截断原型滤波器 的奈奎斯特分析滤波器组将虚拟低音信号与经延时的音频信号进行组合 来生成增强的音频信号。当与音频信号组合时，可以允许虚拟低音信号滞 后经延时的音频信号限定时间段以进一步减小由谐波换位处理引起的延 迟。

实施方式包括通过对输入音频信号的低频分量执行谐波换位来生成 表示谐波的换位数据来减小虚拟低音生成系统中的延迟的方法，其中，谐 波换位使用大于2的整数值的基本换位因子。所述方法响应于由时间至频 率域变换段和后续逆向的频率至时间域变换段通过对时间至频率域变换 和逆向的频率至时间域变换使用非对称分析窗口和合成窗口所确定的频 域值来生成谐波。输入音频信号是子带CQMF(复数值正交镜像滤波器) 信号，并且可以对输入音频信号的采样进行预处理以生成表示低频分量的 临界采样的音频。

在一种实施方式中，所述方法通过分析滤波器组或变换来处理输入音 频信号以根据低频分量提供一组分析子带信号或频率段，使用基本换位因 子B和换位因子T来计算一组合成子带信号或频率段，并且通过合成滤 波器组或变换来处理分析子带信号或频率段以根据所述一组合成子带信 号来生成高频分量。这表示进行换位的标准方式，即，在包括变换频率段 映射的非线性处理之前执行正向FFT变换，然后执行逆FFT变换。所述 方法还可以包括：响应于换位数据生成虚拟低音信号，并且通过对虚拟低 音音频输出信号应用一个或更多个分析滤波器组将虚拟低音信号与输入 音频信号进行组合来生成增强的音频信号，其中，分析滤波器组包括截断 原型滤波器，其使限定数量的滤波器系数被去除。所述方法又可以包括虚 拟低音信号相对于输入音频信号的预定时间段的滞后，通过将虚拟低音信 号与被延时了与虚拟低音系统隐含的处理延时相比更短的预定时间段的 输入音频信号组合，来生成包括与延时的输入子带采样组合的时间滞后虚 拟低音处理的子带采样的增强的音频信号。

根据一些实施方式，基本换位因子将频域中的输入音频信号扩展到与 基本换位因子的值相称的程度以产生经换位的音频信号，并且该基本换位 因子可以是4与16之间的偶整数值。在一种实施方式中，对换位器CQMF 输出子带进行操作的分析滤波器组包括8通道奈奎斯特滤波器组和4通道 奈奎斯特滤波器组，并且限定数量的去除的原型滤波器系数包括6个系 数。在又一种实施方式中，输入CQMF信号直接从前面的CQMF分析滤 波器组通道0输出端被路由，因此将后续的奈奎斯特滤波器组段旁路，并 且因此避免了相关的延时。

所述方法的实施方式还可以包括通过以限定的采样频率(使用分析时 间步幅)生成加窗零填充采样来对输入音频信号执行频域过采样变换以生 成低频分量。由于虚拟低音信号可以被允许滞后宽带输入音频信号上至 20ms而不存在增强的音频信号的明显的恶化，所以当将虚拟低音信号与 延时的输入音频信号组合时，预定时间段可以是选自0个采样至1000个 采样的范围的值。在一种实施方式中，非对称分析窗口和合成窗口被配置 成使得分析窗口的较长部分朝向过去输入采样被拉伸，并且使得合成窗口 的较长部分朝向未来输出采样被拉伸。

实施方式还涉及被配置成实现上述方法中的至少一些方法的系统或 设备元件。

附图说明

在下面的附图中，相同的附图标记用于指代相同的要素。尽管下面的 图描绘了各种示例，但是一个或更多个实现不限于图中所描绘的示例。

图1A示出了已知的虚拟低音处理系统中的频率分量从听不见的频率 范围至听得见的频率范围的换位。

图1B示出了现有技术中已知的与在传统虚拟低音系统中使用的对称 窗口相关联的延时。

图2是根据实施方式的实现延迟减小处理的虚拟低音处理系统的概 括框图。

图3A示出了根据实施方式的基于HQMF的系统中的预处理混合滤 波器组段。

图3B示出了根据实施方式的虚拟低音处理系统的先前的奈奎斯特合 成滤波器组段。

图3C是根据实施方式的图2中示出的虚拟低音处理系统的更详细的 图。

图4是根据实施方式的由虚拟低音延迟降低处理及系统利用的主要 功能部件的框图。

图5A是示出了根据实施方式的与使用基本换位因子的不同阶的虚拟 低音延迟减小系统的第一跳距相关联的延时的表格。

图5B是示出了根据实施方式的与使用基本换位因子的不同阶的虚拟 低音延迟减小系统的第二跳距相关联的延时的表格。

图5C是与某些传统对称窗口相比的非对称窗口的时间响应的示例 图，以及图5D是与某些传统对称窗口相比的非对称窗口的频率响应的示 例图。

图6示出了根据实施方式的非对称窗口的使用以及由B阶基本换位 器强加的相关联的延时。

图7A是示出了根据实施方式的使用非对称变换窗口和基本换位因子 的不同阶的虚拟低音延迟减小系统的第一跳距的总延迟值的表格。

图7B是示出了根据实施方式的使用非对称变换窗口和基本换位因子 的不同阶的虚拟低音延迟减小系统的第二跳距的总延迟值的表格。

图8是示出了根据实施方式的包括虚拟低音生成系统和延迟减小系 统的音频处理系统的框图。

具体实施方式

描述了用于减小基于换位器的虚拟低音系统中的延迟和算法延时的 系统及方法的实施方式。这样的系统及方法利用更高阶基本换位因子、低 延迟非对称变换窗口、截断奈奎斯特原型滤波器、相对于原始音频信号的 时间滞后的虚拟低音信号以及在先前的混合滤波器组段中的被旁路的奈 奎斯特分析滤波器组。

贯穿包括权利要求书在内的本公开内容，“对”信号或数据执行操作 (例如，对信号或数据进行滤波，缩放，变换或施加增益)的表达用于在 广义上表示对信号或数据、或对信号或数据的已处理版本(例如，在对信 号执行操作之前已经经历了初步滤波或预处理的信号的版本)直接执行操 作。表达“换位器”用于在广义上表示对于部分或整个可用输入信号谱执 行实数值或复数值输入信号的音高移位(pitch-shifting)或时间拉伸的算 法单元或装置。表达“换位器”、“谐波换位器”、“相位声码器”、“高频生 成器”或“谐波生成器”能够可互换地被使用。表达“系统”用于在广义 上表示装置、系统或子系统。例如，实现解码器的子系统可以被称为解码 器系统，以及包括这样的子系统的系统(例如，响应于多个输入生成X 个输出信号的系统，其中子系统生成M个输入，并且其他X－M个输入 从外部源接收)也可以被称为解码器系统。术语“处理器”用于在广义上 表示可编程成或以其他方式可配置成(例如，使用软件或固件)对数据(例 如，音频或视频或其他图像数据)执行操作的系统或装置。处理器的示例 包括现场可编程门阵列(或其他可配置集成电路或芯片组)、被编程成和/ 或以其他方式被配置成对音频或其他声音数据执行流水线式处理的数字 信号处理器、可编程的通用处理器或计算机、以及可编程的微处理器或芯 片或者芯片组。表达“音频处理器”和“音频处理单元”可互换地被使用 且在广义上用于表示被配置成对音频数据进行处理的系统。音频处理单元 的示例包括但不限于编码器(例如，代码转换器)、解码器、声码器、编 解码器、预处理系统、后处理系统和比特流处理系统(有时被称为比特流 处理工具)。

实施方式涉及用于减小虚拟低音延时而无需对现有虚拟低音处理部 件如虚拟低音处理系统中使用的谐波换位器进行实质改变的系统及方法。 可以结合音频编解码器(例如，解码器)中的谐波生成器(换位器)来使 用虚拟低音延迟减小系统及方法的各个方面。还可以结合其他换位器或相 位声码器系统例如用于音频信号的一般的时间拉伸或音高移位的传统相 位声码器来使用虚拟低音延迟减小系统及方法的各个方面。

一般地如图1A中所示，使用谐波换位的虚拟低音生成方法包括频率 分量从听不见的频率范围至听得见的频率范围的换位以改善低音内容在 受限的回放装备中例如通过不能物理地再现消失的较低频率的小扬声器 的回放。虚拟低音延迟减小系统及方法的实施方式改进虚拟低音生成方 法，该虚拟低音生成方法对音频信号的低频分量执行谐波换位以生成表示 预期在回放期间听得见的谐波的经换位的数据，响应于经换位的数据生成 虚拟低音信号，并且通过将虚拟低音信号与(经延时的)输入音频信号组 合来生成增强的音频信号。通常，在增强的音频信号通过不能物理上再现 低频分量的一个或更多个扬声器的回放期间，增强的音频信号提供低音内 容的提高了的感知水平。

通过虚拟低音生成方法执行的谐波换位利用使用每个低频分量的二 阶换位器和至少一个更高阶换位器(通常，三阶换位器和四阶换位器，以 及可选地，至少一个另外的更高阶换位器)的组合换位来生成谐波，使得 响应于由普通的时间至频率域变换段(例如，通过对从单个时间至频率域 变换得到的频率系数执行相位倍增或相位的其他操作)确定的频域值来生 成所有谐波，在上述普通的时间至频率域变换段之后进行普通的频率至时 间域变换(实际上，上述普通的频率至时间域变换被分成两个较小的变换 以适应CQMF框架的子带的带宽和采样频率)。

图2是根据实施方式的实现一些延迟减小处理或结合一些延迟减小 处理来使用的虚拟低音处理系统的框图。在一种实施方式中，虚拟低音处 理系统200从所谓的混合滤波器组获得多个复数值子带采样(HQMF采 样)作为输入201(输入A)。在一种实施方式中，在虚拟低音处理之前 的混合滤波器组将原始时域音频输入信号分离成了这样的多个混合子带 201(其在下面进一步详细描述)，并且它们可以由输入缓存器206缓存。 然后，所缓存的输入通过奈奎斯特合成滤波器组208被处理，奈奎斯特合 成滤波器组208执行合成功能以重构表示低频音频内容(例如，在0Hz 与375Hz之间)的单个复数值QMF(CQMF)域信号202(信号C)。 在另一种实施方式中，虚拟低音系统通过将前面的混合滤波器组中的奈奎 斯特滤波器组段旁路来包括延迟节省机制。这使得该系统能够通过将 CQMF通道0信号作为输入203(输入B)直接馈送至虚拟低音模块来节 省与奈奎斯特分析组(例如，384个采样)相关联的延时。如图2中所示， 两个输入202或203之一由如选择器204的开关选择，并且所选择的信号 包括虚拟低音输入信号205(信号D)，其进一步由换位器209处理。

换位器(或相位声码器)通常是以下组合：在时间至频率变换或滤波 器组之后是非线性段(执行相位倍增或相位移位)，在非线性段之后是频 率至时间变换或滤波器组。从而，如图2中所示，换位器209包括时间至 频率变换部件210、非线性段212和频率至时间变换214。换位器209内 的非线性段212是修改相位并且对信号的子带或变换分量应用一些增益 (幅度)控制信号的处理块。然后，经换位的信号由输出缓冲器216缓存， 并且随后由奈奎斯特分析滤波器组218处理，奈奎斯特分析滤波器组218 执行将虚拟低音输出CQMT信号分解成与输入信号201的混合子带采样 (HQMF)对应的子带的分析功能。输入A信号的经延时而未经处理的 版本220被与奈奎斯特滤波器组218的输出混合以产生包括虚拟低音输出 信号加上经延时的输入信号的增强的音频输出信号222。

尽管实施方式可以涉及奈奎斯特滤波器组对于某些功能如合成208 和分析218段处理的使用，但是应当注意，还可以使用其他类型的滤波器 组或频率分割或划分电路和技术。在其他实施方式中，上面提到的滤波器 组或频率分割或划分电路和技术可以都不存在。

图3A至图3C是图2中示出的虚拟低音处理系统的更详细的图。图 3A示出了预处理混合滤波器组段300，即，通常不是虚拟低音系统的一 部分而是替代地在虚拟低音系统之前的段。混合滤波器组可以是CQMF 组的组合，其中，一定数量的最低CQMF带由预定大小的奈奎斯特滤波 器组来处理以提高低频范围的频率分辨率。来自奈奎斯特分析段和其余的 CQMF通道的低频子带采样的组合被称作混合子带采样或HQMF(混合 QMF)信号。如图3A中所示，时域输入信号302被输入至64通道CQMF 分析滤波器组304。在一种实施方式中，该滤波器组的一个输出、CQMF 通道0(表示为信号B)306直接被馈送至图3C的虚拟低音模块330(该 信号对应于图2的输入B 203)。应当注意，信号B 306将奈奎斯特分析滤 波器组307旁路，因此避免相关联的延时。CQMF通道0、1和2还被输 入至多个奈奎斯特分析滤波器组307至309。来自奈奎斯特分析滤波器组 和其余的CQMF子带(3至63)的输出产生混合子带采样0至76(被表 示为信号A)310。

如图3B的系统320中所示，多个复数值混合子带采样(信号A)322 被输入至奈奎斯特合成滤波器组段324。假定图3C的虚拟低音模块330 是系统中的其他模块之一，其对混合子带采样(HQMF采样)进行操作。 因此，图3A的信号A 310可以在变成图3B的输入A 322之前在预处理 滤波器组段300之后经历其他模块的处理。在一种示例实施方式中，第一 8个混合子带即来自低频8通道(8-ch)奈奎斯特滤波器组307(其根据 采样速率产生大致344Hz至375Hz的信号带宽)的子带被处理。由于奈 奎斯特滤波器组与CQMF组相反不被下采样，所以奈奎斯特滤波器组合 成步骤尤其简单，因为其仅是每个CQMF(或HQMF)时隙的子带采样 的求和。在段324中对8个最低混合子带采样进行求和之后，系统重组了 CQMF通道0信号C 326，其变成图3C的虚拟低音模块330的输入332。

图3C示出了根据实施方式的实现一些延迟降低处理或结合一些延迟 降低处理被使用的虚拟低音系统。图3C的虚拟低音模块330将信号D 332 作为输入。在前面的奈奎斯特分析滤波器组307被旁路的实施方式中，信 号D 332可以从图3A的信号B 306被路由。在另一种实施方式中，信号 D 332可以从图3B的奈奎斯特分析段320的信号C 326被馈送。在这两 种实施方式中，信号D 332即虚拟低音模块的输入信号是单个复数值 CQMF信号(即，来自一组CQMF子带信号的第一通道(通道0))。

在虚拟低音应用中，可以由动态处理器336执行可选的动态处理功能 以改变虚拟低音输入信号的动态。处理器336可以用于降低弱低音的水平 并且保持或者增强强低音，即，被用作扩展器。该方案符合低音范围中的 等响轮廓(ELC)的形状，其中，响度曲线在较响信号的频率中较平坦， 而对于较弱响度的信号较陡峭。因此，当生成谐波以保持基频分量与所生 成的谐波之间的相对响度时，较弱低音可以比较强低音被衰减更多。动态 处理器336的增益可以由滑动(running)平均能量信号，即，第一CQMF 带信号332的经下混合的(单声道)版本的滑动平均能量来控制。

对于系统330的实施方式，在输入至非线性处理块344之前，对(可 能动态处理的)CQMF信号执行使用窗口大小L(包括上至长度N的零 填充)、正向FFT 340和调制功能342的第一加窗功能。在本发明的实施 方式中，窗口形状是非对称的。在另一种实施方式中，换位器(包括部件 338至356)表示改进了的相位声码器，其使用与基本换位器相同的FFT 分析/合成链来使用被称为“组合换位”的插值技术以生成二阶、三阶、 四阶和可能更高阶的谐波(换位因子)。通常，虽然在某种程度上损害除 了基阶谐波以外的其他谐波的品质，但是这样的组合换位节省计算复杂 度。在不使用组合换位的情况下，至少正向变换或逆变换需要针对不同的 换位因子而不同。非线性处理块344使用整数换位因子，其进行冗余的某 个相位估计、相位展开或相位锁定技术，这些技术通常当被用于很多标准 的相位声码器中时不稳定且不精确。在一种实施方式中，相位倍增器344 使用高于2的基本换位因子B如8或任何其他适当的值。

换位器338至356在频域中使用过采样(即，块338和356中的零填 充分析窗口和合成窗口)来改进脉冲(敲击的)声音，其当在低音频率范 围中使用时是主要的。在不进行这样的过采样的情况下，敲击鼓声音很可 能生成至少一些预回声和后回声伪声，使得低音模糊且不清晰。在一种实 施方式中，过采样因子F被选择为至少因子F＝(B+1)/2，其中，B是基本 换位因子(例如，B＝8)。这有助于确保针对隔离的瞬变声音抑制前回声 和后回声。

如图3C中所示，换位器包括由在相位倍增器电路(非线性处理块 344)之后的放大器346应用的每FFT频率段的增益和斜率补偿。这使得 不同换位因子的总增益能够独立地被设置。例如，增益可以被设置成近似 于某些等响轮廓(ELC)。作为近似值，可以通过低于400Hz的频率的对 数刻度上的直线来适当地对ELC进行建模。在这种情况下，虽然奇数阶 谐波(例如，三阶、五阶等)对于结果的虚拟低音效果很重要，但是由于 奇数阶谐波有时可以被感知为与偶数阶谐波相比更刺耳，所以奇数阶谐波 可以较大程度地被衰减。每个经换位的信号可以另外地具有斜率增益，即， 以例如每八度音阶dB测量的滚降衰减因子。还在变换域通过放大器346 每频率段来应用该衰减。

在基于非混合滤波器组的系统，例如，时域系统中，采用图3A的信 号302作为输入，换位器338至356将直接对全采样速率(例如，44.1kHz 或48kHz)的时域信号进行操作，然后利用大致4096条线的FFT大小， 以提供低频(低音)范围的适当的分辨率。然而，在一种实施方式中，对 CQMF通道0子带采样(系统330的信号D 332)执行所有处理。这通过 在换位器中对仅感兴趣的信号进行处理，即，通过对临界采样的(或最大 抽取的)低通信号进行处理来提供相对于正常的处理实践的某些优点如节 省计算复杂度。例如，通过使用四阶基本换位器，虚拟低音系统通过因子 4来扩展输入信号的带宽。通常，不要求虚拟低音系统输出带宽高于大致 500Hz的信号。这表示，带宽为375Hz(或f_s＝48kHz)的第一CQMF通 道(通道0)对于虚拟低音输入更为适当，以及前面两个CQMF通道(通 道0和1)对于虚拟低音输出而言具有足够的带宽(在f_s＝48kHz下750Hz)。 将CQMF通道0作为输入，该系统可以使用大小64(4096/64)代替4096 的FFT变换来处理复数值采样，其中，降低到1/64源自CQMF组的下 采样因子，与时域输入信号相比，这也等于第一CQMF子带信号的减小 了的带宽。由于固有的带宽扩展，所以来自换位器的输出需要被变换成 CQMF带0和1。这还可以在计算组成CQMF带0和1的两个16线FFT 的逆FFT之前通过将64线FFT分成4个16线FFT以及随后利用变换 域中的CQMF原型滤波器响应补偿来近似地进行。注意，在上面的示例 中，不考虑频域过采样，因为其将通过先前提到的过采样因子增大正向变 换大小和逆变换大小。在一个应用中，可以在虚拟低音模块330的模块 348中分割FFT谱，以及可以通过倍增器350进行CQMF滤波器响应补 偿。在其他实施方式，在FFT分割模块348之前，可以对全(例如，上 面示例中的64线)FFT谱进行CQMF滤波器响应补偿。

如图3C中进一步示出的，使用N/B个点的变换大小以及随后的加窗 和交叠/相加步骤356，使用窗口长度L/B，将来自CQMF滤波器响应补 偿块350的输出输入至在逆FFT电路354之前的调制步骤352。在本发 明的实施方式中，窗口形状是非对称的。还可以在FFT分割块348和 CQMF滤波器响应补偿块350之前应用调制步骤352。来自加窗和交叠/ 相加电路356的输出信号是两个CQMF信号，包括要与经延时的HQMF 信号A 364混合的虚拟低音信号。然而，这两个信号首先需要分别通过8 通道和4通道奈奎斯特分析滤波器组360被滤波来符合混合域。在本发明 的实施方式中，奈奎斯特分析滤波器组360使用截断原型滤波器。来自滤 波器组360的HQMF输出可以被带通滤波，并且在模块362中与经延时 的输入分量A 364混合以产生增强的音频输出HQMF信号366。在一种 实施方式中，至混合带混合块362的输入A 364的延时小于虚拟低音系统 延时(如果使用信号B 306作为输入，则减去奈奎斯特分析延时)以包括 时间滞后的虚拟低音信号。

当如上面所概述的，当执行FFT分割时，不会保持来自CQMF分析 组的子带信号之间的相位关系。为了在实施方式中缓解这种情况，系统 330在奈奎斯特分析块360之前对CQMF通道1使用通过exp(-j·π/2)倍增 358的相位补偿。相位补偿函数358的特定自变量依赖于由图3A的前面 的CQMF组304使用的调制方案，并且可以因实施方式而不同。此外， 补偿因子358可以在其他处理块中被移动和吸收。

虚拟低音延迟减小

如在背景技术部分中描述的，虚拟低音处理系统在处理输入信号时引 入一些延时。参照图1B，传统换位器的延时(关于换位器输出采样频率 所测量的)可以被表达为D＝3·L/2-2·S_A，其中，L是换位器窗口大小，S_A是分析步幅或跳距。如前面所描述的，在L＝64和S_A＝4的系统中，换位 器和奈奎斯特滤波器组分析段的总延时可以是大约3200个采样。

在一种实施方式中，虚拟低音处理系统包括执行一些步骤以减小与虚 拟低音处理内容相关联的延迟的部件。图4是根据实施方式的由虚拟低音 延迟减小处理及系统利用的主要功能部件的框图。如图4的图400所示， 延迟减小处理包括使用更高阶基本换位因子402、低延迟非对称变换窗口 404、截断奈奎斯特原型滤波器406和时间滞后的虚拟低音信号408。图 400的每个功能部件可以单独使用或者结合其他部件中的一个或更多个 来使用以帮助减小虚拟低音处理内容的延迟。例如当部件402至408中的 每一个被体现为硬件部件如电路、处理器等时，图400可以表示系统。例 如当部件402至408中的每一个被实现为由功能部件执行的动作如由一个 或更多个处理执行的计算机实现的处理时，该图还可以表示处理。可替代 地，图400可以表示其中一些部件可以以硬件电路系统来实现而其他部件 可以被实现为所执行的方法步骤的混合系统及方法。部件402至408可以 被实现为不同的独立部件，或者它们可以被组合在一个或更多个合并的延 迟减小功能中。系统400的每个部件的组成和操作的详细描述如下。

更高阶基本换位因子

对于图4的更高阶基本换位因子402，可以将传统换位器延时等式 D_ts＝{3·L/2-2·S_A}64/2(等式2)推导为如等式3中所示：

D_ts＝{(B+1)·L/2-B·S_A}·64/B   (等式3)

在等式3中，传统系统的基本换位因子2由任意整数基本换位因子B 替换。注意，等式3指的是具有64个通道的基于CQMF的框架的输出采 样的延时。可以验证，对于常数L和S_A而言，延时随着B的增大而减小。 对于根据实施方式的虚拟低音延迟减小系统，图5A是示出了与第一跳距 相关联的延时，图5B是示出了与第二跳距相关联的延时。图5A的表格 1示出了对于各种窗口大小(L＝16至128)和基本换位因子(B＝2至16) 而言跳距S_A＝4的延迟。相比之下，图5B的表格2示出了对于相同的各 种窗口大小(L＝16至128)和基本换位因子(B＝2至16)而言跳距S_A＝2 的延迟。如可以在图5A和图5B中看到的，例如通过将基本换位因子从 2增大至8，可以实现显著的延迟减小(例如，对于L＝64和S_A＝4的标称 情况而言，从2816个采样降低至2048个采样)。

参照图3C，在组合的换位器338至356中，当生成更高阶换位因子 T—其中T大于B(T＞B)时，换位器源范围小于分析变换谱中的换位器 目标范围。目标频率段由源频率段的插值产生。当使用更高阶基本换位器 生成低阶换位因子时，即，当T小于B(T＜B)时，源范围将大于目标 范围，并且目标频率段由源频率段的抽取产生。然而，同样对于情况T＜ B而言，当T是奇数时，推导为k＝n·B/T的源频率段索引通常不会是整数 ——其中n是目标频率段索引，并且因此将从两个连续的源频率段的插值 推导出目标频率段。

基本换位因子的增大了的阶数对虚拟低音处理具有一定的关联。首 先，需要建立控制以迫使换位器源范围保持在分析变换范围内(即，0至 N-1的范围内)。其次，与使用基本换位因子2的系统相比，现在两个合 成变换354大小会是N/B而非N/2，其中，N是分析变换大小。这表示， 合成窗口将通过因子B而非2被抽取并且谱分割348连同滤波器响应补 偿350的增益向量也会相应地被缩小。这是对于B的较高值的增加了的 带宽扩展的结果；换位器输出固有地覆盖B个CQMF带的频率范围(假 定一个CQMF带的输入)，其中，实际上仅前面两个CQMF带被合成， 从而节省复杂度。对于基本换位因子B＝8和频域过采样因子F＝4而言， 两个合成变换大小为N_S＝F·L/B＝4·64/8＝32，并且合成变换窗口356具有仅 L/B＝64/8＝8个抽头。

经换位的信号的品质由基本换位因子来控制，并且对于更高阶换位阶 数而言有所降低，但是可以通过使用减小了的分析跳距(时域中的增大了 的过采样)来提高。此外，为了保持敲击声音(瞬变)的品质，对于更高 的基本换位因子，需要增大频域过采样的阶数。然而，在时间和频率两个 方面的增加了的过采样可能增加换位器的计算复杂度。在一种实施方式 中，与传统系统相比，分析跳距被减小了二分之一。因子B＝8的基本换 位器将要求至少F＝(B+1)/2＝4.5的频域过采样因子。在一种实施方式中， 该系统使用因子4的过采样(F＝4)，并且当变换窗口在末端变尖时消失 的值0.5通常实际上不显著。因此，在该实施方式中，由于在时间上增大 过采样，导致计算复杂度总计通过因子2而增大。应当注意，增大了的时 间过采样以稍微增加了的延时为代价，对于L＝64、B＝8和S_A＝2而言，以 2176个采样的总延迟而结束，如图5B的表格2所示。

非对称的变换窗口

给出了图5A和图5B的表格1和表格2所示的内容，可以假设减小 换位器延时的明显的方式是使用较短的变换窗口以及因此较小的分析变 换大小和合成变换大小。然而，这通常以降低密集音调信号的品质为代价， 因为由较短的变换窗口产生降低了的频率分辨率。已经发现，可以通过在 正向变换段和逆变换段中使用非对称分析窗口和合成窗口来实现换位器 的算法延时的更鲁棒的减小。从而，在一种实施方式中，对于图4的低延 迟非对称变换404而言，延迟减小系统在正向变换段和逆变换段中使用非 对称分析窗口和合成窗口(例如，分别是图3C的加窗段338和356)。这 通过朝向历史采样扩展窗口的“尾巴”而不造成变换延时来本质上改善有 限长的非对称窗口的频率响应。在甚至更一般的实施方式中，分析窗口的 长度和正向变换的大小可以与合成窗口的长度和逆变换的大小不同。

图5C是与传统对称的汉宁(Hanning)窗口相比非对称窗口的时间 响应的示例曲线。图5C示出了：如曲线图514所示的对于长度为64的 汉宁窗口的作为采样(x轴)与信号幅度(例如，以伏特为单位)的函数 的时间响应、如曲线图516所示的对于长度为41的汉宁窗口的作为采样 (x轴)与信号幅度(例如，以伏特为单位)的函数的时间响应、以及长 度为64和延时为40(延时等于长度为41的汉宁窗口)的非对称窗口的 时间响应曲线图512。图5D是与传统对称的汉宁窗口相比非对称窗口的 频率响应的示例曲线图。图5D示出了：如曲线图524所示的对于长度为 64的汉宁窗口的作为归一化频率(x轴)和对数刻度上的信号幅度(例如， dB)的函数的频率响应、如曲线526所示的对于长度为41的汉宁窗口的 作为归一化频率(x轴)和对数刻度上的信号幅度(例如，dB)的函数的 频率响应、以及长度为64和延时为40(等于长度41的汉宁窗口)的非 对称窗口的频率响应曲线522。如可以在图5D中看到的，非对称窗口的 主要波瓣(lobe)在这些对称的汉宁窗口之间具有表示两个汉宁窗口之间 的频率分辨率或选择性的宽度。

为了适应非对称窗口变换处理，与传统实现相比，需要部分地改变换 位器算法，考虑分析/合成链的减小了的变换延时D。代替在传统系统的 正向变换之后和逆变换之前通过e^-jπk进行频率调制，非对称系统要求在以 下分析变换之后进行频率调制342：

M_A(k)＝e^{-i·(2·π/N)(D/2-L+1)·k}，0≤k＜N   (等式4)

该系统还要求在以下合成FFT谱的分割之前进行调制：

M_S(n)＝e^{-i·(π/N·D·n)}，0≤n＜N     (等式5)

在上面的等式4和等式5中，k和n分别是变换频率系数索引，N是 分析变换大小，即，N＝FL，其中，F是频域过采样因子，L是分析窗口 大小并且D是变换延时。如图3C中所指出的，等式5的调制还可以被应 用于FFT分割模块348和响应补偿步骤350之后的调制段352。

图6在格式上示出了根据实施方式的非对称窗口的使用以及由B阶 基本换位器强加的相关联的延时。在传统虚拟低音系统中，B通常被设置 成2，但是如果结合更高阶基本换位因子处理402使用非对称窗口处理 404，则B会是大于2的整数值(例如，B＝4、8或16)。时间曲线600示 出了作为分析窗口的群延时(近似D/2)的时间零基准。在分析段602从 时间t₀起添加新的采样604。时间曲线610示出了换位器的时间拉伸对偶 性在新的时间拉伸的采样614的合成段612将t₀移动至时间B·t₀。在使用 非对称窗口如图5(512)或图6所示的窗口的情况下，总的分析/合成链 延时量近似于：D/2+B·(D/2-S_A)。

对于其中频域调制可以由通过N/2个采样的循环时间移位来实现的 对称窗口情况而言，上面的等式4和等式5的计算可以同样地分别通过分 析变换之前的N-(D/2-(L-1))(mod N)个采样的循环时间移位和在(单个) 合成变换之后的N-D/2个采样的循环时间移位来实现。然而，当将非对称 窗口与更高阶基本换位因子例如B＝8以及FFT分割段348组合时，合成 变换之后的时间移位会是(N-D/2)/B个采样，其可以是不是整数值。在这 种情况下，取整的值可以用作近似值。另外，为了节省复杂度，可以将分 析调制与合成调成组合作为由等式6给出的合并的合成调制：

M_ASC(k)＝e^{-i·(2·π/N)(D/2·(B+1)-L+1)·B)·k}，0≤k＜N    (等式6)

仅当换位因子T等于B时，等式6的组合调制才会精确。对于其他换位 因子，等式6也会是近似值。

可替代地，等式6的调制可以被实现为如等式7中所示的合成变换之 后的组合循环时间移位：

$\left(\begin{array}{cc}{f}_x\left(m\right)=g_x(S+m)& ,0\le m<N/B-S\\ f_x(N/B-S+m)=g_x\left(m\right)& ,0\le m<S\end{array}\right)$    (等式7)

在上面的等式7中，g_x(m)是来自合成逆变换之一的时间域输出，f_x(m) 是移位的时间序列，并且S等于：

此外，当ceil函数(取整成最接近的整数)的自变量不是精确的 整数时，等式7提供由等式6实现的频率调制的仅近似值(其本身可以是 近似值)。还应当注意，上面的等式5和等式6优选地仅被应用于系数的 有限部分，这些系数被包括在两个逆傅里叶变换中。

参照图6，非对称窗口换位器框架的总系统延时的精确表达变成如等 式8中所示：

D_ta＝{(B+1)·D/2-B·(S_A-1)}·64/B   (等式8)

此外，等式8指的是使用基于64通道CQMF的框架的输出采样中的延时。

对于根据实施方式的使用非对称变换窗口的虚拟低音延迟减小系统， 图7A是示出了关于第一跳距大小的总延迟值的表格，图7B是示出了关 于第二跳距的总延迟值的表格。图7A的表格3示出了对于各种变换延时 值(D＝15至127)和基本换位因子(B＝2至16)而言跳距S_A＝4的延迟。 相比之下，图7B的表格4示出了对于相同的各种变化延时值(D＝15至 127)和基本换位因子(B＝2至16)而言跳距S_A＝2的延迟。如可以在表 格4中看到的，从对称64抽头窗口(D＝63)至非对称窗口的延迟减小是 828个采样(对于S_A＝2和B＝8的标称情况而言，2204-1376＝828)。

将等式3与等式8相比，可以验证，设置D_ts＝D_ta给出：

D=L-(2·B/(B+1))    (等式9)

上面的等式9表达当B＝1时对称窗口的预期的变换延迟D＝L-1。

换位窗口的非对称的量可以根据系统的限制和要求而变化。在一种实 施方式和特定实现中，非对称窗口的群延时被选择接近变换延时的二分之 一，以便保持适当的换位品质。从而，在这种情况下，G_d≈D/2＝20。这 可以通过包括非对称滤波器的设计的优化阶段期间的群延时的约束来完 成。

截断奈奎斯特原型滤波器

参照图4，第三延迟减小元件包括使用截断奈奎斯特原型滤波器406。 如图3C中所示，为了能够在混合域中混合虚拟低音信号，8通道和4通 道奈奎斯特分析滤波器组360被应用于虚拟低音输出CQMF通道(这些 滤波器组对应于图3A的奈奎斯特滤波器组307和308)。在一种实施方式 中，奈奎斯特分析滤波器组360使用对称的13抽头原型滤波器，其可以 产生6个CQMF采样的延时(例如，在这种情况下，6·64＝384个输出采 样)。通过去除原型滤波器的作用在未来采样上的6个系数，可以消除该 整个延时(例如，384个采样)。一般地，奈奎斯特分析/合成链仍提供完 美的重构。然而，使用截断滤波器的奈奎斯特滤波器组的频率响应可以改 变。其余的滤波器系数的优化可以改善使用截断滤波器的奈奎斯特滤波器 组的潜在较差的频率响应。

时间滞后的虚拟低音信号

参照图4，第四延迟减小元件包括使虚拟低音信号滞后原始信号， 408。在这种情况下，当宽带信号(即，图3C的混合信号A 364)被延时 与虚拟低音系统延时实际上暗示的时间段相比更短的时间段时，可以减小 整个系统的延迟。非正式聆听测试表明：低于20ms的滞后不妨碍虚拟低 音效果。该滞后对于48kHz音频信号而言对应于960个采样。

在实施方式的特定实现中，允许虚拟低音信号使宽带信号滞后总共 352个采样(在48kHz下为7.33ms)。由于1376不能由CQMF滤波器组 大小64整除，所以在这352个采样中，32个采样来自对非对称变换窗口 的使用。因此，来自非对称窗口变换的延时可以被分成1344的宽带延迟 加上32个采样的低音滞后。从而，除了32个采样之外的额外滞后是320 个采样(5个CQMF采样，在48kHz采样频率下对应于6.67ms)。

图4的不同的延迟减小元件402至408可以以任意实际数量的组合来 使用以实现虚拟低音系统延迟的减小。此外，可以将每种延迟减小方法的 适当的变化更改成增加与虚拟低音信号品质的任何感知下降有关的延迟。 在一种实施方式中，使用以下值实现了四个延迟减小元件：基本换位因子 B＝8、跳距S_A＝2、变换延迟D＝40、截断奈奎斯特滤波器组和320个采样 的额外虚拟低音滞后。在该示例情况下，结果的输出采样中的虚拟低音系 统延时如下：

D_VB＝{(B+1)·D/2-B·(S_A-1)}·64/B-32+0-320＝1376-352＝1024

如上所述规避预处理段中的奈奎斯特分析滤波器(例如通过使用图2中的 输入B 203、图3A的信号B 306作为图3C的虚拟低音模块330中的输入 D 332)，可以节省另外的384个采样的延时，产生虚拟低音系统延时 1024-384＝640个采样(在48kHz采样频率下对应于13ms)。

该示例情况中的640个采样的延时明显小于先前描述的传统虚拟低 音系统中的3200个采样的标称延时。甚至可以通过增加更大的虚拟低音 滞后，通过将跳距S_A增加至4代替2，或者通过设计具有短于40的结果 的分析/合成延时的非对称变换窗口来进一步降低该延时。然而，虽然可 以进一步降低延迟，但是任何这样的值的变化可以产生稍微较差的虚拟低 音品质。

本文中描述的虚拟低音延迟减小系统的实施方式可以结合任何适当 的虚拟低音生成系统如图2和图3中示出的系统来使用。图8是示出了根 据实施方式的包括虚拟低音生成系统和延迟减小系统的音频处理系统的 框图。如图8中所示，系统800包括如图3C中所示的虚拟低音生成系统 330。虚拟低音系统330接收输入音频信号801，并且执行一些频率换位 功能来产生增强的音频内容以通过可能具有有限的频率响应能力的扬声 器806进行回放。一些延迟可以与由虚拟低音系统330执行的换位功能相 关联。在一种实施方式中，虚拟低音延迟减小系统400(如图4中所示) 被提供为虚拟低音系统300的后处理以减小与虚拟低音处理相关联的延 迟。然后，来自虚拟低音系统300和400的减小了延迟的音频信号被发送 至渲染子系统802，渲染子系统802被配置成生成扬声器馈送，扬声器馈 送可以通过放大器804被馈送给左右(或多通道)扬声器806。

尽管虚拟低音延迟减小系统400被示为系统800中的单独的后处理元 件，但是应当注意，这样的延迟减小系统可以被实现为虚拟低音系统330 的一部分(如前面指出的)，或者被实现为系统800的任何适当的元件的 一部分如渲染子系统802内的功能部件。同样地，虚拟低音系统330可以 是背景技术中所概述的传统虚拟低音生成系统，或者其可以是使用谐波换 位来增强输入音频信号801以增加通过扬声器806回放的低音内容的感知 水平的任何其他虚拟低音生成和处理系统。

可以在通过各种不同的回放装置和音频扬声器(换能器)呈现和回放 数字音频的任何音频处理系统中使用虚拟低音延迟减小系统的实施方式。 这些扬声器可以体现为各种不同的收听装置或回放设备的项目中的任一 种，如计算机、电视、立体声系统(家庭或影院)、移动手机、平板电脑 和其他便携式回放装置。扬声器可以具有任何适当的大小和额定功率，并 且可以以独立式驱动器、扬声器箱、环绕声系统、条形音箱、耳机、耳塞 等的形式被提供。扬声器可以以任何适当的阵列被配置，并且可以包括单 声道驱动器、双耳扬声器、环绕声扬声器阵列或任何其他适当的音频驱动 器阵列。

可以在包括执行软件指令的一个或更多个计算机或处理装置的对音 频信号进行处理以便通过网络传输的音频系统中实现本文中描述的一种 或更多种实施方式的各个方面。所描述的实施方式中的任何实施方式可以 单独被使用或者以任何组合相互结合被使用。尽管各种实施方式是由在说 明书的一个或更多个地方讨论或者提及的现有技术的各种缺陷推动的，但 是实施方式不是必需地解决这些缺陷中的任何缺陷。换言之，不同的实施 方式可以解决可能在说明书中讨论的不同的缺陷。一些实施方式可以仅部 分地解决将会在说明书中讨论的一些缺陷或仅仅一个缺陷，而一些实施方 式可以不解决这些缺陷中的任何缺陷。

可以在用于处理数字或数字化音频文件的合适的基于计算机的声音 处理网络环境中实现本文中所描述的系统的方面。自适应音频系统的各个 部分可以包括以下一个或更多个网络：所述网络包括任何期望数量的单独 机器，包括用于缓存和路由计算机之间传输的数据的一个或更多个路由器 (未示出)。这样的网络可以基于各种不同的网络协议来构建，并且可以 是因特网、广域网(WAN)、局域网(LAN)或其任意组合。

可以通过对系统的基于处理器的计算装置的执行进行控制的计算机 程序来实现部件、块、处理器或其它功能部件中的一个或更多个。还应当 注意，根据其行为、寄存器传送、逻辑部件和/或其它特征，可以使用硬 件、固件和/或数据和/或在各种机器可读介质或计算机可读介质中实现的 指令的任何数量的组合来描述本文中公开的各种功能。可以体现这样的格 式化数据和/或指令的计算机可读介质包括但不限于各种形式的物理(非 暂态)、非易失性介质，如光、磁或半导体存储介质。

除非上下文明确要求，否则遍及说明书和权利要求书，词语“包括 (comprise)”、“包括(comprising)”等要以与排外的意义或穷尽的意义 相反的包括的意义来解释；即，按照“包括但不限于”的意义来解释。此 外，使用单数或复数的词语还分别包括复数或单数。另外，词语“在本文 中”、“在下文中”、“在上面”、“在下面”以及类似意思的词语指的是本申 请的全部而不是本申请的任何特定部分。当参照两项或更多项的列表来使 用词语“或”时，该词语涵盖该词语的所有下列解释：列表中任意一个项 目、列表中所有项目以及列表中项目的任意组合。

尽管通过示例并且根据特定的实施方式描述了一个或更多个实现，但 是应当理解，一个或更多个实现不限于所公开的实施方式。相反，如对本 领域技术人员明显的，其意在覆盖各种修改和类似的布置。因此，所附权 利要求的范围应当符合最广泛的解释，以包括所有这样的修改和类似的布 置。