用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置

摘要

提供了一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的装置。所述装置包括修改信息生成器（110），其用于基于中侧信息生成修改信息。此外，所述装置包括信号操纵器（120），其适于基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道。所述修改信息生成器（110）包括谱权重生成器（116），其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。

说明书

技术领域

本发明涉及音频处理，并特别涉及一种用于使用频域处理分解立体录 音的方法和装置。

背景技术

音频处理在许多方面都已经发展了。特别而言，环绕系统已变得越来 越重要。然而，大部分音乐录音仍然作为立体声信号而不是作为多声道信 号被编码并传输。环绕系统包括多个扬声器（例如四个或五个扬声器）， 当只有两个可用输入信号时哪个信号应该被提供给多个扬声器已经成为 许多研究的主题。

在这种情况下，使用环绕声系统重放立体声信号的格式转换（例如上 混合（upmixing））起着重要的作用。术语“m到n上混合描述从m声道音 频信号转换到采用n声道音频信号的转换，其中n>m。上混合的两个概念 是众所周知的：采用引导所述上混合处理的附加信息的上混合以及本申请 所关注的不使用任何枝节信息的无引导上混合（unguided（blind） upmixing）。

在文献中，报告了用于上混合处理的两种不同方法。这些概念是直接 /环境（direct/ambient）方法和“在波段中”的方法（“in-the-band”-approach）。 基于直接/环境的技术的核心部分是提取被馈送到环绕声信号的多声道的 后声道中的环境信号。环境声音是形成（虚拟）听音环境（包括室内混响、 观众的声音（例如掌声）、环境声音（例如雨水）、艺术意图的效果声音（例 如乙烯的爆裂）和背景噪声的印象的那些声音。使用后声道再现环境可由 聆听者唤起对周围的印象（即“沉浸在声音）。此外，直接声源根据它们在 立体全景中的位置分布在前声道。

“在波段中”的方法的目的在于使用所有可用的扬声器定位聆听者周 围的所有声音（直接声音以及环境声音）。在再现上混合格式时感知的声 源的位置理想化为立体声输入信号中的它们的感知位置的函数。可使用所 提出的信号处理来实施这种方法。

已经在过去开发了在频域中上混合的各种方法[9、10]。它们试图分 解输入信号以及直接和环境信号成分并基于声源的空间位置进行分解。环 境信号成分基于左和右声道之间的声道间相干性的测量而被识别。基于方 向的分解可基于谱系数的振幅的相似度来实现。专利申请US2009/ 0080666描述了一种用于使用谱加权提取环境信号的方法。

US2010/0030563描述了一种用于提取应用于上混合应用的环境信 号的方法。所述方法使用谱减法。从输入信号的时-频域表示和其压缩版 本的差获得时-频域表示，优选使用非负矩阵因子分解来计算。

US2010/0296672描述了使用基于矢量的信号分解的频域上混合方 法。分解的目的在于与直接/环境信号分解相反的中心声道的提取[13]。中 心声道的输出信号被计算为其包含左和右输入声道信号共有的所有信息。 输入信号和中心声道信号的残留信号被计算用于左和右输出声道信号。

发明内容

本发明的目的是提供用于从具有第一输入声道和第二输入声道的立 体声输入信号生成额外声道的改进概念。本发明的目的通过根据权利要求 1的用于生成立体侧信号的一种装置、根据权利要求10所述的用于产生立 体声中信号的装置、根据权利要求12的用于产生立体侧信号的方法、根 据权利要求13所述的用于产生立体声中信号的方法和权利要求15所述的 计算机程序来解决。

提供了一种用于具有从具有第一输入声道和一个第二输入声道的立 体声输入信号的生成具有第一侧声道和第二侧声道的立体声侧信号的装 置。该装置包括用于基于中侧信息的生成修改信息的修改信息生成器。此 外，该装置包括一信号操纵器适于根据该修改信息操纵第一输入声道以获 得第一侧声道，和适于基于所述修改信息操纵第二输入声道以获得所述第 二侧声道。

操纵信息生成器可以包括谱减法器，其用于通过生成指示单声道中信 号或单声道侧信号和第一或第二输入声道之间的差的差值生成修改信息。 或者，修改信息生成器可包括谱权重生成器，其用于通过基于立体声输入 信号的单声道中信号和单声道侧信号生成第一谱加权因子生成修改信息。

中侧信息可以是立体声输入信号的单声道中信号、立体声输入信号的 单声道侧信号和/或立体声输入信号的单声道中信号和单声道侧信号之间 的关系。在一个实施例中，修改信息生成器适于基于立体声输入信号的单 声道中信号或立体声输入信号的单声道侧信号生成修改信息作为中侧信 息。

根据一个实施例，立体声录音被分解为侧信号和中信号，与常规中侧 （MS）分解相反，侧信号和中信号两者都是立体声信号。可使用如与频 域处理结合的常规M-S处理（即谱减法或谱加权）中的相位消除（phase  cancellation）来应用信号分离。导出的信号可被应用于利用额外播放声道 再现音频信号。

根据一个实施例的装置将双声道立体声录音分解为立体声侧信号和 立体声中信号。立体声侧信号具有两个主要特点。首先，它包括所有信号 成分，但并不包括调移到中心的那些。在这方面，它类似于由立体声信号 的中侧处理已知的侧信号。实际上，它包括与由常规M-S分解导出的侧信 号相同的信号成分。

所提出的立体声侧信号与常规侧信号相比的重要差别由立体声属性 描述：立体声侧信号是双声道立体声信号，与常规侧信号（是单声道的） 相反。立体声侧信号的左声道包括其被调移到输入信号的左侧的所有信号 成分。立体声信号的右声道包括其被调移到右侧的所有信号成分。

立体声中信号是包括存在于两个输入声道中的所有成分的立体声信 号。它是双声道立体声信号并包括与输入信号与立体声侧信号相比较少的 立体声信息，但它不是如常规中信号那样的单声道信号。它包括与常规中 信号相同的信号成分，但具有原始立体声信息。

根据一个实施方案，修改信息生成器包括谱减法器。谱减法器可适于 通过从立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权 振幅值中减去第一或第二输入声道的振幅值或加权振幅值生成修改信息。 或者，谱减法器可适于通过从第一或第二输入声道的振幅值或加权振幅值 中减去立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权 振幅值生成修改信息。

此外，修改信息生成器可包括振幅确定器。振幅确定器可适于接收第 一输入声道、第二输入声道、单声道中信号或单声道侧信号中的至少一个 （以谱域表示）作为所接收的振幅输入信号。此外，振幅确定器可适于确 定每个接收的振幅输入信号的至少一个振幅值，并且可适于将每个接收的 振幅输入信号的至少一个振幅值馈送到谱减法器中。

在一个实施例中，谱减法器包括第一谱减法单元和第二谱减法单元， 其中振幅确定器被布置为接收第一和第二输入声道和单声道中信号，其中 振幅确定器适于确定第一输入声道的第一振幅值、第二输入声道的第二振 幅值和所述单声道中信号的第三振幅值，其中振幅确定器适于将第一、第 二和第三振幅值馈送到谱减法器中。第一谱减法单元可适于基于第一输入 声道的第一振幅值和单声道中信号的第三振幅值进行第一谱减法以获得 第一立体声侧信号的第一立体声侧振幅值，并且其中第二谱减法单元适于 基于第二输入声道的第二振幅值和单声道中信号的第三振幅值进行第二 谱减法以获得第二侧立体声信号的第二立体声侧幅值。

第一谱减法单元可适于通过应用下式来进行第一谱减法：

${\hat{S}}_l\left(f\right)=\left|X_1\left(f\right)\right|-w\left|M_1\left(f\right)\right|$

其中指示谱减法结果为正时的第一立体声侧振幅谱，其中|X_l(f)| 指示第一输入声道的第一振幅谱，其中|M₁(f)|指示单声道中信号的第三振 幅谱，并且其中w指示范围0≤w≤1内的标量系数。第二谱减法单元可 适于通过应用下式来进行第二谱减法：

${\hat{S}}_r\left(f\right)=\left|X_r\left(f\right)\right|-w\left|M_1\left(f\right)\right|$

其中指示谱减法结果为正时的第二立体声侧振幅谱，其中|X_r(f)| 指示第一输入声道的第二振幅谱，其中|M₁(f)|指示单声道中信号的第三振 幅谱，并且其中w指示范围0≤w≤1内的标量系数。

在一个实施例中，信号操纵器可包括相位提取器和组合器。相位提取 器可被布置为接收第一输入声道和第二输入声道，其中相位提取器适于确 定第一输入声道的第一相位值作为第一立体声侧相位值和第二输入声道 的第二相位值作为第二立体声侧相位值。相位提取器可适于将第一立体声 侧相位值和第二立体声侧相位值馈送到组合器中，其中第一谱减法单元适 于将第一立体声侧振幅值馈送到组合器中，其中第二谱减法单元适于将第 二立体声侧相位值馈送到组合器中。组合器可适于组合第一立体声侧振幅 值和第一立体声侧相位值以获得第一侧声道的第一谱的第一复数系数。此 外，该组合器可适于将第二立体声侧振幅值和第二立体声侧相位值相组合 以获得所述第二侧声道的第二谱的第二复数系数。

根据一个实施例，修改信息生成器包括用于通过生成第一谱加权因子 生成修改信息的谱权重生成器，其中第一谱加权因子依赖于立体声输入信 号的单声道中信号和单声道侧信号。

修改信息生成器还可包括振幅确定器。振幅确定器可适于接收以谱域 表示的单声道中信号。振幅确定器可适于接收以谱域表示的单声道侧信 号，其中振幅确定器适于确定单声道侧信号的振幅值作为振幅侧值且其中 幅值确定器适于确定单声道中信号的振幅值作为振幅中值。振幅确定器可 适于将振幅侧值和振幅中值馈送到谱权重生成器中。谱权重生成器可适于 基于第一数量相对第二数量的比率生成第一谱加权因子，其中第一数量取 决于振幅侧值，且其中第二数量取决于振幅中值和振幅侧值。

在其它实施例中，谱权重生成器适于根据下式生成修改因子

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }},$

其中|S(f)|指示单声道侧信号的振幅值，其中|M(f)|指示单声道中信号 的振幅值，并且其中α、β、γ和δ是标量因子。在一个实施例中，α和β 大于0（α>0；β>0）；且γ和δ被选择使得0≤γ≤1和0≤δ≤1。优选地， 4≥α>0和4≥β>0。

此外，谱权重生成器可适于根据下式生成修改因子：

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {\min \left[\right|X_l\left(f\right)|,|X_r\left(f\right)\left|\right]}^{\alpha }}\right)}^{\frac{1}{\beta }}$

或者，其中谱权重生成器适于根据下式生成修改因子：

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {Q\left(f\right)}^{\alpha }}\right)}^{\frac{1}{\beta }}$

其中Q(f)=ηmin[|X_l(f)|,|X_r(f)|]+(1-η)M(f)

其中|S(f)|指示单声道侧信号的振幅谱，其中|M(f)|指示单声道侧信号 的振幅谱，其中|X_l(f)|指示第一输入声道的振幅谱，其中|X_r(f)|指示第一输 入声道的振幅谱，其中M(f)指示单声道中信号，并且其中α、β、γ、δ和 η是标量因子。

根据一个实施例，修改信息生成器适于基于立体声输入信号的单声道 中信号或立体声输入信号的单声道侧信号生成修改信息作为中侧信息。单 声道中信号可取决于将第一和第二输入声道相加产生的和信号。单声道侧 信号取决于从第一输入声道中减去第二输入声道产生的差信号。

此外，装置还可包括声道生成器，其中声道生成器适于基于第一和第 二输入声道生成单声道中信号或单声道侧信号。

此外，装置还可包括变换单元，其用于将立体声输入信号的第一和第 二输入声道从时域变换到谱域；和逆变换单元。信号操纵器可适于操纵以 谱域表示的第一输入声道和以谱域表示的第二输入声道以获得以谱域表 示的立体声侧信号。逆变换单元可适于将以谱域表示的立体声侧信号从谱 域变换到时域。

在一个实施例中，装置可适于生成具有第一中声道和第二中声道的立 体声中信号。第一中声道可基于第一立体声输入声道和第一侧声道之间的 差而生成。第二中声道可基于第二立体声输入声道和第二侧声道之间的差 而生成。

根据另一实施例，提供了用于从具有第一输入声道和第二输入声道的 立体声输入信号生成具有第一中声道和第二中声道的立体声中信号的装 置。装置包括修改信息生成器，其用于基于中侧信息生成修改信息；和信 号操纵器，其适于基于修改信息操纵第一输入声道以获得第一中声道并适 于基于修改信息操纵第二输入声道以获得第二中声道。

根据一个实施例，修改信息生成器可包括谱权重生成器，其用于通过 生成第一谱加权因子生成修改信息。第一谱加权因子可取决于立体声输入 信号的单声道中信号和单声道侧信号。修改信息生成器还可包括振幅确定 器，其中振幅确定器适于确定以谱域表示的单声道侧信号的振幅值作为振 幅侧值，且其中振幅确定器适于确定以谱域表示的单声道中信号的振幅值 作为振幅中值。振幅确定器可适于将振幅侧值和振幅中值馈送到谱权重生 成器中。谱权重生成器可适于基于第一数量相对第二数量的比率生成第一 谱加权因子，其中第一数量取决于振幅侧值，且其中第二数量取决于振幅 中值和振幅侧值。

谱权重生成器可适于根据下式生成修改因子

$G_m\left(f\right)={\left(\frac{{\left|M\left(f\right)\right|}^{\alpha }}{\gamma {\left|S\left(f\right)\right|}^{\alpha }+\delta {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}$

其中|M(f)|指示单声道中信号的振幅谱，其中|S(f)|指示单声道侧信号 的振幅谱，并且其中α、β、γ和δ是标量因子。在一个实施例中，α和β 大于0（α>0，β>0）且γ和δ被选择使得0≤γ≤1和0≤δ≤1。优选地， 4≥α>0和4≥β>0。

附图说明

将参考附图来解释本发明的实施例，其中：

图1示出根据一个实施例的用于生成立体声侧信号的装置，

图1a示出根据一个实施例的用于生成立体侧信号的装置，其中操纵 信息生成器包括谱减法器，

图1b示出根据一个实施例的用于生成立体声侧信号的装置，其中修 改信息生成器包括谱权重生成器，

图2示出根据一个实施例的谱减法器，

图3示出根据一个实施例的修改信息生成器，

图4示出根据一个实施例的用于为进行谱减法而生成立体声侧信号 和立体声中信号的装置，

图5示出根据另一实施例的生成立体声侧信号和立体声中信号的装 置，

图6示出用于产生立体声侧信号的装置，其中装置包括根据一个实施 例的谱权重生成器，

图7示出用于生成立体声侧信号的装置，其中装置包括根据另一实施 例的谱权重生成器，

图8示出用于生成立体声侧信号的装置，其中装置包括根据另一实施 例的谱权重生成器，

图9示出修改信息生成器，其中装置包括根据一个实施例的谱权重生 成器和振幅生成器，

图10示出根据一个实施例的用于生成立体声中信号的装置，

图10a示出根据一个实施例的用于生成立体声中信号的装置，其中操 纵信息生成器包括谱减法器，

图10b示出根据一个实施例的用于生成立体声中信号的装置，其中修 改信息生成器包括谱权重生成器，

图11示出立体声侧信号和立体声中信号的示例增益，

图12示出立体声侧信号和立体声中信号的谱加权的结果，

图13示出根据其它实施例的用于生成立体声侧信号的装置，

图14示出根据其它实施例的用于生成立体声侧信号的装置，

图15示出根据一个实施例的上混合器，

图16示出使用所提出的信号处理的输出的示例四声道再现系统，

图17描绘生成适合于5声道再现的多声道信号的处理的框图，

图18描绘M-S分解的框图，

图19描绘示出谱加权的框图，和

图20示出如在语音增强中使用的典型谱权重。

具体实施方式

在描述本发明的优选实施例之前，将描述相关的概念（尤其是M-S 处理），将解释谱减法和谱加权的基本原理。

首先，将更详细地描述中侧处理（Mid-Side processing）。为了解释如 何计算立体声侧和中信号（mid signal），将简要概述常规M-S处理的基本 知识。双声道立体声信号x(t)可分别由左和右声道的两个信号x_l(t)and x_r(t) 表示，其中具有时间指数t。术语左和右指示最终这些信号分别被提供给 左耳和右耳（使用扬声器或耳机），或分别由音频再现系统中的左和右声 道再现。

假设立体声信号是N个源信号z_i的混合，i=1，...，N、x_l(t)和x_r(t) 可被写为

$x_l\left(t\right)=\underset{i=1}{\overset{N}{\Sigma }}{h}_{\mathrm{li}}\left(t\right)*z_i\left(t\right)+n_l\left(t\right)---\left(1\right)$

$x_r\left(t\right)=\underset{i=1}{\overset{N}{\Sigma }}{h}_{\mathrm{ri}}\left(t\right)*z_i\left(t\right)+n_r\left(t\right)---\left(2\right)$

其中h_li(t)、h_ri(t)是描述如何将源混合到立体声信号中的传递函数，* 是卷积运算，且n_l(t)、n_r(t)是不相关的环境信号。在仅使用振幅调移进行 混合的情况（这通常是录音室录音的情况）下，h_li(t)和h_ri(t)两者都是标量。 这个混合处理的输出在文献中已知是与常规卷积混合（在其中h_li(t)和h_ri(t) 的长度大于一的情况下）相反的瞬时混合。丢弃环境条件n_l(t),n_r(t)，瞬时 混合的信号模型可被写为

$x_l\left(t\right)=\underset{i=1}{\overset{N}{\Sigma }}(1-a_i\left(t\right))y_i\left(t\right)---\left(3\right)$

$x_r\left(t\right)=\underset{i=1}{\overset{N}{\Sigma }}{a}_i\left(t\right)y_i\left(t\right)---\left(4\right)$

其中混合因子0≤a_i(t)≤1确定源信号和混合的感知方向。

在使用信号的M-S表示时提供与包括在信号x(t)=[x_l(t)x_r(t)]中的相同 的信息，其中根据下式从x_l(t)和x_r(t)计算中信号m₁(t)（也被称为和信号） 和侧信号s₁(t)（也被称为差信号）：

$m_1\left(t\right)=\frac{1}{2}(x_l\left(t\right)+x_r\left(t\right))---\left(5\right)$

$s_1\left(t\right)=\frac{1}{2}(x_l\left(t\right)-x_r\left(t\right))---\left(6\right)$

下标1用于指定这些信号是单声道的。这样的M-S信号对于其中侧 信号和中信号都被单独处理、编码或传输的各种应用是有利的。这样的应 用是录音、人工立体声图像增强、用于虚拟扬声器作品的音频编码、通过 扬声器实现的双声道再现和四声道作品。

考虑到M-S表示，可根据下式计算信号x_l(t)和x_r(t)：

x_l(t)=m₁(t)+s₁(t)   (7)

x_r(t)=m₁(t)-s₁(t)   (8)

在图18中，示出M-S分解。

两个表示都包括相同信息。需注意，方程式（5）和（6）中的归一化 权重0.5是可选的且其它权重是可能的，但这里示出的权重保证了应用方 程式（5）至（8）产生与输入信号相同的信号。使用其它权重可能会产生 类似或缩放的信号。

从如下的信号模型和方程式（3）和（4），信号s₁(t)仅包括被调移偏 离中心的信号成分（其中一些具有负相位）并且是单声道信号。中信号 m₁(t)包括除了s₁(t)中的那些信号之外的所有信号。用Michael Gerzon的话 描述，“M是包含关于立体声场景中间的信息的信号，而S仅包含关于侧 面的信息”。两者都是单声道信号。虽然振幅调移直接声音（direct sounds） 在侧信号中根据它们在立体全景中的位置而衰减，但是如混响和其它环境 信号的不相关信号成分在中信号中衰减3dB（对于零相关）。这些衰减由 左和右声道中的侧成分之间的相位抵消所引起。

在下文中，更详细地解释谱减法和谱加权。

谱减法是用于语音增强和降噪的众所周知的方法。它已经由Boll（可 能最早由他提出）提出用于降低语音通信中的相加噪声的影响[2]。在频域 中进行所述处理，其中输入信号的连续（可能重叠的）部分的短帧的谱被 处理。

基本原理是从输入信号（被假设为是所需语音信号和干扰噪声信号的 混合）的振幅谱中减去干扰噪声信号的振幅谱的估计。

谱加权（或短期谱衰减[3]）常用于音频信号处理的各种应用中，例 如语音增强[4]和盲源分离。如在频减法中，该处理的目的是分离所需信号 d(t)或衰减干扰信号n(t)，其中输入信号x(t)是d(t)和n(t)的相加混合，

x(t)=d(t)+n(t)   (9)

该处理被示于图19中。在频域中进行信号处理。因此，使用短时傅 立叶变换（STFT）、滤波器组，或用于使用多个频带X(f,k)、频带指数f 和时间指数k导出信号表示的任何其它装置变换输入信号x(t)。输入信号 的频域表示被处理，使得子带信号由时变权重G(f,k)缩放，

Y(f,k)=G(f,k)X(f,k)   (10)

该权重从输入信号表示X(f,k)计算，使得它们具有用于高信号噪声比 （SNR）的较大振幅和用于小SNR的低值。为了计算权重G(f,k)，典型 的时间和频率相关的SNR的估计，或N(f,k)或S(f,k)的估计是必需的。在 语音处理应用中，在非语音活动期间[2,5]，或使用最小统计[6]（例如基于 每个子带的局部最小值的跟踪），或通过使用靠近噪声源的第二麦克风计 算噪声的估计[2,5]。

加权运算Y(f,k)的结果是输出信号的频域表示。使用频域变换的逆处 理（例如逆STFT）计算输出时间信号y(t)。

通常情况下，权重G(f,k)被选择为实值，从而产生具有与X相同的 相位信息的输出谱Y。各种增益规则（例如如何计算权重G(f,k)）存在， 例如从谱减法和维纳滤波中导出。在下文中，将描述用于导出谱权重的不 同方法。假设s和n是相互正交的，即

$E\left\{x_k^2\right\}=E\left\{d_k^2\right\}+E\left\{n_k^2\right\}---\left(11\right)$

在下文中，更详细地解释维纳滤波。假定所需信号P_dd和干扰信号P_nn的功率谱密度（PSD）的估计（例如从STFT系数中导出），通过最小化均 方误差导出谱权重

E{(d(t)-y(t))²}   (11a)

$G_{\mathrm{wf}}\left(f\right)=\frac{P_{\mathrm{ss}}}{P_{\mathrm{xx}}}=\frac{P_{\mathrm{dd}}}{P_{\mathrm{dd}}+P_{\mathrm{nn}}}---\left(12\right)$

现在解释使用谱加权的谱减法。

谱权重被计算使得P_yy=P_xx-P_nn，即

$G_{\mathrm{ssp}}\left(f\right)=\sqrt{\frac{P_{\mathrm{dd}}}{P_{\mathrm{dd}}+P_{\mathrm{nn}}}}---\left(13\right)$

或者，实值谱权重可被导出，这可导致|Y|=|X|-|N|，通常被称为谱 振幅减法，其中权重

$G_{\mathrm{ssm}}\left(f\right)=\frac{\left|D\right|}{\left|D\right|+\left|N\right|}---\left(14\right)$

|D|是d(t)的振幅谱。|N|是n(t)的振幅谱。现在解释谱加权规则的归纳。 STSA滤波器的归纳公式通过引入三个参数α、β和γ而被导出，其中α 和β是控制衰减的强度的幂指数且γ是噪声高估因子。

$G_g\left(f\right)={\left(\frac{{\left|D\left(f\right)\right|}^{\alpha }}{{\left|D\left(f\right)\right|}^{\alpha }+\gamma {\left|N\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(15\right)$

方程式（15）是如上所述的噪声抑制规则的归纳公式，其中α=2，β= 2对应于谱减法且α=2，β=1对应于维纳滤波。振幅（而不是能量）的 谱减法通过设置α=1，β=1而实现。参数γ控制噪声量并解决噪声估计 方法的可能偏差。它可被选择为与估计的SNR或频率指数关联。

在图20中，典型的谱权重被示为SNR的函数，如在语音增强中所使 用的。

可发现各种其它增益规则，其具有权重随子带SNR单调增加的共同 特点，例如Ephraim-Malah估计器[7]或软判决/可变衰减算法（SDVA）[8]。

在实际实施中，谱权重通常由大于零的最小值约束以便减少伪像 （artifacts）。不同增益规则可应用在不同频率范围中[4]。所得到的增益可 沿着时间轴和频率轴两者被平滑处理以便减少伪像。通常情况下，第一阶 低通滤波器（漏积分）用于沿时间轴平滑且零相位低通滤波器沿频率轴而 应用。

实施例

图1示出根据一个实施例的用于从具有第一输入声道X_l(f)和第二 输入声道X_r(f)的立体声输入信号生成具有第一侧声道S_l(f)和第二侧声道 S_r(f)的立体声侧信号的装置。装置包括用于基于中侧信息midSideInf生成 修改信息modInf的修改信息生成器110。此外，装置包括信号操纵器120， 其适于基于修改信息modInf操纵第一输入声道X_l(f)以获得第一侧声道S_l(f) 并适于基于修改信息modInf操纵第二输入声道X_r(f)以获得第二侧声道 S_r(f)。

例如，修改信息生成器110可适于基于与立体声输入信号的单声道中 信号、立体声输入信号的单声道侧信号和/或立体声输入信号的单声道中信 号和单声道侧信号之间的关系相关的中侧信息midSideInf生成修改信息 modInf。

单声道信号可取决于由于将第一和第二输入声道X_l(f)、X_r(f)相加产 生的和信号。单声道侧信号可取决于由于从第一输入声道中减去第二输入 声道产生的差信号。例如，可根据下式计算单声道中信号：

M₁(f)=1/2(X_l(f)+X_r(f))   (15a)

可例如可根据下式计算单声道侧信号：

S₁(f)=1/2(X_l(f)–X_r(f))   (15b)

图1a示出根据一个实施例的用于生成立体声侧信号的装置，其中操 纵信息生成器110包括谱减法器115。谱减法器115适于通过生成指示立 体声输入信号的单声道中信号或单声道侧信号和第一或第二输入声道之 间的差值生成修改信息modInf。例如，谱减法器115可适于通过从立体声 输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值中减去 第一或第二输入声道的振幅值或加权振幅值生成修改信息。或者，谱减法 器115可适于通过从第一或第二输入声道的振幅值或加权振幅值中减去立 体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值生 成修改信息modInf。

图1b示出根据一个实施例的用于生成立体声侧信号的装置，其中修 改信息生成器110包括用于通过基于立体声输入信号的单声道中信号和单 声道侧信号生成第一谱加权因子生成修改信息modInf的谱权重生成器 116，其。

图2示出根据一个实施例的谱减法器210。第一输入声道的第一振幅 谱|X_l(f)|、第二输入声道的第二振幅谱|X_r(f)|和立体声输入信号的单声道中 信号的第三振幅谱|M₁(f)|被馈送到谱减法器210中。

谱减法器210的第一谱减法单元215从第一谱|X_l(f)|中减去通过加权 因子w（w指示范围为0≤w≤1内的标量因子）加权的第三谱|M₁(f)|，例 如，由加权因子w加权的第三振幅谱|M₁(f)|的第一振幅值被从第一振幅谱 |X_l(f)|的第一振幅值中谱减（spectrally subtract）；由加权因子w加权的第 三振幅谱|M₁(f)|的第二振幅值被从第一振幅谱|X_l(f)|的第二振幅值中谱减； 如此等等。通过这样，多个第一振幅侧值被获得作为修改信息。当谱减法 的结果为正时，第一振幅侧值是立体声侧信号的第一侧声道的振幅谱的振幅值。因此，第一谱减法单元215适于应用下式：

${\hat{S}}_l\left(f\right)=\left|X_1\left(f\right)\right|-w\left|M_1\left(f\right)\right|---\left(16\right)$

类似地，谱减法器210的第二谱减法单元218从第二谱|X_r(f)|中减去 通过加权因子w（w指示范围为0≤w≤1内的标量因子）加权的第三谱 |M₁(f)|，例如，由加权因子w加权的第三振幅谱|M₁(f)|的第一振幅值被从 第二振幅谱|X_r(f)|的第二振幅值中谱减；由加权因子w加权的第三振幅谱 |M₁(f)|的第二振幅值被从第二振幅谱|X_r(f)|的第二振幅值中谱地减去；如此 等等。因此，多个第二振幅侧值被获得作为修改信息。其中当谱减法的结 果为正时，第二振幅侧值是立体声侧信号的第二侧声道的振幅谱的振 幅值。通过这样，第二谱减法单元218适于下式：

${\hat{S}}_r\left(f\right)=\left|X_r\left(f\right)\right|-w\left|M_1\left(f\right)\right|---\left(17\right)$

图3示出根据一个实施例的修改信息生成器。修改信息生成器包括振 幅确定器305和谱减法器210。振幅确定器305被布置为接收第一X_l(f)输 入声道和第二X_r(f)输入声道和立体声输入信号的单声道中信号M₁(f)。第 一输入声道X_l(f)的第一振幅谱|X_l(f)|的第一振幅值、第二输入声道X_r(f)的 第二振幅谱|X_r(f)|的第二振幅值和单声道中信号M₁(f)的第三振幅谱|M₁(f)| 的第三振幅值。振幅确定器305将第一、第二和第三振幅值馈送到谱减法 器210中。谱减法器可以是根据图2的谱减法器，其适于生成第一侧声道 S_l(f)的振幅谱的第一立体声侧振幅值和第二侧声道S_r(f)的振幅谱 的第二立体声侧振幅值。

图4示出根据一个实施例的进行谱减法的装置。在时域中所代表的第 一输入声道x_l(t)和第二输入声道x_r(t)被设置到变换单元405中。变换单元 405适于将第一和第二时域输入声道x_l(t)、x_r(t)从时域变换到谱域以获得第 一谱域输入声道X_l(f)和第二谱域输入声道X_r(f)。谱域输入声道X_l(f)、X_r(f) 被馈送到声道生成器408中。声道生成器408适于生成单声道中信号 M₁(f)。可根据下式生成单声道中信号M₁(f)：

M₁(f)=1/2(X_l(f)+X_r(f))   (17a)

声道生成器408将所生成的中信号M₁(f)馈送到从所生成的中信号 M₁(f)中提取振幅值的第一振幅提取器411中。此外，第一输入声道X_l(f) 由变换单元405馈送到提取第一输入声道X_l(f)的振幅值的第二振幅提取器 412中。此外，变换单元405将第二输入声道X_r(f)馈送到从第二输入声道 提取振幅值的第三振幅提取器413中。变换单元405还将第一输入声道 X_l(f)馈送到从第一输入声道X_l(f)中提取相位值的第一相位提取器421中。 此外，变换单元405还将第二输入声道X_r(f)馈送到从第二输入声道中提取 相位值的第二相位提取器422中。

返回到第一振幅提取器411，所产生的单声道中信号的振幅值|M₁(f)| 被馈送到第一减法器431中。此外，所提取的振幅值|X_l(f)|被馈送到第一 减法器431中。第一减法器431生成第一输入声道的振幅值和所生成的中 信号的振幅值之间的差值。所生成的中信号的振幅可被加权。例如，第一 减法器可根据公式16计算差值：

${\hat{S}}_l\left(f\right)=\left|X_1\left(f\right)\right|-w\left|M_1\left(f\right)\right|---\left(16\right)$

类似地，第三振幅提取器413将振幅值|X_r(f)|馈送到第二减法器432 中。此外，振幅值|M₁(f)|也被馈送到第二减法器432中。类似于第一减法 单元431，第二减法单元432通过减去振幅值|X_r(f)|和所生成的中信号的振 幅值生成第二侧声道的振幅值。第二减法单元432可例如采用下式：

${\hat{S}}_r\left(f\right)=\left|X_r\left(f\right)\right|-w\left|M_1\left(f\right)\right|---\left(17\right)$

第一减法单元431然后将所生成的振幅值馈送到第一组合器441 中。此外，第一相位提取器421将第一输入声道X_l(f)的所提取的相位值馈 送到第一组合器441中。第一组合器441然后通过组合由第一减法单元431 生成的振幅值和由第一相位提取器421传送的相位值生成第一侧声道的谱 域值。例如，第一组合器441可采用下式：

$S_l\left(f\right)={\hat{S}}_l\left(f\right)\exp \left(2\pi {\Phi }_l\left(f\right)i\right)---\left(18\right)$

如果的一些值是负的，应用公式会生产 和的绝对值的组合，其中Φ_l(f)在相位中移相π。

类似地，第二减法单元432将第二侧信号的所生成的振幅值馈送 到第二组合器442中。第二相位提取器422将第二输入声道X_r(f)的所提取 的相位值馈送到第二组合器442中。第二组合器适于组合由第二减法单元 432传送的第二振幅值和由相位提取器422传送的相位值以获得第二侧声 道。例如，第二组合器442可采用下式：

$S_r\left(f\right)={\hat{S}}_r\left(f\right)\exp \left(2\pi {\Phi }_r\left(f\right)i\right)---\left(19\right)$

如果的一些值是负的，应用公式会生产 和exp(2πΦ_r(f)i)的绝对值的组合，其中Φ_r(f)在相位中移相π。

第一组合器441将以谱域表示的生成的第一侧信号馈送到逆变换单 元450中。逆变换单元450将第一谱域侧声道从谱域变换到时域以获得第 一时域侧信号。此外，逆变换单元450从第二组合器442中接收以谱域表 示的第二侧声道。逆变换单元450将第二谱域侧声道从谱域变换为时域以 获得时域第二侧声道。

如已经解释的，第一和第二侧声道的振幅值可由第一减法单元431 和第二减法单元432根据下式而生成：

${\hat{S}}_l\left(f\right)=\left|X_1\left(f\right)\right|-w\left|M_1\left(f\right)\right|---\left(16\right)$

${\hat{S}}_r\left(f\right)=\left|X_r\left(f\right)\right|-w\left|M_1\left(f\right)\right|---\left(17\right)$

标量因子0≤w≤1控制分离程度。谱减法的结果是立体声侧信号和的振幅谱。

通过从输入信号中减去立体声侧信号计算时间信号m(t)=[m_l(t) m_r(t)]。

m_l(t)=x_l(t)-s_l(t)   (20)

m_r(t)=x_r(t)-s_r(t)   (21)

o

通过减去时间信号计算中信号的事实，仅两个频率逆变换是必需的。 参数w优选被选择为接近1，但也可以是频率相关的。

图5示出根据采用这些概念的实施例的装置。

装置还包括第一变换单元501，其适于将第一时域输入声道x_l(t)从时 域变换到谱域以获得第一谱域输入声道X_l(f)；和第二变换单元502，其适 于将第二时域输入声道x_r(t)从时域变换到谱域以获得第二谱域输入声道 X_r(f)。

装置还包括声道生成器508、第一511、第二512和第三513振幅提 取器、第一521和第二522相位提取器、第一531和第二532减法单元和 第一541和第二542组合器，这些可分别对应于图4的装置的声道生成器 408、第一411、第二412和第三413振幅提取器、第一421和第二422 相位提取器、第一431和第二432减法单元和第一441和第二442组合器。

此外，装置还包括第一逆变换单元551。第一逆变换单元551从第一 组合器541接收以谱域表示的所生成的第一侧声道。第一逆变换单元551 将所生成的第一谱域侧声道S_l(f)从谱域变换到时域以获得第一时域侧声 道s_l(t)。

此外，装置还包括第二逆变换单元552。第二逆变换单元552从第二 组合器542接收以谱域表示的所生成的第二侧声道。第二逆变换单元552 将所生成的第二谱域侧声道S_r(f)从谱域变换到时域以获得第二时域侧声 道s_r(t)。

此外，装置还包括第一中声道生成器561。第一中声道生成器561在 时域中生成立体声中信号的第一中声道m_l(t)，其应用公式20：

m_l(t)=x_l(t)-s_l(t)   (20)

此外，装置还包括第二中声道生成器562。第二中声道生成器562在 时域中生成立体声中信号的第一中声道m_r(t)，其应用公式21：

m_r(t)=x_r(t)-s_r(t)   (21)

相同的结果通过使用如本文中为左声道示例地示出来的谱加权（类似 于上述章节“背景技术”中的处理）实施该处理而获得。复值谱X_l(f)如以下 方程式所示而加权：

$S_l\left(f\right)=\frac{\left|X_l\left(f\right)\right|-\left|M\left(f\right)\right|}{\left|X_l\left(f\right)\right|}{X}_l\left(f\right)---\left(22\right)$

虽然上面的方程式产生与如由谱减法（但有较大计算量；这主要是由 于计算谱权重的引起的除法）所获得的实际加权相同的结果，谱加权方法 具有优点，因为其提供了参数化导致具有类似特性的不同结果的处理的更 大可能性，如以下所述：

现在更详细地解释使用谱加权的信号分解。根据本实施例的概念的基 本原理将谱加权应用到左和右声道信号x_l(t)和x_r(t)，其中谱权重从M-S合 成中导出。M-S分解的中间结果是每个时间-频率片（tile）的中信号和侧 信号的比率（在以下被称为中侧比率（MSR））。该MSR可用于计算谱权 重，但是需注意，也可在不提及MSR的情况下替代地计算权重。在这种 情况下，MSR主要服务解释方法的基本思路的目的。对于计算立体声中 信号m(t)=[m_l(t)m_r(t)]，权重被选择为使得它们与MSR单调相关。对于计 算立体声侧信号s(t)=[s_l(t)s_r(t)]，权重被选择为使得它们与MSR的倒数单 调相关。

在一个实施例中，修改信息生成器包括谱权重生成器。图6示出根据 这样的实施例的装置。装置包括修改信息生成器610和信号操纵器620。 修改信息生成器包括谱权重生成器615。信号操纵器620包括第一操纵单 元621，其用于操纵立体声信号的第一输入声道X_l(f)；和第二操纵单元622， 其用于操纵立体声输入信号的第二输入声道X_r(f)。图6的谱权重生成器 615接收立体声输入信号的单声道中信号M₁(f)和单声道侧信号S₁(f)。谱 权重生成器615适于基于立体声输入信号的单声道中信号M₁(f)和单声道 侧信号S₁(f)确定谱加权因子G_s(f)。信号操纵器620然后将所生成的谱加 权因子G_s(f)作为修改信息馈送到修改信息生成器620中。修改信息生成器 620的第一修改单元621适于基于所生成的谱加权因子G_s(f)操纵立体声输 入信号的第一输入声道X_l(f)以获得立体声侧信号的第一侧声道S_l(f)。

另一个实施例示于图7中。作为图6的装置，图7的装置包括修改信 息生成器710和信号操纵器720。修改信息生成器包括谱权重生成器715。 信号操纵器720包括第一操纵单元721，其用于操纵立体声信号的第一输 入声道X_l(f)；和第二操纵单元722，其用于操纵立体声输入信号的第二输 入声道X_r(f)。图7的实施例的信号操纵器720适于基于相同的生成的谱加 权因子G_s(f)操纵第一输入声道X_l(f)以及第二输入声道X_r(f)以获得立体声 信号的第一S_l(f)和第二S_r(f)侧声道。

其它实施例示于图8中。作为图6的装置，图8的装置包括修改信息 生成器810和信号操纵器820。修改信息生成器包括谱权重生成器815。 信号操纵器820包括第一操纵单元821，其用于操纵立体声信号的第一输 入声道X_l(f)；和第二操纵单元822，其用于操纵立体声输入信号的第二输 入声道X_r(f)。谱权重生成器815适于生成两个或多个谱权重因子。此外， 修改信号生成器820的第一操纵单元821适于基于生成的第一谱加权因子 操纵第一输入声道。修改信息生成器820的第二操纵单元822还适于基于 生成的第二谱加权因子操纵第二输入声道。

图9示出根据一个实施例的修改信息生成器910。修改信息生成器910 包括振幅确定器912和谱权重生成器915。振幅确定器912适于接收以谱 域表示的单声道中信号M₁(f)。此外，振幅确定器912适于接收以谱域表 示的单声道侧信号S₁(f)。振幅确定器912适于确定单声道侧信号S₁(f)的谱 的振幅值|S₁(f)|作为振幅侧值。此外，振幅确定器912适于确定单声道中 信号M₁(f)的谱的振幅值|M₁(f)|作为振幅中值。

振幅确定器912适于将振幅侧值和振幅中值馈送到谱权重生成器915 中。谱权重生成器915适于基于第一数量与第二数量的比率生成第一谱加 权因子G_s(f)，其中第一数量取决于振幅侧值，并且其中第二数量取决于振 幅中值和振幅侧值。例如，可根据下式计算第一谱加权因子G_s(f)：

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(23\right)$

其中α、β、γ、δ和η是标量因子。

在下文中，更详细地描述谱权重的计算。这样的谱权重可通过使用如 在上面背景技术中的谱减法的普加权的上下文中描述的上述增益规则中 的一个而导出，通过根据表1代入所需信号d(t)和干扰信号Nn(t)。

  所需信号 干扰信号 立体声侧信号 s（t） m(t) 立体声中信号 m(t) s(t)

表1.将M-S信号分配到用于计算谱权重的信号。

例如，可根据方程式（23）、（24）和（25）计算立体声侧信号s(t)=[s_l(t) s_r(t)]。

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(23\right)$

S_l(f)=G_s(f)X_l(f)   (24)

S_r(f)=G_s(f)X_r(f)   (25)

附加参数δ被引入用于在分解过程中控制立体声侧信号成分的影响。

需注意，仅需要为信号对[x_l(t)x_r(t)]或[m(t)s(t)]计算频率变换，并根 据方程式（5）和（6）通过加法和减法导出上对。

以类似的方式，可根据方程式（26）、（27）和（28）计算立体声中信 号m(t)=[m_l(t)m_r(t)]。

$G_m\left(f\right)={\left(\frac{{\left|M\left(f\right)\right|}^{\alpha }}{\gamma {\left|S\left(f\right)\right|}^{\alpha }+\delta {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(26\right)$

M_l(f)=G_m(f)X_l(f)   (27)

M_r(f)=G_m(f)X_r(f)   (28)

图10示出用于从具有第一输入声道和第二输入声道的立体声输入信 号生成具有第一中声道M_l(f)和第二中声道M_r(f)的立体声中信号的装置。 装置包括修改信息生成器1010，其用于基于中侧信息midSideInf生成修改 信息modInf2；和信号操纵器1020，其适于基于修改信息操纵第一输入声 道X_l(f)以获得第一中声道M_l(f)并适于基于修改信息modInf操纵第二输入 声道X_r(f)以获得第二中声道M_r(f)。

图10a示出根据一个实施例的用于生成立体声中信号的装置，其中操 纵信息生成器1010包括谱减法器1015。谱减法器1015适于通过生成指示 立体声输入信号的单声道中信号或单声道侧信号和第一或第二输入声道 之间的差的差值生成修改信息modInf2。例如，谱减法器1015可适于通过 从立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权的振 幅值中减去第一或第二输入声道的振幅值或加权的振幅值生成修改信息 modInf2。或者，谱减法器1015可适于通过从第一或第二输入声道的振幅 值或加权振幅值中减去立体声输入信号的单声道中信号或单声道侧信号 的振幅值或加权de振幅值生成修改信息modInf2。

图10b示出根据一个实施例的用于生成立体声中信号的装置，其中修 改信息生成器1010包括谱权重生成器1016，其用于通过基于立体声输入 信号的单声道中信号和单声道的侧信号生成第一谱加权因子生成修改信 息modInf2。

修改信息生成器可例如根据公式26生成修改信息modInf2：

$G_m\left(f\right)={\left(\frac{{\left|M\left(f\right)\right|}^{\alpha }}{\gamma {\left|S\left(f\right)\right|}^{\alpha }+\delta {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(26\right)$

公式26中所示的权重的替代是从用于下混合兼容性的标准中导出权 重，其中G_s(f)+G_m(f)=1，从而导致

$G_{m2}\left(f\right)={\left(\frac{(\delta -1){\left|S\left(f\right)\right|}^{\alpha }+\gamma {\left|M\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {\left|M\left(f\right)\right|}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(29\right)$

通过即使在时间-频率频段（bin）被硬调移（panned hard）到一侧的 情况下增益函数（23）也不会导致权重等于1的观察启动上述方法的扩展。 这是分母总是比分子大的事实的结果，由于在左和右谱系数为零以及都为 零的情况下中信号将仅接近零。为了实现用于硬调移信号成分的G_s(f)=1， 公式（23）可被修改为

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma \min {\left[\right|X_l\left(f\right)|,|X_r\left(f\right)\left|\right]}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(30\right)$

方程式（30）的修改导致针对硬调移成分的整体增益。或者，方程式 （31）和（32）示出具有参数η的增益公式，其结果是η=0的等式（23） 和η=1的等式（30）。

$G_s\left(f\right)={\left(\frac{{\left|S\left(f\right)\right|}^{\alpha }}{\delta {\left|S\left(f\right)\right|}^{\alpha }+\gamma {Q\left(f\right)}^{\alpha }}\right)}^{\frac{1}{\beta }}---\left(31\right)$

其中Q(f)=ηmin[|X_l(f)|,|X_r(f)|]+(1-η)M(f)   (32)

需注意，上述谱加权不能在所有情况下都保证下混合兼容性，例如

x_l=s_l+m_l   (33)

x_r=s_r+m_r   (34)

如果需要能量保存分离时，权重需要被选择为使得

G_s(f)+G_m(f)=1   (35)

其可通过计算如上所述的G_s(f)或G_m(f)

G_s(f)orG_m(f)   (36)

并相应地计算其它加权因子（例如，如下）来解决

G_m(f)=1-G_s(f)   (37)

任选地，附加常数缩放因子可应用到减法之前的增益函数之一。

对于具有下混合兼容性的四声道重放的实例，参数可被设置为

γ=1,δ=1,η=0   (38)

谱权重G_s(f)被首先计算并缩放1.5dB。针对立体声中信号的增益被计 算为G_m(f)=1–G_s(f)。

增益函数被示为图11中的调移参数a的函数。在图11中，示出针对 立体声侧信号（实线）和立体声中信号（虚线）的示例增益。图示出增益 是互补的（例如所述分离可下混合兼容）。被调移到任一侧的信号成分在 立体声中信号中被衰减，且其被调移到中心的信号成分在立体声侧信号中 被衰减。在之间被调移的信号成分出现在两个信号中。增益函数被示为图 12中的调移参数a的函数。图12示出针对用于左声道（实线）和右声道 （虚线）的立体声侧信号（上图）和立体声中信号（下图）的谱加权的结 果。

图13示出根据其它实施例的用于生成立体声侧信号的装置。装置包 括变换单元1203、修改信息生成器1310、信号操纵器1320和逆变换单元 1325。立体声输入信号的第一输入声道x_l(t)和第二输入声道x_r(t)和立体声 输入信号的中信号m₁(t)和侧信号s₁(t)被馈送到变换单元1305中。变换单 元可以是带有频带指数f和时间指数k的短时傅立叶变换单元（STFT单 元）、滤波器组，或用于导出多个频带X(f,k)的信号表示的任何其它装置。 变换单元将以时域表示的中信号mid₁(t)、侧信号s₁(t)、第一输入声道x_l(t) 和第二输入声道x_r(t)变换到谱域信号，特别变换到谱域中信号M₁(f)、谱 域侧信号S₁(f)、谱域第一输入声道X_l(f)和谱域第二输入声道X_r(f)。谱域 中信号M₁(f)和谱域侧信号S₁(f)作为中侧信息被馈送到修改信息生成器 1310中。

修改信息生成器1310基于谱域单声道中信号M₁(f)和单声道侧信号 S₁(f)生成修改信息modInf。图13的修改信息生成器也可考虑第一输入声 道X_l(f)和/或第二输入声道X_r(f)，如由虚连接线1312和1314所指示的。 例如，修改信息生成器1310可生成基于单声道中信号M₁(f)、第一输入声 道X_l(f)和第二输入声道X_r(f)的修改信息。

修改生成器1310然后将所生成的修改信息modInf传递到信号操纵器 1320。此外，变换单元1305将第一谱域输入声道X_l(f)和第二谱域输入声 道X_r(f)馈送到信号操纵器1320中。信号操纵器1320适于基于修改信息 modInf操纵第一输入声道以获得由信号操纵器1320馈送到逆变换单元 1325中的第一谱域侧声道S_l(f)和第二谱域侧声道S_r(f)。

逆变换单元1325适于分别将第一谱域侧声道S_l(f)变换到时域以获得 第一时域声道侧s_l(t)和将第二谱域侧声道S_r(f)变换到时域以获得第二时域 声道侧s_r(t)。

图14示出根据其它实施例的用于生成立体声侧信号的装置。由图14 所示的装置不同于图13的装置，差别在于：图14的装置还包括声道生成 器1307，其适于接收第一输入声道X_l(f)和第二输入声道X_r(f)，并从第一 和第二输入声道X_l(f)、X_r(f)生成单声道中信号M₁(f)和/或单声道侧信号 S₁(f)。例如，可根据下式生成单声道中信号M₁(f)：

M₁(f)=1/2(X_l(f)+X_r(f))。

可例如根据下式生成单声道侧信号S₁(f)：

S₁(f)=1/2(X_l(f)–X_r(f))。

所提出的方法的基本原理是通过处理输入信号x(t)=[x_l(t)x_r(t)]并利用 m₁(t)和s₁(t)的频域表示包括所需信号成分的事实来计算所需信号的振幅 谱的估计，即m(t)=[m_l(t)m_r(t)]和s=[s_l(t)s_r(t)]。

在一个实施例中，采用谱减法。使用单声道中信号的谱修改输入信号 的谱。在另一个实施例中，采用谱加权，其中使用单声道中信号和单声道 侧信号导出权重。

根据实施例，具有与中信号和侧信号类似特性的信号应被计算，但在 单独聆听每个信号时不失去立体声信号。这可通过在一个实施例中使用谱 减法以及通过在另一个实施例中使用谱加权来实现。

根据另一实施例，提供了上混合器，其用于从具有两个上混合器输入 声道的立体声信号生成至少四个上混合声道。

上混合器包括根据上述实施例中的一个生成立体声侧信号的装置，以 生成第一侧声道作为第一上混合声道，并生成第二侧声道作为第二上混合 声道。上混合器还包括第一组合单元和第二组合单元。第一组合单元适于 组合第一输入声道和第一侧声道以获得第一中声道作为第三上混合器声 道。此外，第二组合单元适于组合第二输入声道和第二侧声道作为第四上 混合器声道。

图15示出根据一个实施例的上混合器。上混合器包括用于生成立体 声侧信号1510、第一中声道生成器1520和第二中声道生成器1530的装置。 第一输入声道X_l(f)被馈送到用于生成立体声侧信号的装置1510中并被馈 送到第一中声道生成器1520中。此外，第二输入声道X(f)被馈送到用于 生成立体声侧信号1510的装置并被馈送到第二中声道生成器1530中。此 外，用于生成立体声侧信号1510的装置将所生成的第一侧声道S_l(f)馈送 到第一中声道生成器1520中，而且还将所生成的第二侧声道S_r(f)馈送到 第二中声道生成器1530中。第一侧声道S_l(f)被输出作为由上混合器所生 成的第一上混合器声道。第二侧声道S_r(f)被输出作为由上混合器生成的第 二上混合器声道。第一中声道生成器1520组合第一输入声道X_l(f)和所生 成的第一侧声道S_l(f)以获得立体声中信号M_l(f)的第一声道。例如，中声 道生成器1520可采用下式：

M_l(f)=X_l(f)–S_l(f)。

此外，第二组合单元通过中声道生成器1530将立体声侧信号的第二 声道S_r(f)和第二输入声道X_r(f)组合以获得立体声中信号的第二声道M_r(f)。 例如，第二组合单元可采用下式：

M_r(f)=X_r(f)–S_r(f)。

立体声中信号M_l(f)的第一声道和立体声中信号M_r(f)的第二声道分别 被输出作为第三和第四上混合器声道。如可以看到的，立体声中信号和立 体声侧信号的存在对于使用环绕声音系统再现的立体声信号的上混和的 应用是有利的。立体声侧信号和立体声中信号的一个可能的应用是四声道 声音再现，如图16中所示。它包括四个声道，其被馈送到立体声中信号 和立体声侧信号中。

如上所述的四声道再现的示例应用是对立体声侧信号和立体声中信 号的特性的很好说明。需注意，所描述的处理可被进一步扩展来用于再现 具有与四声道不同的格式的音频信号。通过首先分离立体声侧信号和立体 声中信号并将所述处理再次应用到其中的一个或两个来计算更多输出声 道信号。例如，可通过重复使用立体声中信号作为输入信号的信号分解导 出用于根据ITU-R BS.775[1]使用5个声道再现的信号。

图17示出生成适合于由五个声道（中心声道C、左声道L、右声道 R、环绕SL左声道和环绕右声道SR）再现的多声道信号的处理的框图。

上述方法和装置已经被提出用于将立体声输入信号分解为立体声侧 信号和/或立体声中信号。谱减法或谱加权被应用于谱分离。MS分解产生 计算每个时间-频率片贡献于立体声侧信号与立体声中一个的程度所需的 基于方向的信息。这样的信号被用于应用立体声信号的上混合以用于由环 绕声系统再现。

虽然已经在装置的背景中描述了一些方面，但是明显的是这些方面也 表示对应方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。 类似地，在方法步骤的背景中描述的方面也表示对应块或对应装置的项或 特征的描述。

本发明的分解信号可被存储在数字存储介质上，或者可在传输介质 （诸如无线传输介质或有线传输介质（诸如因特网））上进行传输。

根据特定实施要求，本发明的实施例可以硬件或软件来实施。可使用 具有存储在其上的电子可读控制信号的数字存储介质（例如软盘、DVD、 CD、ROM、PROM或EPROM、EEPROM或FLASH存储器）来进行实 施，所述信号可与可编程计算机系统相互配合（或能够合作），使得进行 相应方法。

根据本发明的一些实施例包括具有电子可读控制信号的短暂性数据 载体，这些信号能够与可编程计算机系统合作，使得进行本文所描述的方 法之一。

一般而言，本发明的实施例可被实施为具有程序代码的计算机程序产 品，程序代码可操作来在计算机程序产品在计算机上运行时进行方法之 一。程序代码可例如存储在机器可读载体上。

其它实施例包括用于进行本文所描述的方法之一的计算机程序，其存 储在机器可读载体上。

换言之，本发明方法的一个实施例因此是具有程序代码的计算机程 序，所述程序代码用于在计算机程序在计算机上运行时进行本文所描述的 方法之一。

本发明方法的其它实施例因此是数据载体（或数字存储介质，或计算 机可读介质），其包括记录在其上的用于进行本文所描述的方法之一的计 算机程序。

本发明的方法的其它实施例因此是数据流或表示用于进行本文所描 述的方法之一的计算机程序的信号序列。数据流或信号序列可例如被配置 为经由数据通信连接（例如经由因特网）被转移。

其它实施例包括处理装置，例如计算机，或可编程逻辑装置，其被配 置或适于进行本文所描述的方法之一。

其它实施例包括具有用于进行本文所描述的方法之一的计算机程序 安装在其上的计算机。

在一些实施例中，可编程逻辑装置（例如现场可编程门阵列）可用于 进行本文所描述的方法的一些或所有功能。在一些实施例中，现场可编程 门阵列可与微处理器合作以便进行本文所描述的方法。一般而言，方法优 选地由任何硬件装置来进行。

上述实施例仅用于说明本发明的原理。应理解，本文所描述的布置和 细节的修改和变化对于本领域的其他技术人员是显而易见的。因此它的意 图是仅由即将发生的专利权利要求的范围限制，而不是由本文中的说明书 和实施例的说明的方式给出的具体细节限制。

文献：

[1]International Telecommunication Union,Radiocommunication  Assembly,“Multichannel stereophonic sound system with and without  accompanying picture”,Recommendation ITU-R.BS.775-2，2006年，瑞士日 内瓦。

[2]S.Boll,“Suppression of acoustic noise in speech using spectral  subtraction”,IEEE Trans.Accoustics,Speech,and Signal Processing，1979年， 第27卷，第2期，第113-120页，

[3]O.Cappé,“Elimination of the musical noise phenomenon with the  Ephraim-Malah noise suppressor”,IEEE Trans.Speech and Audio Processing， 1994年，第2卷，第345-349页。

[4]G.Schmidt,“Single-channel noise suppression based on spectral  weighting”,Eurasip Newsletter，2004年。

[5]M.Berouti,R.Schwartz和J.Makhoul,“Enhancement of speech  corrupted by acoustic noise”,Proc.of the IEEE Int.Conf.On Acoustics, Speech,and Signal Processing，ICASSP，1979年

[6]R.Martin,“Spectral subtraction based on minimum statistics”,Proc. of EUSIPCO,英国爱丁堡，1994年

[7]Y.Ephraim和D.Malah,“Speech enhancement using a minimum  mean-square error short-time spectral amplitude estimator”,Proc.of the IEEE  Int.Conf.，Acoustics,Speech,and Signal Processing,ICASSP，1984年

[8]E George,“Single-sensor speech enhancement using a  soft-decision/variable attenuation algorithm”,Proc.Of the IEEE Int.Conf.on  Acoustics,Speech,and Signal Processing,ICASSP，1995年。

[9]C.Faller,“Multiple-loudspeaker playback of stereo signals”,J.Audio  Eng.Soc.,第52卷，2004年。

[10]C.Faller,“Multiple-loudspeaker playback of stereo signals”,J. Audio Eng.Soc.,第54卷，2006年。

[11]C.Uhle,J.Herre,S.Geyersberger,F.Ridderbusch,A.Walter和O. Moser,“Apparatus and method for extracting an ambient signal in an apparatus  and method for obtaining weighting coefficients for extracting an ambient  signal and computer program”,美国专利申请2009/0080666，2009年。

[12]C.Uhle,J.Herre,A.Walther,O.Hellmuth,和C.Janssen, “Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio  signal and computer program”,美国专利申请2010/0030563，2010年。

[13]E.Vickers,“Two-to-three channel upmix for center channel  derivation”,美国专利申请2010/0296672，2010年。