首页> 中国专利> 音频对象呈现器、用于确定扬声器增益的方法以及使用平移对象扬声器增益和扩展对象扬声器增益的计算机程序

音频对象呈现器、用于确定扬声器增益的方法以及使用平移对象扬声器增益和扩展对象扬声器增益的计算机程序

摘要

一种音频对象呈现器(200;1200),用于基于对象位置信息(210、1210、azi、ele)和对象特征信息或扩展信息(1212)来确定扬声器增益(214、1214、1214a~c),扬声器增益描述用于将一个或多个音频对象信号(1260)包含到多个扬声器信号(1262a~1262c)中的增益,该音频对象呈现器被配置为使用音频对象的点源平移(202、1230)获得平移对象扬声器增益(202a、1232、g)。该音频对象呈现器被配置为考虑对象位置信息(210、1210、azi、ele)和对象特征信息或扩展信息(1212)来获得扩展对象扬声器增益(206a、1242、gOS)。该音频对象呈现器被配置为以始终存在平移对象扬声器增益的贡献的方式组合平移对象扬声器增益(202a、1232、g)和扩展对象扬声器增益(206a、1242、gOS),以便获得组合扬声器增益(214、1214、1214a~c)。还描述了方法和计算机程序。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-08-30

    实质审查的生效 IPC(主分类):H04S 7/00 专利申请号:2020800888191 申请日:20201120

    实质审查的生效

说明书

技术领域

根据本发明的实施例涉及一种音频对象呈现器。

根据本发明的其他实施例涉及用于确定扬声器增益的方法。

根据本发明的其他实施例涉及计算机程序。

根据本发明的实施例总体上涉及具有延伸的源大小的音频对象的平移。

背景技术

在下文中,将描述本发明的一些背景。然而,应当注意,在下文中提及的特征、功能和应用也可以可选地与根据本发明的实施例结合使用。

在环绕声再现领域,扬声器通常被放置在房间中的一些特定位置处。常用的环绕再现系统“5.1”在前半球包含三个扬声器,并且在后半球包含两个扬声器。如果意欲在两个扬声器之间的空间内再现信号(例如,单声道音频信号),则将该信号按比例分布到这两个相邻的扬声器。该过程也适用于3D扬声器设置,其另外在水平平面上方和/或下方具有扬声器。一种熟知的平移算法是所谓的“基于向量的振幅平移”(VBAP)。在计算平移增益之后,利用对应的权重从相关扬声器再现单声道信号。

已经发现,大多数平移技术再现空间中的点状发声信号(对象)。此外,已经发现,然而经常希望改变对象的大小、使其声音更为扩散、改变感知距离或实现其他心理声学效果。因此,对象应当(或有时必须)听起来不只是点状的,而是来自更宽的再现角度。

图1示出了不同的对象扩展配置的图形表示。在上面一行中,在附图标记100、101、102处,示出了具有三个不同扩展值的对象。在下面一行中,在附图标记104和105处,对象在再现球体上非均匀地扩展。

换言之,图1描绘了与再现扬声器设置无关的不同对象扩展配置。在附图标记100处,描绘了点状发声对象。在附图标记101和102处,对象在更宽/更高的再现角度上均匀地扩展。在附图标记104处,对象竖直地扩展,而在附图标记105处,对象水平地扩展。

鉴于这种情况,需要创建一种在听觉印象与计算复杂度之间提供改进的折衷的概念。

发明内容

根据本发明的实施例创建了一种音频对象呈现器,用于基于对象位置信息和对象特征信息来确定扬声器增益,扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。该音频对象呈现器被配置为使用音频对象的点源平移获得平移对象扬声器增益。该音频对象呈现器被配置为考虑对象特征信息(1212)来获得对象特征信息扬声器增益(例如,考虑在考虑中的一个或多个音频对象的延伸和/或感知延伸和/或感知角度延伸和/或扩散度和/或模糊的扬声器增益)。例如,对象特征信息可以描述发散度,例如源(或音频对象或源自音频对象的声音)到多个点的分布,其可以例如与源的拓广(broadening)相对应。例如,可以根据对象特征信息放大对象或对象的感知。一般而言,例如,对象特征信息可以表示音频对象的扩展和/或范围和/或扩散度,并且对象特征信息扬声器增益可以考虑音频对象的这种扩展和/或范围和/或扩散度。备选地或附加地,对象特征信息可以例如描述音频对象的距离,并且该距离可以例如在预备步骤中被转换为扩展,其中然后可以在提供对象特征信息扬声器增益时考虑该扩展。然而,作为另一选项,对象特征信息扬声器增益也可以从距离中直接导出。

该音频对象呈现器还被配置为以始终存在平移对象扬声器增益的贡献的方式组合平移对象扬声器增益(202a、1232、g)和对象特征信息扬声器增益(206a、1242、gOS),以便获得组合扬声器增益(214、1214、1214a~c)。

根据本发明的该实施例基于以下发现:可以通过基于平移对象扬声器增益和扩展对象扬声器增益二者来获得对象特征信息扬声器增益(其可以对应于扩展对象扬声器增益)来获得计算复杂度与可实现的听觉印象之间的良好的折衷,对象特征信息扬声器增益描述来自与不同扬声器相关联的不同扬声器信号中的音频对象的对象信号的强度。具体地,通过使用平移对象扬声器增益(其通常提供“点源”听觉印象),可以促进用户对音频对象的定位。例如,平移对象扬声器增益的导出可以使用音频对象的点源平移,点源平移可以例如选择单个扬声器用于音频对象的回放,或者可以例如将音频对象分布到最接近音频对象的多个扬声器(例如,同时不使用不是最接近音频对象的最近扬声器的那些扬声器)。因此,音频对象的“点源”平移通常提供平移对象扬声器增益,其中仅最接近对象位置的几个扬声器的扬声器增益为非零。

此外,该音频对象呈现器还获得对象特征信息对象扬声器增益,其中对象在延伸的区域上扩展,例如在方位角的延伸范围上和/或在仰角的延伸范围上扩展。因此,对象特征信息对象扬声器增益的确定考虑音频对象的延伸,该延伸可以例如从对象特征信息中导出。与平移对象扬声器增益的确定相比,对象特征信息对象扬声器增益的确定通常使音频对象在更多数量的扬声器上扩展,因为对象特征信息对象扬声器增益的确定考虑音频对象的延伸,并且通常使用相对较广(例如,甚至比考虑中的音频对象的延伸更广)的稳定(例如,稳定地衰减)分布特性。

因此,通过组合基于音频对象的点源平移的平移对象扬声器增益和考虑音频对象的延伸的对象特征信息对象扬声器增益,可以实现音频对象的良好定位(甚至对于具有相对较大延伸的对象也是如此),并且仍然能够感知音频对象的延伸。这在存在多个使用和/或用户不位于收听布置的“甜点”的情况下尤其如此。通过始终例如独立于对象特征信息而引入平移对象扬声器增益的贡献,可以实现始终确保音频对象的定位,并且甚至对于不处于甜点位置的收听者也是可能的。

此外,应当注意,对象特征信息通常允许确定或估计音频对象的延伸。例如,对象特征信息可以指示对象的类型,其中该对象的类型可以暗示用于确定扩展对象扬声器增益的参数(例如,扩展参数)。例如,对象特征信息可以允许区别相对较小的对象和相对较大的对象。备选地或附加地,对象特征信息可以允许区别近对象和远对象,这还可以暗示用于确定扩展对象扬声器增益的一个或多个参数。可选地,对象特征信息可以描述音频对象的“斑点状”或“扩散的”延伸,或者音频对象到多个局部位置的分布。

概言之,该音频对象呈现器可以从对象特征信息中导出用于确定对象特征信息对象扬声器增益的一个或多个参数。因此,对象特征信息允许适当地调整扩展对象扬声器增益的导出,使得对象既可以由于提供平移对象扬声器增益而被定位,又可以由于在提供对象特征信息扬声器增益时考虑了对象特征信息而以适当的延伸被感知。

在优选实施例中,该音频对象呈现器被配置为还考虑对象位置信息来获得对象特征信息扬声器增益。这样,可以考虑音频对象的延伸和位置二者。

在优选实施例中,所述对象特征信息是音频对象扩展信息。这允许特别高效的计算,因为在这种情况下不需要将“抽象的”对象特征信息映射到对象扩展信息上。

根据本发明的实施例创建了一种音频对象呈现器,用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和对象特征信息来确定扬声器增益,扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益(例如,组合扬声器增益或所得扬声器增益)。对象特征信息可以例如是指示对象是小的还是延伸的信息(例如,对象大小值),或者对象特征信息可以例如是对象距离信息,该对象距离信息可以被映射到扩展值上(例如,映射到描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)上和/或映射到描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle)上)。然而,其他类型的对象特征信息也是可能的。

该音频对象呈现器被配置为使用音频对象的点源平移来获得平移对象扬声器增益(例如,也被称为“对象扬声器增益”,或者由向量g表示)。在点源平移中,音频对象可以例如被视为点源,其中扩展信息例如被忽略,并且其中音频对象的信号通过平移对象扬声器增益的适当选择而与音频对象的对象位置的环境中的两个或更多个扬声器相关联。

该音频对象呈现器被配置为考虑对象位置信息和对象特征信息来获得扩展对象扬声器增益(例如,也被称为扩展扬声器增益,或者被表示为向量gOS)。

该音频对象呈现器被配置为以始终存在平移对象扬声器增益的贡献(例如,独立于对象特征信息)的方式组合平移对象扬声器增益(例如,g)和扩展对象扬声器增益(例如,gOS),以便获得组合扬声器增益。

根据本发明的该实施例基于以下发现:可以通过基于平移对象扬声器增益和扩展对象扬声器增益二者获得扩展对象扬声器增益来获得计算复杂度与可实现的听觉印象之间的良好的折衷,扩展对象扬声器增益描述来自与不同扬声器相关联的不同扬声器信号中的音频对象的对象信号的强度。具体地,通过使用平移对象扬声器增益(其通常提供“点源”听觉印象),可以促进用户对音频对象的定位。例如,平移对象扬声器增益的导出可以使用音频对象的点源平移,点源平移可以例如选择单个扬声器用于音频对象的回放,或者可以例如将音频对象分布到最接近音频对象的多个扬声器(例如,同时不使用不是最接近音频对象的最近扬声器的那些扬声器)。因此,音频对象的“点源”平移通常提供平移对象扬声器增益,其中仅最接近对象位置的几个扬声器的扬声器增益为非零。

此外,该音频对象呈现器还获得扩展对象扬声器增益,其中对象在延伸的区域上扩展,例如在方位角的延伸范围上和/或在仰角的延伸范围上扩展。因此,扩展对象扬声器增益的确定考虑音频对象的延伸,该延伸可以例如从对象特征信息中导出。与平移对象扬声器增益的确定相比,扩展对象扬声器增益的确定通常使音频对象在更多数量的扬声器上扩展,因为扩展对象扬声器增益的确定考虑音频对象的延伸,并且通常使用相对较广(例如,甚至比考虑中的音频对象的延伸更广)的稳定(例如,稳定地衰减)分布特性。

因此,通过组合基于音频对象的点源平移的平移对象扬声器增益和考虑音频对象的延伸的扩展对象扬声器增益,可以实现音频对象的良好定位(甚至对于具有相对较大延伸的对象也是如此),并且仍然能够感知音频对象的延伸。这在存在多个使用和/或用户不位于收听布置的“甜点”的情况下尤其如此。通过始终例如独立于扩展信息或独立于对象特征信息而引入平移对象扬声器增益的贡献,可以实现始终确保音频对象的定位,并且甚至对于不处于甜点位置的收听者也是可能的。

此外,应当注意,对象特征信息通常允许确定或估计音频对象的延伸。例如,对象特征信息可以指示对象的类型,其中该对象的类型可以暗示用于确定扩展对象扬声器增益的参数(例如,扩展参数)。例如,对象特征信息可以允许区别相对较小的对象和相对较大的对象。备选地或附加地,对象特征信息可以允许区别近对象和远对象,这还可以暗示用于确定扩展对象扬声器增益的一个或多个参数。

概言之,该音频对象呈现器可以从对象特征信息中导出用于确定扩展对象扬声器增益的一个或多个参数。因此,对象特征信息允许适当地调整扩展对象扬声器增益的导出,使得对象既可以由于提供平移对象扬声器增益而被定位,又可以由于在提供扩展对象扬声器增益时考虑了对象特征信息而以适当的延伸被感知。

概言之,上述音频对象呈现器允许确定提供良好的听觉印象同时保持合理小的计算复杂度的扬声器增益。

进一步概言之,本发明总体上创建了一种对象呈现器,其使用VBAP平移对象,然后确定对象的对象特征增益,并且始终将对象特征增益与VBAP平移对象相关地组合。

根据本发明的另一实施例创建了一种音频对象呈现器,用于基于对象位置信息(例如,方位角(azi)和/或仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和扩展信息(例如,描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)和/或描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle))来确定扬声器增益(例如,组合扬声器增益或所得扬声器增益),扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该音频对象呈现器被配置为使用音频对象的点源平移(其中例如,音频对象被视为点源,其中例如,扩展信息被忽略,并且其中例如,音频对象的信号通过平移对象扬声器增益的适当选择而与音频对象的对象位置的环境中的两个或更多个扬声器相关联)来获得平移对象扬声器增益(也被称为“对象扬声器增益”,或者由向量g表示)。

该音频对象呈现器被配置为考虑对象位置信息和扩展信息来获得扩展对象扬声器增益(例如,也被称为扩展扬声器增益,或者例如被表示为向量gOS)。

该音频对象呈现器被配置为以始终存在平移对象扬声器增益的贡献(例如,独立于扩展信息)的方式组合平移对象扬声器增益(例如,g)和扩展对象扬声器增益(例如,gOS),以便获得组合扬声器增益。

该音频对象呈现器基于与上述音频对象呈现器相同的考虑。然而,评估扩展信息而不是对象特征信息,扩展信息直接描述对象应如何扩展。例如,扩展信息可以是描述在方位角方向上的扩展和/或在仰角方向上的扩展的扩展角度信息。备选地,扩展信息也可以是立体角度信息,或者可以以任何其他形式指定对象的大小(例如,使用绝对大小信息和/或距离信息等)。因此,能够获得组合扬声器增益,使得组合扬声器增益允许以良好的听觉印象表示对象信号,从而使收听者能够定位对象并且以适当的延伸感知对象。例如,这可以通过始终使用平移来实现,即使对象的扩展足够广。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为评估一个或多个增益函数(例如,一个或多个多项式函数或者一个或多个抛物线函数;例如,扩展加权曲线),一个或多个增益函数将支撑点(例如,人为生成的支撑点;例如,以SSP指定)的位置与对象位置之间的差异映射到一个或多个扩展增益值贡献(例如,aziGain(naz)或eleGain(nel))上,并且基于该一个或多个扩展增益值贡献来确定扩展对象扬声器增益(例如,gOS)。

通过使用支撑点的位置并且通过评估一个或多个增益函数(其可以将支撑点的位置与对象位置之间的差异映射到一个或多个扩展增益值贡献上),能够获得用于确定扩展增益值的均匀且计算上极高效的计算方案。例如,增益函数可以对对象位置与支撑点的位置之间的角度差异(例如,在方位角和仰角两方面)进行加权,从而允许简单但准确地确定扩展增益值贡献。此外,通过使用支撑点位置而非扬声器位置,可以确保高度的均匀性,这通常有助于降低算法复杂度。例如,可以预先计算与支撑点相关联的信号增益到与实际扬声器相关联的信号增益的映射,并且不需要针对每个音频对象重新计算。然而,可以使用具有相对较低复杂度的算法来确定与通常在几何形状上规则的支撑点相关联的增益值。因此,可以以高效率确定组合扬声器增益。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为根据在第一方向上的扩展(例如,spread

因此,可以判定,在与平移对象扬声器增益的确定相比时,扩展对象扬声器增益的确定具有何种重要性(或权重)。例如,对于大的扩展角度,在与扩展相对较小的情况相比时,扩展对象扬声器增益在组合中的相对重要性可以增大。此外,通过调整扩展对象扬声器增益的权重,可以确保平移对象扬声器增益的(相对)贡献对于其中扩展相对较宽的情况降低,从而避免不良的听觉印象。相比之下,当扩展相对较小时,可以增大平移对象扬声器增益的(相对)贡献,从而反映音频对象的局域化性质。因此,如果例如音频对象的扩展可以随时间的推移而升高(可能例如是考虑中的音频对象是移动音频对象的情况),则也可能具有平滑转变。概言之,确定扩展对象扬声器增益在与平移对象扬声器增益的组合中的权重允许实现良好的听觉印象,甚至在宽扩展对象的情况下也是如此。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为根据在第一方向上的扩展角度(或归一化扩展角度或归一化扩展范围或加权扩展范围)(例如,spread

已经发现,在第一方向上的扩展角度与在第二方向上的角度的乘积良好地反映了音频对象的扩展特征。具体地,如果音频对象在一个方向上包括非常小的扩展角度,则该乘积将相对较小,并且对象将被视为相对局域化。然而,已经发现,在第一方向上的扩展角度与在第二方向(其可以例如与第一方向垂直)上的扩展角度的乘积对于调整扩展对象扬声器增益在与平移对象扬声器增益的组合中的权重起着良好的作用,并且可以以非常高的计算效率来确定。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为将以固定权重(例如,1)加权的平移对象扬声器增益(例如,平移对象扬声器增益的向量g)和以可变权重(例如,attenGain或g

使用这种方法,可以实现平移对象扬声器增益与扩展角度无关地在组合中具有足够的权重,同时仍然可以改变平移对象扬声器增益与扩展对象扬声器增益之间的有效(相对)加权。然而,通过确保平移对象扬声器增益的贡献不降至某个最小权重以下,确保了对象可以始终合理地局域化,而与收听者在扬声器环境中的位置无关。这允许避免音频印象的强烈劣化,同时维持调整音频对象的感知延伸的可能性。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为对将以固定权重加权的平移对象扬声器增益和以可变权重加权的扩展对象扬声器增益相加的结果进行归一化(例如,通过使相加结果除以相加结果的范数)。

使用这种归一化,可以实现总能量或总感知响度大体上独立于一个或多个音频对象的扩展。因此,可以与扩展的调整分开进行响度的调整。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为根据下式确定扩展对象扬声器增益在与平移对象扬声器增益的组合中的权重attenGain:

attenGain=0.89f*min(c

min(c

其中c

使用对扩展扬声器增益在与平移对象扬声器增益的组合中的权重的这种确定,可以实现特别良好的听觉印象。在该计算中,权重取决于扩展角度中的较小者和扩展角度中的较大者二者,其中扩展角度中的较大者被给予较大的权重。已经发现,对二维扩展的这种评估(即,对扩展对象扬声器增益的加权的这种确定)导致扩展对象扬声器增益和平移对象扬声器增益的相对加权,这带来良好的听觉印象。

然而,应当注意,可以改变因子0.89f和0.11f,其中应用于min(c

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为在与平移对象扬声器增益相比时,随着音频对象的扩展角度增大(例如,随着在方位角方向上的扩展角度与在仰角方向上的扩展角度的乘积增大)而增大扩展对象扬声器增益的相对贡献,例如直至在方位角方向上的扩展角度和在仰角方向上的扩展角度达到预定值的点。

已经发现,这种概念导致特别良好的听觉印象,因为例如在第一方向(例如,方位角方向)上的扩展角度和在第二方向(例如,仰角方向)上的扩展角度都被考虑并且对扩展对象扬声器增益在平移对象扬声器增益和扩展对象扬声器增益的上述组合中的贡献的权重有所贡献。然而,通过施加特定限制(其可以由“预定值”定义),仍然可以避免对扩展对象扬声器增益使用过度加权,这会使对声源进行定位的可能性降低。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为考虑对象位置信息和扩展信息并且使用支撑点位置在极坐标中的表示(例如,aziSSP和/或eleSSP)来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS),并且音频对象呈现器被配置为基于扩展对象扬声器增益来提供扬声器增益。

已经发现,支撑点位置在极坐标中的表示通常在很大程度上促进计算,因为它对于在方位角扩展和仰角扩展方面表示扩展非常有帮助。此外,在使用极坐标时,通常不需要考虑半径分量,因为通常适当的是假定支撑点位置的预定半径。因此,例如可以仅使用两个极坐标(例如,方位角和仰角)来表示支撑点。因此,计算复杂度通常降低。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为:

-评估音频对象的方位角位置与一个或多个支撑点的方位角位置之间的一个或多个角度差异(例如,diffCLKDir、diffAntiCLKDir以及可选地,diffCLKDir+(n-1)*Spread.openAngle和diffAntiCLKDir+(n-1)Spread.openAngle),和/或

-评估音频对象的仰角位置与一个或多个支撑点的仰角位置之间的一个或多个角度差异(例如,diffCLKDir、diffAntiCLKDir),

以便获得扩展扬声器增益。

已经发现,可以以极少的计算工作量来执行这种角度差异的评估。此外,已经发现,可以以适度的工作量将角度差异映射到与支撑点相关联并且描述例如应当如何将音频对象的音频信号呈现给支撑点的值或增益值上。此外,在计算上高效的实现中,支撑点可以以高度规则的方式来布置,使得例如要评估的方位角差异对于不同仰角是相同的,并且使得例如要评估的仰角差异对于不同方位角是相同的。使用这样的概念,可以达到特别高的计算效率,因为仅需要针对一个仰角评估方位角差异,并且仅需要针对一个方位角评估仰角差异。因此,这里提及的概念可以有助于减少计算工作量,其促进在具有小计算资源的设备中实现该概念。

在之前提及的音频对象呈现器的优选实施例中,支撑点位置在球体半径的+/-10%或+/-20%的容差内被布置在所述球体上。

通过使用布置在球体上的支撑点,通常不必显式地考虑半径。此外,已经发现,这样的支撑点位置在以角度值(例如,仰角值和方位角值)方面表达音频对象的延伸的情况下特别有帮助。相比之下,使用笛卡尔坐标会显著地增加计算工作量,因为将需要考虑三个空间坐标,并且因为通常将需要在计算中应用计算上昂贵的三角函数以在笛卡尔坐标与角度表示之间进行转换。

在之前提及的音频对象呈现器的优选实施例中,支撑点位置包括沿着具有恒定仰角(例如,-135度或-90度或-45度或0度或45度或90度或135度的仰角)和恒定半径(例如,为1的归一化半径)的圆或者甚至沿着具有不同恒定仰角和恒定半径的多个圆的均匀方位角间隔(例如,45度)。

备选地或附加地,支撑点位置包括沿着具有恒定方位角(例如,-135度或-90度或-45度或0度或45度或90度或135度的方位角)和恒定半径(例如,为1的归一化半径)的圆或甚至沿着具有不同恒定方位角和恒定半径的多个圆的均匀仰角间隔(例如,45度)。

通过使用沿着具有恒定仰角的圆的均匀方位角间隔并且通过使用沿着具有恒定方位角的圆的均匀仰角间隔,可以减少计算工作量。此外,如果存在沿着具有不同恒定仰角和恒定半径的多个圆的均匀方位角间隔,则可以进一步减少计算工作量,同时仍然维持整个球体表面的良好覆盖范围,因为如果具有不同仰角和恒定半径的多个圆全部具有均匀方位角间隔,则不需要针对这些圆重复计算的显著部分。例如,方位角差异的计算仅需要针对其中一个圆进行计算,并且结果也可以应用于与考虑中的第一圆具有相同的均匀方位角间隔的其他圆。相同情况也适用于具有不同恒定方位角和恒定半径并且优选地具有相同的均匀仰角间隔的多个圆。仰角差异仅需要计算一次,并且可以针对在具有相同的均匀仰角间隔的另一圆上的支撑点位置采用其结果。因此,可以以非常小的计算工作量对大量的支撑点执行计算。

在之前提及的音频对象呈现器的优选实施例中,对象呈现器被配置为获得扩展对象扬声器增益,使得音频对象在以下区域上扩展:该区域在音频对象位于的第一半球中延伸,并且还在方位角位置与第一半球相反的第二半球中延伸。例如,第一半球可以是收听者位置前方的半球,例如具有在-90度与+90度之间的方位角,其中0度是收听者的观看方向,并且例如,第二半球可以是收听者位置后方的半球,例如具有在-180度与-90度之间或在90度与180度之间的方位角,或反之亦然。

通过使音频对象在在第一半球中延伸并且还在第二半球中延伸的区域上扩展,对象可以有效地在用户的头部上方或用户下方扩展。因此,可以实现向收听者给出延伸对象在其头部上方的印象的听觉印象,该延伸对象如此大使得它在收听者头部前方并且在收听者头部后方。因此,可以提供特别真实的听觉印象。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为使用-180度与+180度之间的延伸仰角范围。

通过使用延伸仰角范围,可以避免不连续性并且可以简化计算,这可以减少情况区别和角度校正的数量。例如,与指示应针对80度的仰角在两个相反方位角(例如,0度和180度的方位角)呈现对象相比,表示(并且在数学上或算法上表示)应针对给定方位角并针对80度和100度的仰角呈现对象更为简单。因此,通过使仰角范围(其正常情况下自-90度延伸至+90度)翻倍,可以简化计算,并且可以简化计算结果的表示。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为针对给定对象位置(例如,由方位角值azi和仰角值ele定义)并且针对给定扩展(例如,由spreadAngleAzi或spreadAngleEle定义)计算以下项:

-第一组方位角增益值(例如,aziGain),描述与支撑点位置或支撑点方位角索引(例如,naz)相关联的多个方位角值对扩展增益(例如,g_spd)的贡献(例如,使用多项式函数或抛物线函数,其宽度适于方位角方向上的对象扩展宽度),该第一组方位角增益值与指示不越过球面坐标系的极点的原始仰角值范围(例如,-90度至+90度)中的仰角值相关联,以及

-第二组方位角增益值(例如,aziGainExtd),描述与支撑点位置或支撑点方位角索引(例如,naz)相关联的多个方位角值对扩展增益的贡献(例如,使用多项式函数或拋物线函数,其宽度适于方位角方向上的对象扩展宽度),该第二组方位角增益值与指示越过球面坐标系的极点之一(例如,越过-90度的仰角处的极点或越过+90度的仰角处的极点)的延伸仰角值范围(例如,-180度至-90度以及+90度至+180度)中的仰角值相关联,该延伸仰角值范围可以例如与音频对象在球面坐标系的极点之一上的扩展相对应。

该音频对象呈现器还被配置为使用第一组方位角增益值(例如,aziGain(naz))并且使用第二组方位角增益值(例如,aziGainExtd)导出扩展增益(其例如用于确定扩展对象扬声器增益gOS)。

通过计算两组方位角增益值(一组用于原始(或基本)仰角值范围(或与其相关联),一组用于延伸仰角值范围(或与其相关联)),可以以特别高效的方式计算音频对象在收听者的头部上方(或收听者下方)的扩展。具体地,已经发现,这些组方位角增益值可以用于以高效方式(例如,使用预定义组合映射)导出扩展增益。另一方面,由于可以容易地使用加法或减法从原始仰角值范围中的仰角值中导出延伸仰角值范围中的仰角值而无需区别多个情况并且无需改变方位角值,因此促进了计算和结果的表示。

例如,在用户的头部上方扩展音频对象时,可以通过使用大于90度的仰角值简单地计算在用户的头部上方的扩展。因此,具有给定方位角(例如,处于-90度与+90度之间的范围内的方位角)和在0度与90度之间的正仰角的对象可以容易地使用大于90度的仰角在用户的头部上方延伸,同时维持方位角(在-90度与+90度之间的范围内)不变。因此,与延伸仰角值范围(在该示例中,+90度与+180度之间)中的仰角值相关联的仰角增益值可以被获得作为中间量,并且可以稍后例如使用仅在原始仰角值范围内的仰角使用与第二组方位角增益值中的方位角增益值的组合被映射回支撑点或映射回坐标系。概言之,在使音频对象在用户的头部上方(或用户下方)扩展时,所描述的概念显著地改善了计算效率。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为针对给定对象位置(例如,由方位角值azi和仰角值ele定义)并且针对给定扩展(例如,由spreadAngleAzi或spreadAngleEle定义)计算以下项:

-第一组仰角增益值(例如,eleGain),描述与支撑点位置或扬声器方位角索引或支撑点仰角索引(例如,nel)相关联的多个仰角值对扩展增益的贡献(例如,使用拋物线函数,其宽度适于方位角方向上的对象扩展宽度),该第一组仰角增益值与指示不越过球面坐标系的极点的原始仰角值范围(例如,-90度至+90度)中的仰角值相关联,以及

-第二组仰角增益值(例如,eleGainExtd),描述与支撑点位置或扬声器仰角索引或支撑点仰角索引(例如,nel)相关联的多个仰角值对扩展增益的贡献(例如,使用拋物线函数,其宽度适于方位角方向上的对象扩展宽度),该第二组仰角增益值与指示越过球面坐标系的极点之一(例如,越过-90度的仰角处的极点或越过+90度的仰角处的极点)的延伸仰角值范围(例如,-180度至-90度以及+90度至+180度)中的仰角值相关联,该延伸仰角值范围可以例如与音频对象在球面坐标系的极点之一上的扩展相对应。

该音频对象呈现器还被配置为使用第一组方位角增益值(aziGain(naz))、使用第二组方位角增益值(aziGainExtd)、使用第一组仰角增益值(eleGain(nel))并且使用第二组仰角增益值(eleGainExtd(nel))导出扩展增益。

该实施例基于与计算方位角增益值的实施例类似的考虑。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器还被配置为组合(例如,用乘法)第一组方位角增益值和第一组仰角增益值的值(例如,对应值,如aziGain(naz)、eleGain(nel)),并且组合第二组方位角增益值和第二组仰角增益值的(例如,对应)值(例如,aziGainExtd(naz)、eleGainExtd(nel))。

使用这种组合,可以组合(例如,相加)与相同位置相关联的值。例如,每个支撑点位置可以被原始仰角值范围中的第一方位角值与第一仰角值的组合以及延伸仰角值范围中的第二方位角值与第二仰角值的组合参考。例如,一个点(例如,支撑点位置)可以通过+80度的仰角下的+10度的方位角指定,并且还可以通过-170度的方位角和+100度的仰角指定。换言之,能够组合与相同点相关联但由方位角值与仰角值的不同组合参考的值,例如方位角增益值和仰角增益值。

例如,第二组方位角增益值可以包括相同的方位角增益值,这些值被包括在第一组方位角增益值中但是与相反的方向(或方位角值)相关联。例如,第二组方位角增益值可以在-170度(或通常x-180度或x+180度)处的方位角处指示与第一组方位角增益值在+10度(或通常x度)的方位角处指示的增益相同的增益。然而,由+10度的方位角和+80度(或通常y度)的仰角指定的实际位置实际上与由-170度的方位角和+100度(或通常180度-y)的延伸仰角值范围中的仰角值指定的位置相同。因此,与延伸仰角值范围中的仰角值相关联的仰角增益值应当与关联于“相反”方位角的方位角增益值组合。因此,第二组方位角增益值实际上描述了对“相反”方位角值的扩展增益的贡献。

概言之,通过组合第一组方位角增益值与第一组仰角增益值的值并且通过组合第二组方位角增益值与第二组仰角增益值的值,可以组合与相同位置(由不同方位角值和仰角值描述)相关联的两对值,从而获得与支撑点相关联的有意义的增益值。

在之前提及的音频对象呈现器的优选实施例中,第二组方位角增益值表示在与增益值在由第一组方位角增益值表示的方位角上的演变相比时,增益值在移位180度的方位角上的演变。

通过使用方位角增益值的这种表示,使用两组方位角增益值,可以认为延伸仰角值范围中的仰角值在考虑经修改的方位角时与原始仰角值范围中的仰角值指定相同的点。因此,通过使用两组方位角增益值表示增益值在两个经移位的方位角范围上的演变允许对延伸仰角范围中的仰角进行简单且计算上高效的处理,因为“第二组方位角增益值”可以容易地与关联于延伸仰角范围的仰角增益值组合。

在之前提及的音频对象呈现器的优选实施例中,第一组方位角增益值表示鉴于方位角对象位置和方位角扩展角度,增益值在360度的范围上的演变,其中角度准确度由扬声器的数量或或者由支撑点的数量决定。

备选地或附加地,第二组方位角增益值表示鉴于旋转180度的方位角对象位置和方位角扩展角度,增益值在360度的范围上的演变,其中角度准确度由扬声器的数量或者由支撑点的数量决定。

通过使用表示增益值在360度的范围上的演变的一组方位角增益值,可以高效地考虑收听者的完整环境,并且可以考虑在收听者前方的音频对象和在收听者后方的音频对象二者。通过使用表示增益值在360度的范围上的演变的这些组方位角增益值,也可以处理音频对象在用户的头部上方或用户下方的扩展。

在之前提及的音频对象呈现器的优选实施例中,第一组仰角增益值表示鉴于仰角对象位置(其在-90度与+90度之间的范围内)和仰角扩展角度,增益值在-90度与+90度之间的仰角范围上的演变(例如,对于音频对象尚未在球面坐标系的极点上扩展的情况)。

备选地或附加地,第二组仰角增益值表示鉴于仰角对象位置(其在-90度与+90度之间的范围内)和仰角扩展角度,增益值在-180度至-90度之间和+90度与+180度之间的仰角范围上的演变(例如,对于音频对象已经在球面坐标系的极点上扩展的情况)。

通过使用这些组仰角增益值,可以容易地处理对象在用户的头部上方的扩展,因为角度值可以简单地相加或相减,而不超过由第一组仰角增益值和由第二组仰角增益值涵盖的仰角的范围。

根据本发明的实施例创建了一种用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和对象特征信息(例如,描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)和/或描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle))来确定扬声器增益(例如,组合扬声器增益或所得扬声器增益)的方法,扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该方法包括使用音频对象的点源平移(其中音频对象被视为点源,其中扩展信息被忽略,并且其中音频对象的信号通过平移对象扬声器增益的适当选择而与音频对象的对象位置的环境中的两个或更多个扬声器相关联)获得平移对象扬声器增益(也被称为“对象扬声器增益”,或者由向量g表示)。

该方法还包括考虑对象位置信息和对象特征信息来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该方法包括以始终存在平移对象扬声器增益的贡献(例如,独立于扩展信息)的方式组合平移对象扬声器增益(例如,g)和扩展对象扬声器增益(例如,gOS),以便获得组合扬声器增益。

该方法基于与上述对应装置相同的考虑。

此外,该方法可以可选地通过关于上述对应装置所描述的任何特征、功能和细节单独地和组合地补充。

根据本发明的实施例创建了一种用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和扩展信息(例如,描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)和/或描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle))来确定扬声器增益(例如,组合扬声器增益或所得扬声器增益)的方法,扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该方法包括使用音频对象的点源平移(其中音频对象被视为点源,其中扩展信息被忽略,并且其中音频对象的信号通过平移对象扬声器增益的适当选择而与音频对象的对象位置的环境中的两个或更多个扬声器相关联)获得平移对象扬声器增益(也被称为“对象扬声器增益”,或者由向量g表示)。

该方法包括考虑对象位置信息和扩展信息来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该方法包括以始终存在平移对象扬声器增益的贡献(例如,独立于扩展信息)的方式组合平移对象扬声器增益(例如,g)和扩展对象扬声器增益(例如,gOS),以便获得组合扬声器增益。

该方法基于与上述对应装置相同的考虑。

此外,该方法可以可选地通过关于上述对应装置所描述的任何特征、功能和细节单独地和组合地补充。

在之前提及的方法的优选实施例中,该方法包括评估一个或多个增益函数(例如,一个或多个多项式函数或一个或多个抛物线函数;例如,扩展加权曲线),该一个或多个增益函数将支撑点(例如,人为生成的支撑点;SSP)的位置与对象位置之间的差异映射到一个或多个扩展增益值贡献(例如,aziGain(naz)或eleGain(nel))上,并且基于该一个或多个扩展增益值贡献来确定扩展对象扬声器增益(例如,gOS)。

根据本发明的实施例创建了一种计算机程序,用于当该计算机程序在计算机上运行时执行之前提及的方法。

该计算机程序可以通过本文所描述的任何特征、功能和细节单独地和组合地补充。

在下文中,将讨论根据本发明的其他实施例。这些实施例既可以单独地使用,也可以与本文公开的任何其他实施例组合地使用。换言之,可选地,下文中讨论的实施例的任何特征、功能和细节可以可选地以单独和组合的方式引入到本文公开的任何其他实施例中。

根据本发明的实施例创建了一种音频对象呈现器(200、1300),用于基于对象位置信息(210、1310、azi、ele)和对象特征信息(1312)来确定扬声器增益(214、1214、1214a~c),扬声器增益(214、1214、1214a~c)描述将一个或多个音频对象信号(1260)包含到多个扬声器信号(1262a~1262c)中的增益。该对象呈现器被配置为使用次数小于或等于3的一个或多个多项式函数来获得对象特征信息增益(314a、g_spd)。

在优选实施例中,该对象呈现器被配置为使用基于对象特征增益贡献(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)的对象特征增益(314a、g_spd)来获得对象特征信息扬声器增益(206a、1242、gOS)。

在优选实施例中,所述对象特征信息是扩展信息(212、1312、spreadAngleAzi、spreadAngleEle)。

根据本发明的实施例创建了一种音频对象呈现器,用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和对象特征信息来确定扬声器增益(例如,组合扬声器增益),扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。对象特征信息可以例如是指示对象是小的还是延伸的的信息(例如,对象大小值),或者对象特征信息可以例如是对象距离信息,其可以映射到扩展值上(例如,映射到描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)上和/或映射到描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle)上)。然而,其他类型的对象特征信息也是可能的。

该对象呈现器被配置为考虑对象位置信息和对象特征信息来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该对象呈现器被配置为使用次数小于或等于3的一个或多个多项式函数(例如,一个或多个拋物线函数或三次多项式函数(例如,parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1或parable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)来获得扩展增益(例如,对象至支撑点扩展增益,如g_spd),例如向量g_spd的元素,该扩展增益描述音频对象信号对多个扬声器信号或对多个支撑点信号的贡献,一个或多个多项式函数例如将对象位置与支撑点位置之间的角度差异(例如,diffCLKDir+(n-1)*Spread.openAngle或diffAntiCLKDir+(n-1)*Spread.openAngle)映射到扩展增益值贡献(例如,aziGain(naz)或eleGain(nel))上。

该对象呈现器被配置为使用基于扩展增益贡献的扩展增益(g_spd)来获得扩展对象扬声器增益。

该实施例基于以下发现:次数小于或等于2的多项式函数特别良好地适合于基于对象位置与支撑点位置之间的角度差异来获得对象扩展增益。已经认识到,次数小于或等于3的多项式函数可以以适度的计算工作量来评估,并且可良好地用于计算资源有限的情况。然而,已经发现,这样的多项式函数仍然对获得提供扩展音频对象的良好听觉印象的对象扩展增益所需的特征进行了良好的近似。具体地,已经发现,次数小于或等于3的多项式函数可以比需要非常高的计算工作量或大型查找表的其他函数(例如,指数函数)更容易评估。因此,该音频对象呈现器可以以特别小的计算工作量来实现。

此外,应当注意,对象特征信息可以用于调整扩展对象扬声器增益的确定。例如,对象特征信息可以决定扩展宽度。例如,对象特征信息可以是指示对象是小的还是延伸的的信息(例如,包括对象大小值),或者对象特征信息可以例如包括对象距离信息,其可以被映射到扩展值上(例如,映射到描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)上和/或映射到描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle)上)。换言之,应当注意,对象特征信息通常允许确定或估计音频对象的延伸。例如,对象特征信息可以指示对象的类型,其中该对象的类型可以暗示用于确定扩展对象扬声器增益的参数(例如,扩展参数)。例如,对象特征信息可以允许区别相对较小的对象和相对较大的对象。备选地或附加地,对象特征信息可以允许区别近对象和远对象,其还可以暗示用于确定扩展对象扬声器增益的一个或多个参数。

概言之,该音频对象呈现器可以从对象特征信息中导出用于确定扩展对象扬声器增益的一个或多个参数。因此,对象特征信息允许适当地调整扩展对象扬声器增益的导出,使得可以实现良好的听觉印象。

概言之,通过使用次数小于或等于3并且其参数可以例如取决于对象特征信息的一个或多个多项式函数,可以高效地确定扩展对象扬声器增益,从而保持计算工作量合理地小。

然而,应当注意,上述方法可以可选地以更一般的形式应用。具体地,将不必执行对象扩展。例如,如果预先呈现支撑点,以便通过对支撑点应用加权曲线来呈现对象特性(或对象属性或对象特征),则可以例如出于效率原因而通过三次多项式来实现该加权曲线。

根据本发明的实施例创建了一种音频对象呈现器,用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和扩展信息(例如,描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)和/或描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle))来确定扬声器增益(例如,组合扬声器增益),扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该对象呈现器被配置为考虑对象位置信息和扩展信息来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该对象呈现器被配置为使用次数小于或等于3的一个或多个多项式函数(例如,拋物线函数或三次多项式函数(例如,parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1或parable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)获得扩展增益(例如,对象至支撑点扩展增益,如g_spd),例如扩展增益值(例如,向量g_spd的元素),扩展增益描述音频对象信号对多个扬声器信号或多个支撑点信号的贡献,一个或多个多项式函数将对象位置与支撑点位置之间的角度差异(例如,diffCLKDir+(n-1)*Spread.openAngle或diffAntiCLKDir+(n-1)*Spread.openAngle)映射到扩展增益值贡献(例如,aziGain(naz)或eleGain(nel))上。

该对象呈现器被配置为使用基于扩展增益贡献的扩展增益(g_spd)来获得扩展对象扬声器增益。

一般而言,所使用的函数(例如,多项式函数)应当优选地(但不必须)具有(至少大致上)点源平移(在本示例中:VBAP)的曲线形状。函数不一定需要是类比(parable)。构思是在支撑点之间以相同方式平移扩展组件(例如使用VBAP在两个扬声器之间正常平移对象)。

该音频对象呈现器基于与上述音频对象呈现器相同的考虑。然而,评估扩展信息而不是对象特征信息,扩展信息直接描述对象应如何扩展。例如,扩展信息可以是描述在方位角方向上的扩展和/或在仰角方向上的扩展的扩展角度信息。备选地,扩展信息也可以是立体角度信息,或者可以以任何其他形式指定对象的大小(例如,使用绝对大小信息和/或距离信息等)。因此,可以以计算上高效的方式获得扩展对象扬声器增益,其中扩展信息可以例如用以调整一个或多个多项式函数的参数(例如,用于获得扩展增益的类比的宽度)。因此,可以容易地将计算调整到如由扩展信息指示的实际扩展,并且可以以高效的方式进行计算。

在之前提及的音频对象呈现器的优选实施例中,通过扩展信息或者通过对象特征信息确定一个或多个多项式函数(例如,拋物线函数,其可以例如通过缩放值aziParable或缩放值eleParable确定)的宽度(其中音频对象呈现器可以例如被配置为使一个或多个多项式函数或拋物线函数的宽度适于与不同音频对象相关联的扩展宽度)。

已经发现,可以容易地调整多项式函数(例如,拋物线函数)的宽度,因为多项式函数可以容易地被参数化。然而,评估包括一个或多个参数的拋物线函数(例如,多项式函数)通常是可能的而无需过多的计算工作量。此外,通过根据扩展信息或根据对象特征信息调整拋物线函数的一个或多个参数,可以非常流畅地调整扩展宽度,从而产生非常好的感知印象。

在之前提及的音频对象呈现器的优选实施例中,对象呈现器被配置为使用第一多项式函数(例如,次数小于或等于3的多项式函数,如拋物线函数)并且使用第二多项式函数(例如,次数小于或等于3的多项式函数,如拋物线函数)来获得扩展增益值(例如,向量g_spd的值),该第一多项式函数将对象位置与支撑点位置之间的方位角差异映射到第一扩展增益值贡献(例如,aziGain(naz))上,该第二多项式函数将对象位置与支撑点位置之间的仰角差异映射到第二扩展增益值贡献(例如,eleGain(nel))上。

该概念基于以下构思:可以以高效的方式使用两个扩展函数的组合(例如,乘法)来确定二维扩展函数,该二维扩展函数可以例如取决于音频对象位置与扩展支撑点位置之间的仰角差异和音频对象位置与扩展支撑点位置之间的方位角差异二者,两个扩展函数之一应用于方位角差异,另一个应用于仰角差异。换言之,已经发现,如果将两个单独的拋物线扩展函数应用于方位角差异和仰角差异(其中结果相乘),则可以实现良好的扩展结果。具体地,已经发现,这种类型的二维扩展导致合理的良好听觉印象,同时保持计算工作量较小。具体地,两个扩展函数的单独评估在计算上通常比联合二维函数的评估要求低得多,同时提供良好的听觉印象。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为组合(例如,用乘法组合)第一扩展增益贡献(例如,aziGain(naz))和第二扩展增益贡献(例如,eleGain(nel)),以获得扩展增益值(例如,向量g_spd的值)。

通过组合扩展增益贡献(可以例如使用乘法执行),可以实现二维扩展,其对根据例如图3中所示的扩展函数的二维扩展进行良好的近似。换言之,已经发现,将基于两个多项式函数获得的两个扩展增益贡献相乘导致提供合理的良好听觉印象的二维扩展特性。

在之前提及的音频对象呈现器的优选实施例中,对象呈现器被配置为针对给定对象位置(例如,由方位角值azi和仰角值ele定义)并且针对给定扩展(例如,由spreadAngleAzi或spreadAngleEle定义)计算以下项:

-一组方位角增益值(例如,aziGain),描述与支撑点位置或扬声器方位角索引或支撑点方位角索引(例如,naz)相关联的多个方位角值对扩展增益的贡献(例如,使用次数小于或等于3的多项式函数或宽度适于方位角方向上的对象扩展宽度的拋物线函数),和/或

-一组仰角增益值(例如,eleGain),描述与支撑点位置或扬声器仰角索引或支撑点仰角索引(例如,nel或naz)相关联的多个仰角值对扩展增益的贡献(例如,使用次数小于或等于3的多项式函数或宽度适于仰角方向上的对象扩展宽度的拋物线函数),

并且使用该组方位角增益值(aziGain(naz))和/或使用该组仰角增益值(eleGain(nel))导出扩展增益。

通过确定与多个支撑点位置相关联的一组方位角增益值及/或与支撑点位置相关联的多个仰角增益值,可以确定在一个或两个平面中的扩展特性,并且可以从一个或两个平面中的该扩展特性中导出扩展增益。在确定与支撑点位置相关联的一组方位角增益值和与支撑点位置相关联的一组仰角增益值二者的优选情况下,可以例如容易地使用与考虑中的支撑点的相应方位角和相应仰角相关联的(组的)一对元素的乘法来获得扩展增益。因此,仅需要针对具有相同方位角和不同仰角的一组支撑点位置以及具有相同仰角和不同方位角的一组支撑点位置评估多项式函数,然后可以使用该组方位角增益值和该组仰角增益值的适当元素的计算上简单的乘法导出(例如,针对所有支撑点)扩展增益。因此,可以达到高度的计算效率。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为组合(例如,使用乘法)与当前考虑的扬声器或当前考虑的支撑点(例如,以objNo指定并且具有关联值naz和nel)相关联的该组方位角增益值(例如,aziGain)的元素(例如,aziGain(naz))和与当前考虑的扬声器或当前考虑的支撑点相关联的该组仰角增益值(例如,eleGain)的元素(例如,eleGain(nel)),以便获得与多个不同扬声器相关联或者与多个不同支撑点(例如,由objNo的不同值指定)相关联的扩展增益值(例如,由向量g_spd表示的g_spd(objNo))。

因此,通过使用该组方位角增益值的相应元素与该组仰角增益值的相应元素(例如,与相应支撑点的方位角和仰角相关联的元素)的乘法确定与不同支撑点相关联的扩展增益值,可以以计算上高效的方式获得与不同支撑点相关联的扩展值。如果多个支撑点包括相同方位角值,并且如果多个支撑点包括相同仰角值,则可以达到特别高的效率。在这种情况下,该组方位角增益值的元素的数量和该组仰角增益值的元素的数量可以保持合理的小,并且该组方位角增益值的元素和该组仰角增益值的元素可以重复用于确定与多个支撑点相关联的扩展值。换言之,这种概念在与支撑点(在方位角和仰角方面)的均匀间隔组合时特别高效。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为针对给定对象位置(例如,由方位角值azi和仰角值ele定义)并且针对给定扩展(例如,由spreadAngleAzi或spreadAngleEle定义)计算以下项:

-第一组方位角增益值(例如,aziGain),描述与支撑点位置或扬声器方位角索引或支撑点方位角索引(例如,naz)相关联的多个方位角值对扩展增益的贡献(例如,使用次数小于或等于3的多项式函数或使用宽度适于方位角方向上的对象扩展宽度的拋物线函数),第一组方位角增益值与原始仰角值范围(例如,-90度至+90度,其指示不越过球面坐标系的极点)中的仰角值相关联,以及

-第二组方位角增益值(例如,aziGainExtd),描述与支撑点位置或扬声器方位角索引或支撑点方位角索引(例如,naz)相关联的多个方位角值对扩展增益的贡献(例如,使用次数小于或等于3的多项式函数或使用宽度适于方位角方向上的对象扩展宽度的拋物线函数),第二组方位角增益值与指示越过球面坐标系的极点的延伸仰角值范围(例如,-180度至-90度以及+90度至+180度)中的仰角值相关联,并且

使用该组方位角增益值(aziGain(naz))和/或使用一组仰角增益值(eleGain(nel))(或使用第二组方位角增益值)导出扩展增益。

通过计算两组方位角增益值(一组用于原始(或基本)仰角值范围,一组用于延伸仰角值范围),可以以特别高效的方式计算音频对象在收听者的头部上方(或收听者下方)的扩展的扩展增益。具体地,已经发现,该组方位角增益值可以用于以高效方式(例如,使用预定义组合映射)导出扩展增益。另一方面,由于可以容易地使用加法或减法从原始仰角值范围中的仰角值中导出延伸仰角值范围中的仰角值而(例如)无需区别多个情况并且无需改变方位角值,因此也可以以高效方式计算单独组的仰角增益值。例如,在使音频对象在用户的头部上方扩展时,可以通过使用大于90度的仰角值来简单地计算在用户的头部上方的扩展。因此,具有给定方位角(例如,处于-90度与+90度之间的范围内的方位角)和在0度与90度之间的正仰角的对象可以容易地使用大于90度的仰角在用户的头部上方延伸,同时维持方位角(在-90度与+90度之间的范围内)。因此,与在延伸仰角值范围(在该示例中,在+90度与+180度之间)中的仰角值相关联的方位角增益值可以被获得为中间量,并且可以稍后例如使用仅在原始仰角范围内的仰角被映射回支撑点或映射回坐标系。第一组方位角增益值和第二方位角增益值的存在允许高效地导出扩展值,因为第二组方位角增益值适于与延伸仰角值范围中的仰角增益值组合。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为针对给定对象位置(例如,由方位角值azi和仰角值ele定义)并且针对给定扩展(例如,由spreadAngleAzi或spreadAngleEle定义)计算以下项:

-第一组仰角增益值(例如,eleGain),描述与支撑点位置或扬声器方位角索引或支撑点仰角索引(例如,nel)相关联的多个仰角值对扩展增益的贡献(例如,使用次数小于或等于3的多项式函数或使用宽度适于方位角方向上的对象扩展宽度的拋物线函数),第一组仰角增益值与指示不越过球面坐标系的极点的原始仰角值范围(例如,-90度至+90度)中的仰角值相关联,以及

-第二组仰角增益值(例如,eleGainExtd),描述与支撑点位置或扬声器仰角索引或支撑点仰角索引(例如,nel)相关联的多个仰角值对扩展增益的贡献(例如,使用次数小于或等于3的多项式函数或使用宽度适于方位角方向上的对象扩展宽度的拋物线函数),第二组仰角增益值与指示越过球面坐标系的极点的延伸仰角值范围(例如,-180度至-90度以及+90度至+180度)中的仰角值相关联,并且

使用该组方位角增益值(aziGain(naz))并且使用一组仰角增益值(eleGain(nel))(或使用第一组方位角增益值、第二组方位角增益值、第一组仰角增益值和第二组仰角增益值)导出扩展增益。

该实施例基于与计算方位角增益值的实施例类似的考虑。具体地,第一组仰角增益值和第二组仰角增益值的存在允许对对象在收听者的头部上方扩展的情况的简单、计算上高效的处理。具体地,已经发现当与方位角值的立即修改和仰角值的“变换”相比时,在这种情况下使用延伸仰角值(例如,大于+90度)要容易得多。

仅作为示例,如果对象位置包括+80度的仰角,则出于进一步计算的目的以及出于评估抛物线函数的目的,更容易假定支撑点处于例如135度的仰角,因为可以由此称音频对象与支撑点之间的仰角差异为55度。相比之下,如果处于135度的支撑点将被参考为处于45度的仰角的支撑点,则将不可能容易地计算音频对象的位置与支撑点位置之间的正确仰角差异。

总之,已经发现使用这种延伸仰角范围非常高效,因为其避免了在计算中区别大量情况并且促进多项式函数的评估。此外,已经发现,例如,可以使用第一组方位角增益值、第二组方位角增益值、第一组仰角增益值和第二组仰角增益值导出扩展增益。在这种情况下,例如,可以组合第一组方位角增益值的条目和第一组仰角增益值的条目,并且可以高效地组合第二组方位角增益值的条目和第二组仰角增益值的条目,从而导出扩展值。

在之前提及的音频对象呈现器的优选实施例中,音频对象呈现器被配置为在初始化期间(基于支撑点的位置和扬声器的位置的知识)使用平移(例如,基于向量的振幅平移)预先计算用于将与多个支撑点相关联的音频信号平移到多个扬声器上的支撑点平移增益(例如,Spread.gainsSSP)。

该音频对象呈现器被配置为使用次数小于或等于3的多项式函数(例如,使用拋物线函数)获得对象至支撑点扩展增益(例如,g_spd或扩展增益值,例如向量g_spd的元素),对象至支撑点扩展增益描述音频对象信号对多个支撑点信号的贡献。

该音频对象呈现器被配置为组合(例如,相乘)对象至支撑点扩展增益和支撑点平移增益,以便获得扩展对象扬声器增益。

已经发现,单独地计算支撑点平移增益和对象至支撑点扩展增益,然后组合对象至支撑点扩展增益和支撑点平移增益带来了特别高的计算效率,在存在多于一个音频对象的情况下尤其如此。由于支撑点对于处理多个音频对象通常不变,因此支撑点平移增益仅需要计算一次,其可以在预备步骤中进行。相比之下,对象至支撑点扩展增益通常取决于对象位置,并且因此需要针对每个音频对象单独地进行计算。

因此,通过对于多个对象重用支撑点平移增益,可以提高计算效率,而不使可实现的音频质量劣化。此外,使用支撑点也特别高效,因为支撑点的空间布置可以自由地调整,关注于计算效率而不受实际扬声器位置或实际扬声器设置约束。因此,可以例如以均匀分布的方式(例如,具有均匀的方位角间隔和均匀的仰角间隔)来选择支撑点,这显著地促进对象至支撑点扩展增益的确定。因此,可以称使用扩展支撑点作为中间扩展目标实际上有助于提高效率,因为可以独立于实际扬声器布置进行第一扩展步骤,并且因为第二扩展步骤(从扩展支撑点到扬声器信号)仅需要计算一次,甚至在存在多个音频对象的情况下也是如此。因此,该过程是极高效的。

在之前提及的音频对象呈现器的优选实施例中,次数小于或等于3的一个或多个多项式函数是拋物线函数,该拋物线函数根据下式提供返回值p:

p=max(0,c1*anglediff

其中c1是决定拋物线函数的宽度的参数,其中c2是预定值,其中angeldiff是拋物线函数被评估的角度差异,并且其中max(.,.)是返回其操作数的最大值的最大值运算符。

已经发现,被限制为非负值(例如,使用最大值运算)的这种多项式函数对所期望的扩展特性进行了良好的近似,并且可以以很少的计算工作量来评估。因此,已经发现这样的多项式函数对于确定扩展值是非常好的。

根据本发明的实施例创建了一种用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和对象特征信息(例如,描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)和/或描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle))来确定扬声器增益(例如,组合扬声器增益)的方法,扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该方法包括考虑对象位置信息和对象特征信息来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该方法包括使用次数小于或等于3的一个或多个多项式函数(例如,拋物线函数或三次多项式函数(例如,parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1或parable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)来获得扩展增益(例如,对象至支撑点扩展增益,例如g_spd),例如扩展增益值(例如,向量g_spd的元素),扩展增益描述音频对象信号对多个扬声器信号或多个支撑点信号的贡献,一个或多个多项式函数将对象位置与支撑点位置之间的角度差异(例如,diffCLKDir+(n-1)*Spread.openAngle或diffAntiCLKDir+(n-1)*Spread.openAngle)映射到扩展增益值贡献(例如,aziGain(naz)或eleGain(nel))上。

该方法包括使用基于扩展增益贡献的扩展增益(例如,g_spd)获得扩展对象扬声器增益,或者使用扩展增益(例如,g_spd)作为扩展对象扬声器增益。

该方法基于与上述对应装置相同的考虑。此外,该方法可以可选地通过关于上述对应装置所描述的任何特征、功能和细节单独地和组合地补充。

实施例创建了一种用于基于对象位置信息(例如,方位角(azi)、仰角(ele))(其可以例如以球面坐标提供,例如使用方位角值azi和仰角值ele)和扩展信息(例如,描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)和/或描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle))来确定扬声器增益(例如,组合扬声器增益)的方法,扬声器增益描述将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该方法包括考虑对象位置信息和扩展信息来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该方法包括使用次数小于或等于3的一个或多个多项式函数(例如,拋物线函数或三次多项式函数(例如,parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1或parable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)来获得扩展增益(例如,对象至支撑点扩展增益,例如g_spd),例如扩展增益值(例如,向量g_spd的元素),扩展增益描述音频对象信号对多个扬声器信号或多个支撑点信号的贡献,一个或多个多项式函数将对象位置与支撑点位置之间的角度差异(例如,diffCLKDir+(n-1)*Spread.openAngle或diffAntiCLKDir+(n-1)*Spread.openAngle)映射到扩展增益值贡献(例如,aziGain(naz)或eleGain(nel))上。

该方法包括使用基于扩展增益贡献的扩展增益(例如,g_spd)获得扩展对象扬声器增益,或者使用扩展增益(例如,g_spd)作为扩展对象扬声器增益。

该方法基于与上述对应装置相同的考虑。此外,该方法可以可选地通过关于上述对应装置所描述的任何特征、功能和细节单独地和组合地补充。

根据本发明的实施例创建了一种计算机程序,其用于当该计算机程序在计算机上运行时执行之前提及的方法之一。

该计算机程序可以通过本文所描述的任何特征、功能和细节单独地和组合地补充。

附图说明

随后将参考附图描述根据本发明的实施例,在附图中:

图1示出了不同的对象扩展配置的表示;

图2示出了用于非对称和/或2D扬声器设置的对象扩展实现的信号流程图;

图3示出了不同扩展增益函数的图形表示;

图4示出了针对不同扩展角度的一维增益曲线的图形表示;

图5示出了用于呈现扩展增益的信号流程图;

图6示出了分辨率为45度的SSP栅格的图形表示;

图7示出了VBAP平移曲线与拉伸且翻转的类比(parable)的形状比较;

图8示出了函数spread_pannSSP的MATLAB代码示例;

图9示出了函数spread_calculateGains的MATLAB代码示例;

图10示出了函数calculateLayerGains的MATLAB代码示例;

图11示出了函数calculateSSPGains的matlab代码示例;

图12示出了根据本发明的实施例的音频对象呈现器的示意性框图;

图13示出了根据本发明的实施例的音频对象呈现器的示意性框图;

图14示出了根据本发明的实施例的用于确定扬声器增益的方法的流程图;以及

图15示出了根据本发明的实施例的用于确定扬声器增益的方法的流程图。

具体实施方式

图12示出了根据本发明的实施例的音频对象呈现器1200的示意性框图。

音频对象呈现器1200被配置为接收对象位置信息1210和对象特征信息1212。此外,音频对象呈现器1200被配置为提供扬声器增益1214(例如,组合扬声器增益或所得扬声器增益),扬声器增益1214描述用于将一个或多个音频对象信号包含到多个扬声器信号中的增益。

对象位置信息1210可以例如包括对象方位角信息(例如,azi)和对象仰角信息(例如,ele)。例如,对象位置信息可以以球面坐标提供,例如使用方位角值azi和仰角值ele。此外,对象特征信息或扩展信息1212可以例如描述音频对象的特性并且指示对象应如何扩展。对象特征信息可以例如是指示对象是小的还是延伸的的信息(例如,对象大小值)。对象特征信息可以例如包括对象距离信息,其可以被映射到扩展值上,例如映射到描述在方位角方向上的扩展的扩展角度信息(例如,spreadAngleAzi)上和/或映射到描述在仰角方向上的扩展的扩展角度信息(例如,spreadAngleEle)上。然而,不同类型的对象特征信息也是可能的。备选地,音频对象呈现器可以直接接收例如描述音频对象在方位角方向和/或在仰角方向上的扩展的扩展信息。

音频对象呈现器1200包括平移对象扬声器增益确定1230,其可以被配置为使用音频对象的点源平移来获得平移对象扬声器增益1232(例如,也被称为“对象扬声器增益”,或者由向量g表示)。在点源平移中,音频对象可以例如被视为点源,其中扩展信息或对象特征信息1212例如被忽略,并且其中音频对象的信号通过平移对象扬声器增益1232的适当选择而与音频对象的对象位置的环境中的两个或更多个扬声器相关联。换言之,平移对象扬声器增益确定1230可以例如执行音频对象的点源平移,其将音频对象视为点源,并且可以使音频对象信号(仅)分布到最接近音频对象的那些扬声器。然而,没有音频对象信号的贡献可以通过点源平移被指派给较远离音频对象的扬声器。然而,平移对象扬声器增益确定1230可以使用任何点源平移概念。

此外,音频对象呈现器1200可以包括扩展对象扬声器增益确定1240,其考虑对象位置信息1210和对象特征信息或扩展信息1212来提供扩展对象扬声器增益1242(例如也被称为扩展扬声器增益,并且例如被表示为向量gOS)。例如,扩展对象扬声器增益确定1240可以确定考虑音频对象例如在方位角方向和仰角方向上的扩展的扬声器增益。因此,扩展对象扬声器增益可以在宽范围上为非零,因为假定考虑中的音频对象具有显著延伸,并且因为通常在扩展中假定(并且实施)扩展对象扬声器增益随着距对象的中心位置的距离增大而平滑且稳定地衰减。

此外,音频对象呈现器1200包括组合或组合器1250,其以始终存在平移对象扬声器增益的贡献(例如,独立于对象特征信息或扩展信息1212)的方式组合平移对象扬声器增益1232(例如,g)和扩展对象扬声器增益(例如,gOS),以便获得组合扬声器增益。

因此,可以称音频对象呈现器1200基于音频对象信号的点源平移和音频对象信号的扩展二者来提供组合扬声器增益1214。例如,组合扬声器增益1214中始终存在平移对象扬声器增益的贡献,这确保了即使音频对象在相对较宽的范围上扩展,对象也可以合理地局域化。

此外,应当注意,这里描述的概念可以以特别高的计算效率来实施,如下文中将描述的。

此外,应当注意,图12还示出了组合扬声器增益1214可以如何用于进一步处理中。例如,可以提供与扬声器设置中的不同扬声器相关联的扬声器增益1214a、1214b、1214c。可以用与第一扬声器相关联的扬声器增益1214a缩放作为与考虑中的音频对象相关联的音频信号的音频对象信号1260以获得第一扬声器信号1262a,并且可以用与第二扬声器相关联的扬声器增益1214b缩放音频对象信号1260以获得第二扬声器信号1262b,并且可以用第三扬声器增益1214c缩放音频对象信号1260以获得第三扬声器信号1262c,以此类推。扬声器信号1262a、1262b、1262c可以自然地与和其他音频对象相关联的扬声器信号组合,以获得实际扬声器信号。

因此,可以基于组合扬声器增益1214来获得扬声器信号,通过该组合扬声器增益,考虑中的音频对象被表示为点源平移形式和扩展形式二者,已经发现这提供特别良好的听觉印象。

此外,应当注意,音频对象呈现器1200可以可选地通过本文描述的任何特征、功能和细节单独地和组合地补充。

图13示出了根据本发明的实施例的音频对象呈现器1300的示意性框图。音频对象呈现器1300被配置为接收对象位置信息1310,其可以例如与对象位置信息1210相对应。此外,音频对象呈现器1300被配置为接收对象特征信息或扩展信息1312,其可以与对象特征信息或扩展信息1212相对应。此外,音频对象呈现器1300提供(组合)扬声器增益1314,其可以与扬声器增益1214相对应,并且可以以与扬声器增益1214a至1214c相同的方式应用于音频对象信号。该音频对象呈现器被配置为考虑对象位置信息1310和对象特征信息或扩展信息1312来获得扩展对象扬声器增益(也被称为扩展扬声器增益,或者被表示为向量gOS)。

该音频对象呈现器包括扩展增益确定1330,其被配置为获得扩展增益1332,该扩展增益可以例如是对象至支撑点扩展增益(例如,g_spd)。例如,扩展增益确定可以被配置为确定向量g_spd中描述音频对象信号对多个扬声器信号或多个支撑点信号的贡献的元素。具体地,扩展增益确定1330可以使用次数小于或等于3的一个或多个多项式函数(例如,一个或多个抛物线函数或三次多项式函数)来将对象位置与一个或多个支撑点位置之间的一个或多个角度差异映射到一个或多个扩展增益值贡献上(例如,映射到“层增益”上),该一个或多个扩展增益值贡献可以例如由aziGain、aziGainExtd、eleGain和eleGainExtd表示。

换言之,使用映射1334获得扩展增益值贡献1336,该映射使用次数小于或等于3的多项式函数,其中所述映射1334将对象位置与一个或多个支撑点位置之间的一个或多个角度差异映射到扩展增益值贡献1336上。此外,扩展增益确定1330还包括扩展增益贡献处理1338,其基于扩展增益值贡献1336来提供扩展增益1332(例如,spd)。此外,音频对象呈现器1300包括扩展对象扬声器增益确定1340,其基于扩展增益1332来获得扩展对象扬声器增益1340,其中扩展增益1332基于扩展增益贡献1336。

换言之,使用次数小于或等于3的多项式函数导出扩展增益值贡献,然后将扩展增益值贡献1336映射到扩展增益1332上,其中所述扩展增益1332可以例如描述应如何使音频对象信号分布到多个支撑点。扩展对象扬声器增益确定1340可以将扩展增益(其与扩展支撑点相关)映射到扩展对象扬声器增益上,其与从支撑点位置到实际扬声器(和实际扬声器位置)的映射相对应。

进一步概言之,应当注意,扩展对象扬声器增益的导出使用多项式函数(其可以使用适度的计算复杂度来评估)而非需要相对较高的计算工作量的指数或三角函数。

因此,扩展增益值贡献1336允许以非常高效的方式获得扩展增益1332。此外,已经发现,通过使用次数小于或等于3的多项式函数,听觉表现没有显著损失。

然而,应当注意,音频对象呈现器1300可以可选地通过本文描述的任何特征、功能和细节单独的和组合地补充。

图2示出了用于非对称和/或2D扬声器设置的对象扩展实现的信号流程图。

图2中所示的信号流可以例如在根据图12和图13的音频对象呈现器1200、1300中实施。

此外,参考图2描述的概念也可以可选地单独地和组合地包括在图5的概念中。

根据图2的扬声器增益确定200接收对象位置信息210,其可以例如与对象位置信息1210、1310相对应。对象位置信息可以例如在方位角信息(例如,azi)和仰角信息(例如,ele)方面描述对象位置。扬声器增益确定200还接收扩展角度信息212,其可以例如与对象特征信息或扩展信息1212、1312相对应。扩展角度信息212可以例如在方位角信息和/或仰角信息方面或者在宽度信息和/或高度信息方面描述扩展角度。此外,扬声器增益确定200可以例如提供所得扬声器增益214,其可以例如与扬声器增益1214、1314相对应。

扬声器增益确定200包括扩展支撑位置的栅格创建204,其提供描述扩展支撑点位置的信息204a。此外,扬声器增益确定200可以包括扩展支撑点的平移205,其可以例如提供扩展支撑点平移增益205a。

支撑点位置信息204a可以例如描述扩展支撑点的位置,其可以例如均匀地分布在球体上。例如,由信息204a描述的扩展支撑点位置可以独立于实际扬声器位置来选择,并且可以例如形成由均匀方位角间隔和仰角间隔定义的栅格。

由信息205a描述的扩展支撑点平移增益可以例如定义如何使与扩展支撑点位置相关联的音频对象信号分布到实际扬声器或扬声器信号。因此,由信息205a描述的扩展支撑点平移增益可以例如针对所有扩展支撑点描述与扩展支撑点相关联的音频对象信号到实际扬声器或扬声器信号的分布。

应当注意,栅格创建204和平移205可以例如仅计算一次,并且可以重用于扩展多个音频对象,因为扩展支撑点通常对于多个音频对象的扩展保持不变。

扬声器增益确定200还包括扩展增益计算201,其考虑扩展支撑点位置204a、对象位置信息210和扩展角度信息212。扩展增益计算201在此基础上提供扩展增益201a,扩展增益201a可以例如描述音频对象信号到多个扩展支撑点的扩展。

扬声器增益确定200还包括组合206,其将扩展增益201a与扩展支撑位置平移增益205a组合,从而获得扩展扬声器增益206a(例如,gOS)。例如,组合206可以使用扩展增益201a与扩展支撑点平移增益205a的乘法。例如,组合206可以将音频对象信号到扩展支撑点上的映射(其由扩展增益201a描述)与扩展支撑点处(或与其相关联)的信号到实际扬声器信号上的映射(其由扩展支撑点平移增益205a描述)组合,并且因此提供扩展扬声器增益206a,使得扩展扬声器增益206a描述实际扬声器信号中的当前考虑的音频对象的音频对象信号的贡献(以要应用于音频对象信号的加权值的形式,以由此导出实际扬声器信号)。然而,应当注意,扩展增益计算201和组合206通常针对每个要扩展的音频对象单独地执行(而扩展支撑点位置204a和扩展支撑点平移增益205a可以重用而不改变)。

扬声器增益确定200还包括对象平移202,其使用对象位置信息210导出对象扬声器增益或平移对象扬声器增益202a。对象平移202可以例如执行音频对象的点源平移,其中可以确定考虑中的音频对象的音频对象信号的哪些实际扬声器信号贡献被纳入考虑之中。通常,在使用点源平移时,仅用于直接邻近于对象位置的扬声器的对象扬声器增益(或平移对象扬声器增益)为非零。

扬声器增益确定200还包括组合203,其中组合扩展扬声器增益206a和平移对象扬声器增益202a,以获得所得扬声器增益214(其可以例如用g指定)。该组合可以例如包括扩展扬声器增益206a与平移对象扬声器增益202a的求和或加权组合。

此概念允许提供所得扬声器增益214,其中平移对象扬声器增益和扩展扬声器增益206a二者均被包括。已经发现,这种概念可以以高计算效率来计算,并且提供良好质量的音频感知。

应当注意,关于图2描述的扬声器增益确定的概念可以可选地通过本文描述的任何特征、功能和细节单独地和组合地补充。

在下文中,将提供关于可能的扩展函数的一些细节,其可以用于本文描述的任何音频对象呈现器中以及本文描述的任何音频对象呈现概念中。

例如,图3示出了不同扩展函数的图形表示。应当注意,扩展函数通常相对于对象位置来定义。因此,在图形表示310、320、330中,第一轴312a、322a、332a描述当前考虑的扩展支撑位置与对象方位角位置之间的方位角差异。第二轴312b、322b、332b描述当前考虑的扩展支撑点位置与对象仰角位置之间的仰角差异。

图形表示310示出了水平扩展(其中在方位角方向上的扩展大于在仰角方向上的扩展)。图形表示320示出了均匀扩展,其中在方位角方向上的扩展等于在仰角方向上的扩展,图形表示330示出了竖直扩展,其中在方位角方向上的扩展小于在仰角方向上的扩展。

这些图形表示示出了(相对)增益,应当根据扩展支撑点位置与方位角对象位置之间的方位角差异以及根据扩展支撑点位置与对象仰角位置之间的仰角差异,通过该增益对音频对象信号进行缩放(例如,以获得扩展支撑点处的信号)。例如,可以通过相应方位角扩展函数314a、324a、334a与相应仰角扩展函数314b、324b、334b的乘法获得增益。应当注意,在本文中,详细地描述实施扩展函数(或扩展增益函数)的计算上高效的概念,其与图3的扩展增益函数非常相似。此外,应当注意,图3的扩展增益函数可以例如用于或大致用于本文描述的音频对象呈现器1200、1300中或者图2和图5的音频对象呈现概念中。

此外,应当注意,还将在本文中讨论关于扩展增益函数的其他(可选的)细节。

此外,图4示出了针对不同扩展角度的一维增益曲线的另一图形表示。可以看出,扩展角度越小,曲线越陡。应当注意,在图4中,横坐标412描述扩展支撑点与对象之间的差异角度(例如,差异方位角或差异仰角)。纵坐标414描述增益,要应用该增益以基于差异角度从音频对象信号中导出扩展支撑点信号(例如,在一维扩展的假设下)。将增益表示为差异角度的函数的曲线416a、416b、416c、416d与不同的扩展角度相关联。例如,曲线416a与相对较窄的扩展角度相关联,曲线416d与相对较宽的扩展角度相关联。

作为示例,对于扩展支撑点(SSP)与对象之间的50度的差异角度(方位角或仰角),从表示相当强的扩展值的增益曲线416c中确定增益值为0.37。

换言之,图4中所示的增益曲线或其近似可以例如用于导出扩展增益201a或用于导出扩展对象扬声器增益1242或用于导出扩展增益1332。本文中还描述了关于增益曲线及其可能近似的其他细节。此外,本文中还将更详细地论述根据图4的增益曲线的使用。

图5示出了根据本发明的实施例的用于呈现扩展增益的信号流程图。方位角的处理路径由蓝色线或具有第一影线类型和第二影线类型的线覆盖,并且仰角(或更精确地,仰角的处理路径)由橙色线或具有第三影线类型和第四影线类型的线覆盖。

扩展增益确定500接收对象位置信息作为输入,其包括方位角对象位置信息510a和仰角对象位置信息510b。方位角对象位置信息510a和仰角对象位置信息510b可以例如与上文描述的对象位置信息210相对应。此外,扩展增益确定500还接收扩展支撑点位置信息,其包括方位角扩展支撑点位置信息513a和仰角扩展支撑点位置信息513b。方位角SSP位置信息513a和仰角SSP位置信息513b可以例如与上文已描述的SSP位置信息204a相对应。

该扩展增益确定500包括方位角增益确定530,其可以例如包括方位角差异角度计算301和方位角增益函数应用302。此外,扩展增益确定500还包括仰角增益确定540,其可以例如包括仰角差异角度计算304和仰角增益函数应用305。例如,在方位角增益确定530中,可以基于方位角对象位置信息510a和方位角SSP位置信息513a来确定一个或多个方位角增益值(例如,aziGain)。此外,在方位角增益确定530中还可以考虑方位角扩展信息512a或其预处理版本。例如,在方位角差异角度计算301中,可以计算方位角对象位置与一个或多个方位角SSP位置之间的差异,以获得一个或多个角度差异,并且可以在方位角增益函数应用302中针对该一个或多个角度差异确定增益值。例如,方位角增益函数应用可以针对一个或多个角度差异评估增益函数(例如,如图3和图4中所示的增益函数,或如本文公开的多项式或拋物线增益函数)。因此,获得一个或多个方位角增益值,其与扩展支撑点位置相关联并且由针对相应扩展支撑点位置(方位角位置)与相应对象位置(方位角位置)之间的相应角度差异的方位角增益函数的值确定,其中考虑方位角扩展信息502来调整方位角增益函数的宽度。

仰角增益确定540执行类似的计算。仰角增益确定540接收仰角扩展支撑点位置信息513b和仰角对象位置信息510b,并且在此基础上提供一个或多个仰角增益值305a。例如,对象位置仰角与一个或多个扩展支撑点位置仰角之间的一个或多个差异可以通过差异角度计算304来计算。可以应用其宽度可以由仰角扩展信息512b或其预处理版本确定的仰角增益函数(例如,可以针对由差异角度计算304确定的一个或多个差异角度来评估),以便获得一个或多个仰角增益值305a。例如,参考图3或参考图4描述的仰角增益函数或其近似(例如,如本文公开的多项式增益函数)可以用于仰角增益函数应用305中。增益函数可以例如针对在差异角度计算304中确定的一个或多个差异角度来评估,以获得一个或多个仰角增益值305a。

例如,方位角增益值302a(其可以例如针对给定仰角并针对多个扩展支撑点方位角获得)可以与多个仰角增益值305a(其可以例如针对给定方位角值并针对多个扩展支撑点仰角值获得)组合(例如,用乘法)。该组合用313指定并且可以是乘法,其中与不同扩展支撑点相关联的不同对方位角增益值302a和仰角增益值305a可以相乘,以获得对与不同扩展支撑点相关联的增益值的贡献。

扩展增益确定500还可选地包括延伸仰角范围的处理。例如,扩展增益确定可以(可选地)包括仰角范围延伸307,其可以例如调适(或预处理)方位角对象位置信息510a和/或方位角SSP位置信息513a和/或仰角SSP位置信息513b和/或仰角对象位置信息510b以用于延伸仰角范围计算中。

延伸仰角范围计算例如包括提供一个或多个延伸方位角增益值309a。延伸方位角增益值309a可以例如与方位角增益值302a相对应,但是可以具有与方位角的经修改的关联。换言之,延伸方位角增益值309a(或一组延伸方位角增益值)可以例如是方位角增益值302a(或更精确地,一组方位角增益值)的角度移位版本。然而,延伸方位角增益值309a可以例如从方位角增益值302a中导出,或者可以使用方位角差异角度计算308和方位角增益函数应用309获得。

类似地,仰角范围延伸处理包括基于仰角对象位置信息510b和仰角SSP位置信息513b来提供延伸仰角增益值311a。例如,仰角差异角度计算310可以计算仰角对象位置与仰角扩展支撑点位置之间在延伸仰角范围(例如,+90度与+180度之间或-90度与-180度之间)中的角度差异。因此,仰角增益函数应用311可以将增益函数应用于在仰角差异角度计算310中确定的角度差异,以获得延伸仰角增益值311a(或更精确地,一组延伸仰角增益值),延伸仰角增益值311a例如与延伸仰角范围中的仰角SSP位置相关联。然而,应当注意,延伸仰角增益值311a也可以可选地基于仰角增益值305a(例如,使用适当的映射(或重新排序))来确定。

此外,一个或多个延伸方位角增益值309a可以与一个或多个对应的延伸仰角增益值311组合(例如,用乘法),从而获得贡献312a以获得与扩展支撑点相关联的值314a。例如,可以在求和314中对与相同扩展支撑点相关联的贡献313a和贡献312a进行求和,以获得与扩展支撑点相关联的增益值314a。此外,可以可选地将归一化315应用于增益值314,以获得扩展增益值514。扩展增益值514可以例如与上述扩展增益1332相对应。例如,归一化315可以考虑扩展宽度,并且可以有助于避免由于扩展而改变信号能量。

关于扩展增益确定500的总体功能,应当注意,可以针对具有不同方位角值的多个扩展支撑点位置和具有不同仰角值的多个扩展支撑点位置单独地确定方位角增益值和仰角增益值。然后,通过方位角增益值与仰角增益值的组合获得用于较大数量扩展支撑点的增益值。标准方位角增益值和延伸方位角增益值还可以用以反映在用户的头部上方或用户下方的扩展。组合与相同扩展支撑点相关联的方位角增益值、仰角增益值、延伸方位角增益值和延伸仰角增益值,从而高效地获得与相应扩展支撑点相关联的增益值214。针对不同的扩展支撑点(或甚至针对所有扩展支撑点,或针对除了位于极点处的扩展支撑点以外的所有扩展支撑点)执行这种组合。

因此,通过使用延伸仰角范围处理(例如,包括框307、308、309、310和311),可以通过在延伸仰角范围中允许大于90度的仰角和/或小于-90度的仰角而容易地实施头顶扩展或在收听者下方的扩展。通过提供与扩展支撑点相关联的延伸方位角增益值和延伸仰角增益值对,可以提高计算效率,因为可以组合(例如,相乘)延伸方位角增益值和延伸仰角增益值对以便获得扩展增益314a(或对扩展增益314a的贡献312a)。

概言之,扩展增益确定500是极高效的,并且允许确定扩展增益,即使音频对象在收听者的头部上方或收听者下方扩展也是如此。

此外,应当注意,扩展增益确定500可以可选地使用本文公开的任何特征、功能和细节单独地和组合地补充。

图6示出了分辨率为45度的示例扩展支撑点栅格的表示。如图6中可见,扩展支撑点610a、612a、612a、612b、612c、612d、612e、612f、612g、614b、614c、614d、614e、614f、616c、616d、616e被布置在球体上。具体地,扩展支撑点612a至612g、614b至614f和616c至616e被布置在具有恒定仰角的圆上。扩展支撑点610a处于球面坐标系的极点处(例如,在+90度的仰角处)。此外,应当注意,扩展支撑点612b、614b位于具有恒定方位角的半圆上。类似地,扩展支撑点612c、614c、616c位于具有恒定方位角的半圆上。

一般而言,扩展支撑点优选地被布置在由具有恒定仰角的圆和具有恒定方位角值的半圆或圆限定的栅格上。因此,通常存在具有相同仰角的多个扩展支撑点,并且还通常存在具有相同方位角的多个扩展支撑点。

为了获得进一步的(可选)细节,还参考关于本文中提供的扩展支撑点的位置的附加解释。

然而,应当注意,45度的分辨率应仅被视为示例,并且还可以选择不同的分辨率。例如,在方位角方向上的分辨率与在仰角方向上的分辨率自然可以不同。

如上文已经描述的,使用多项式增益函数是有利的,因为可以以低计算复杂度来评估这种多项式增益函数(例如,包括2或3的次数)。

图7示出了VBAP平移曲线与拉伸且翻转的类比的形状比较。例如,横坐标712描述当前考虑的扩展支撑点与对象之间的差异角度(例如,仰角差异角度或方位角差异角度)。纵坐标714描述增益或归一化增益。第一曲线720描述将使用VBAP获得的增益。第二曲线730描述可以通过(拉伸且翻转的)类比获得的增益,类比的值被限于非负。如可以看出的,基于类比的增益函数是VBAP增益函数的非常好的近似。

因此,类比增益函数可以用于本文描述的任何装置和方法中以将角度差异映射到增益值上。换言之,基于类比的增益函数可以例如用于扩展增益计算201中或扩展对象扬声器增益确定1240中或映射1334中。例如,基于类比的增益函数可以替换(或近似于)图3中所示的扩展增益函数以及图4中所示的增益曲线。此外,图7中所示的基于类比的增益函数还可以用于扩展增益确定500的框302、309、311、305中。

然而,应当注意,可以自然地根据扩展(例如,根据方位角扩展或仰角扩展)来调适类比。此外,可以自然地根据应用的特定需要来缩放类比,其中类比的中心值可以改变,和/或其中类比的宽度可以改变。

图8至图11示出了用于确定描述将一个或多个音频对象信号包含到多个扬声器信号中的增益的扬声器增益的概念和方法的MATLAB代码示例。

应当注意,如参考图8至图11概述的概念或其部分或细节可以可选地用于本文所述的任何实施例中。

该方法包括通过初始化函数“spread_pannSSP”执行的初始化。该初始化函数使用包含VBAP参数的配置结构作为输入信息。初始化函数还接收关于扬声器的数量的信息。然而,应当注意,初始化函数不一定需要使用这些输入参数。

然而,初始化通常包括选择(或定义)扩展支撑点。例如,扩展支撑点可以由球面坐标系(其中,例如,所有扩展支撑点可以具有相等的半径)中的方位角和仰角的栅格定义。例如,扩展支撑点的方位角可以在数组aziSSP中定义,并且扩展支撑点的仰角可以在数组eleSSP中定义。在附图标记810处示出了扩展支撑点的定义。附图标记810处示出的扩展支撑点的定义可以例如与栅格创建204相对应。

初始化还包括扩展支撑点的平移,如附图标记820处所示。附图标记820处示出的扩展支撑点的平移可以例如与图2中的附图标记205处示出的扩展支撑点的平移相对应。例如,对于每个扩展支撑点,将确定要在相应扩展支撑点的位置处呈现的音频信号到实际扬声器信号上的平移。换言之,对于每个扩展支撑点,确定缩放值,缩放值描述了要在相应扩展支撑点的位置处呈现的信号到实际扬声器信号的平移。这些增益值被存储在名为“Spread.gainsSSP”的数据结构中。

可以对布置在球面坐标系的极点(例如,在+/-90度的仰角处)处的扩展支撑点应用特殊处理。这在附图标记830处示出。然而,应当注意,关于这些平移增益值(用于将扩展支撑点位置处的音频对象平移到扬声器信号上)的特定细节对于本发明并无特定相关性。在给定示例中,使用函数vbap,但是也可以使用其他函数(例如,其他平移函数)。

初始化800还包括在进一步处理中使用的一些变量(或常数)的初始化。该初始化在附图标记840处示出。

然而,应当注意,初始化800的细节应被视为是可选的。

在下文中,将描述函数调用,其通常针对不同对象执行多次。主函数称作“spread_calculateGains”。该主函数可以例如接收由对象平移(例如,由对象平移202)或由平移对象扬声器增益确定1230提供的增益g,并且基于增益g来提供扩展增益(还用g指定),扩展增益可以与“所得扬声器增益”214或扬声器增益1214、1314相对应。此外,主函数接收对象方位角信息azi、对象仰角信息ele、对象扩展宽度spdAzi(或spreadAngleAzi)、对象扩展高度spdEle(或spreadAngleEle)以及包括扩展参数的数据结构(其可以例如由上文所述的初始化提供)。

主函数900可以例如包括衰减增益的确定,如附图标记910处所示。例如,可以根据对象扩展宽度和对象扩展高度并且还根据扩展栅格分辨率来确定衰减增益attenGain。例如,可以使用在附图标记910处示出的计算规则。然而,一般而言,衰减增益可以随着最大对象扩展增大而增大并且还随着最小对象扩展增大而增大。因此,如果对象的扩展相对较大,则将对扩展对象扬声器增益进行相对较强的加权(相对于平移对象扬声器增益),而如果扩展相对较小,则将对扩展对象扬声器增益进行相对较弱的加权。

在进一步的预处理步骤920中,将调整对象扩展宽度和/或对象扩展高度以确保在进一步的处理中使用最小对象扩展宽度和/或最小对象扩展高度。具体地,如果对象扩展宽度和对象扩展高度中的较小者小于最小值,则将调整该较小者以取得所述相应的最小值。

在附图标记930处示出的进一步的预处理步骤中,例如基于相应的扩展角度来计算用于确定增益值的类比的参数。

此外,在准备步骤940中,计算循环极限值aziLoopLim和eleLoopLim,二者确定在层增益计算中执行的计算步骤的数量。通过(可选地)限制在层增益计算中执行的计算步骤,可以在一些情况下实现计算复杂度。

此外,主函数900还包括在附图标记950处示出的方位角层增益的确定。在第一子步骤951中,通过调用函数“calculateLayerGains”来确定方位角层增益数组。将步骤951中计算出的方位角层增益存储在数组aziGain中。在进一步的子步骤952中,获得方位角层增益的角度移位版本,并且将该角度移位版本存储在数组aziGainExtd中。换言之,数组aziGain的条目以修改的次序被复制到数组aziGainExtd中。

应当注意,步骤951可以例如与图3中所示的功能301、302相对应。此外,应当注意,步骤952可以与图3中的附图标记308和309处所示的功能相对应。换言之,代替执行图3中所示的功能301和302,可以使用附图标记951中所示的功能,或反之亦然。此外,代替执行图3中的附图标记308、309处所示的功能,可以使用附图标记952中所示的功能,或反之亦然。例如,数组aziGain和aziGainExtd可以表示与不同方位角(相对于彼此移位180度)相关联的层增益。例如,数组aziGain的第一元素可以与方位角φ

主函数900还可以包括在附图标记960处示出的仰角层增益的确定。为此目的,可以(再次)使用函数“calculateLayerGains”,其返回值的中间数组,如附图标记961处所示。根据该值的中间数组eleGainTMP,可以通过对值的中间数组中的条目的适当选择来确定仰角层增益数组eleGain,如附图标记962处所示。类似地,还可以使用对中间数组的条目的适当选择和排序来确定仰角层增益延伸数组,如附图标记963处所示。

附图标记961和962处所示的功能可以例如与框304和305的功能相对应,框961和963处所示的功能可以例如与框310和311中所示的功能相对应。

换言之,附图标记961和962处所示的功能可以取代功能框304、305,附图标记961、963处所示的功能可以取代框310、311中所示的功能。然而,备选地,可以执行框304、305的功能和框310、311的功能而不是功能960。

在附图标记970处示出的进一步步骤中,主函数900基于之前计算的方位角层增益并基于之前计算的仰角层增益来计算扩展支撑点扩展增益。为此目的,调用将随后描述的函数“calculateSSPGains”。

因此,获得由数组g_spd指定的扩展支撑点扩展增益,其描述应使用哪个缩放来在扩展支撑点处呈现音频对象。然而,由于希望知晓应使用哪个缩放来在扬声器信号中呈现音频对象信号,因此在步骤980中将扩展支撑点扩展增益映射到扬声器增益,这可以被理解为要在扩展支撑点的位置处呈现的音频信号到实际扬声器信号(与实际扬声器位置处的扬声器相关联,实际扬声器位置通常与扩展支撑点不同)的平移。

为此目的,利用先前执行的扩展支撑点平移(在初始化800中执行)的结果。例如,在所有扩展支撑点上对多组扩展支撑点平移增益和扩展支撑点扩展增益的乘积进行求和。换言之,扩展支撑点平移增益(或一组扩展支撑点平移增益)与每个扩展支撑点(由游动变量obj参考)相关联,并且扩展支撑点扩展增益还与每个扩展支撑点相关联。

应当注意,步骤980可以例如与附图标记206处示出的功能相对应。因此,框206的功能可以被附图标记980处示出的功能替代,并且反之亦然。

在步骤990中,将获得的(扩展对象)扬声器增益gOS与输入增益值g(其可以例如是平移对象增益值)组合。例如,通过上述衰减增益attenGain确定对扩展增益值gOS的缩放。此外,步骤990可选地包括平移增益值与扩展增益值的所述组合的结果的归一化。

例如,步骤990可以与框203的功能相对应。

关于主函数900的总体功能,应当注意,主要功能在于步骤950、960、970和980。在步骤950中,计算“分层增益值”数组,其描述音频对象在方位角方向上的扩展,更精确地,与扩展支撑点的方位角值相关联的增益值。在该步骤中,考虑方位角方向上的对象扩展。此外,相对于数组aziGain中的方位角增益值循环移位的延伸方位角增益值有助于形成“过顶”扩展。

在步骤960中,计算扩展值,其与给定方位角值和与扩展支撑点相关联的不同仰角值相关联。这里,考虑音频对象的仰角位置和在仰角方向上的对象扩展。此外,获得仰角层增益延伸数组,以支持音频对象的过顶扩展。

在步骤970中,组合方位角层增益和仰角层增益的值,以计算与所有支撑点位置相关联的增益值。

因此,在步骤980中,与支撑点位置相关联的增益值被有效地映射到与扬声器信号相关联的增益值。

在下文中,将参考图10和图11描述函数“calculate layer gains”及“calculateSSPGains”的一些细节。

图10示出了函数calculateLayerGains的MATLAB代码。应当注意,用“gains”指定的所述函数的返回值为数组,其中数组元素的索引与方位角或与仰角相关联。一般而言,所述数组的条目包括随着音频对象的角度位置(方位角位置或仰角位置)和与数组的相应条目相关联的角度(例如,SSP方位角位置或SSP仰角位置)之间的角度差异增加而大致成拋物线的衰减。

函数1000包括对符号值plumin的可选确定,如附图标记1010处所示。

此外,函数1000包括与对象位置(例如,对象仰角或对象方位角)相关联的数组索引(“多个”)的确定。该确定在附图标记1020中示出。

函数1000还包括从邻近扩展支撑点的位置(角度)中导出对象位置的计算,如附图标记1030中所示。

此外,该函数包括增益值的计算,如附图标记1040处所示。这些增益值被存储在数组“gains”中,其中数组索引与扩展支撑点的角度(方位角或仰角)相关联。增益值自身是使用针对考虑中的音频对象的位置与相应扩展支撑点的位置之间的相应角度差异的类比的评估来确定的。增益值由对类比的评估提供,其受到限制,使得值保持非负。因此,数组“gains”填充有增益值,其基于对以考虑中的音频对象的位置的角度(方位角或仰角)为中心的类比的评估(其中应用对非负值的限制)。

因此,在附图标记1000中示出的函数“calculate layer gains”允许提供增益值数组,更精确地,与恒定方位角(或备选地,恒定仰角)相关联的扩展增益值。

在下文中,将描述函数“calculateSSPGains”的细节。

在附图标记1100处示出的函数包括扩展增益的计算,如附图标记1110处所示。具体地,针对每个扩展支撑点SSP计算一个扩展增益值,其中对处于极坐标系的极点处的扩展支撑点的特定处理在附图标记1120处示出。

然而,对于由仰角索引nel和方位角索引naz指定的每个扩展支撑点,用乘法组合方位角增益值aziGain(naz)和仰角增益值eleGain(nel)。该组合可以例如与框313处示出的操作相对应。此外,还用乘法组合相关联的延伸方位角增益值aziGainExtd(naz)也与相关联的延伸仰角增益值eleGainExtd(nel),这可以与框312处示出的操作相对应。

此外,然后对乘法组合的结果进行相加,这可以与框314处示出的操作相对应。例如,由同一索引naz指定的方位角增益值和延伸方位角增益值可以与相差180度的角度相对应。例如,当由给定索引naz指定的方位角增益值可以与+45度的方位角相关联时,与同一索引naz相关联的延伸方位角增益值可以与-135度的方位角相关联。此外,仰角增益数组和延伸仰角增益数组中与同一索引nel相关联的角度之和可以为180度,或者可以为-180度。例如,给定索引nel可以指定数组eleGains的与+45度相关联的条目,并且同一索引nel将指定数组eleGainExtd的与135度的角度相关联的条目。因此,在该示例中,数组eleGain和eleGainExtd中与给定索引nel相关联的角度之和可以为+180度。当使用这种组合时,可以确保以适度的工作量获得恰当的缩放值。此外,仰角值大于90度的事实不会过度增大该概念的计算复杂度。

对极点(即,与极点相关联的增益值)的特定处理1120有助于避免极点处的伪声。

函数1000还包括归一化,其在附图标记1130中示出并且可以被视为可选的。因此,扩展增益可以可选地被归一化以便使其进入适当的值范围中。

概言之,函数1100允许基于与单个仰角相关联的增益值数组并基于与单个方位角相关联的增益值数组来导出与扩展支撑点相关联的增益值。

应当注意,函数800、900、1000和1100的功能可以可选地以单独和组合的方式引入任何其他实施例中。还应当注意,在其他实施例中描述的任何功能可以可选地以单独和组合的方式引入函数800、900、1000、1100中。

1I.根据图14的方法

图14示出了用于基于对象位置信息和对象特征信息或扩展信息来确定扬声器增益的方法1400的流程图,扬声器增益描述用于将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该方法包括使用音频对象的点源平移获得1410平移对象扬声器增益。

该方法还包括考虑对象位置信息和对象特征信息或扩展信息来获得1420扩展对象扬声器增益。

该方法还包括以始终存在平移对象扬声器增益的贡献的方式组合1430平移对象扬声器增益和扩展对象扬声器增益,以便获得组合扬声器增益。

方法1400基于与上述装置相同的考虑,并且可以可选地通过本文描述的任何特征、功能和细节单独地和组合地补充。

1J.根据图15的方法

图15示出了用于基于对象位置信息和对象特征信息或扩展信息来确定扬声器增益的方法1500的流程图,扬声器增益描述用于将一个或多个音频对象信号包含到多个扬声器信号中的增益。

该方法包括考虑对象位置信息和对象特征信息来获得1510扩展对象扬声器增益。

该方法还包括使用次数小于或等于3的一个或多个多项式函数获得1520扩展增益,该一个或多个多项式函数将对象位置与支撑点位置之间的角度差异映射到扩展增益值贡献上。

该方法还包括使用基于扩展增益贡献的扩展增益来获得1530扩展对象扬声器增益,或者使用扩展增益作为扩展对象扬声器增益。

方法1500基于与上述装置相同的考虑,并且可以可选地通过本文描述的任何特征、功能和细节单独地和组合地补充。

2.其他实施例的论述

在下文中,将描述根据本发明的实施例的对象扩展呈现算法。

应当注意,该对象扩展呈现算法可以独立地使用,但是可以可选地通过本文公开的任何特征、功能和细节单独地和组合地补充。

此外,此部分中描述的概念的任何特征、功能和细节可以可选地以单独和组合的方式被引入本文描述的任何装置和方法中。

根据一个方面,用于实现扩展效果的基本构思是激活其他扬声器,这些扬声器从对象位置开始以单调减小的强度回放相同的对象信号。也就是说,针对每个扬声器,必须计算扩展增益,以该扩展增益来回放对象以便创建扩展效果。扩展增益可以以如下方式确定。

2.1使用额外扩展支撑点的对象扩展计算

在不对称和/或2D扬声器设置的情况下,在一些情况下,扬声器位置不可用作SSP。原因是定位准确度的潜在减小,因为扩展再现依赖于均匀分布(例如,在球体上)的SSP。因此,创建等距分布的对象栅格(例如,在图2的概念的框204中),其中这些对象承担SSP的角色。例如,这些SSP中的每一个在框205(扩展支撑点的平移)中被平移(例如,用VBAP)。框201(扩展增益计算)使用SSP位置以便计算(更多细节,参见例如2.2部分)扩展增益,使得在框206(组合)中可以组合扩展增益和SSP平移增益(组合这两种类型的增益的最简单方式是乘法。当然,其他过程是可能的。)。为了再现小的(例如,比SSP栅格分辨率小的角度)扩展角度,平移(例如,用VBAP)实际对象(例如,在框202中,“平移对象”),并且将其与扩展扬声器增益组合(例如,在框203中,“组合”)(更多细节,参见2.5部分)。

2.2扩展增益计算(例如,在框201中)

为了计算扩展增益,例如使用单调减小函数。例如,基于SSP与对象之间的球面距离,从该函数中确定衰减增益。例如,函数在对象的位置处具有增益值1,并且在不希望扩展效果的位置处具有增益值0。例如,衰减增益可以被限于0与1之间的范围,并且不允许放大。

在无进一步处理步骤的情况下,该过程仅允许创建例如如图1中在附图标记100、101和102处所示的均匀扩展图案。为了实现非均匀扩展图案(例如,如图1中在附图标记104和105处所示),例如应当单独地处理扩展角度(例如,[方位角和仰角]或[宽度和高度])。因此,在下文中,加权函数不仅被设计为一维(例如,一个扩展值),而且还被设计为二维(例如,宽度和高度)。

例如,如图3中所描绘的,二维增益函数可以被建模为两个一维增益函数的组合。例如,为了对非均匀水平扩展图案(例如,图3的上部绘图)进行建模,选择大的扩展角度,其创建宽一维增益函数(被示为在左壁上突出)。同时,例如,选择窄的仰角扩展角度,其创建窄一维增益函数(被示为在右壁上突出)。出于说明的目的,一维函数被归一化为具有最大值1。例如,两个一维函数的组合得出二维函数。例如,组合两个一维函数的最简单方式是乘法。当然,不同的其他过程是可能的。

2.2.1算法

在下文中,基于一个SSP和一个对象来说明扩展增益计算的示例。然而,可以随后针对所有SSP执行该算法,并且可以累加所得扩展增益。

例如,在框301中,计算SSP的方位角与对象之间的绝对差异。在框303中,例如限制扩展值,使得其在非均匀扩展的情况下不取小于SSP栅格分辨率角度的值。否则,用于移动对象的非均匀扩展的“平移”在一些情况下可能会造成可察觉的跳跃。例如,基于来自框301的差异角度和来自框303的扩展角度,计算一个扩展增益分量,同时扩展角度控制例如一维增益曲线的形状/宽度,并且差异角度选择值。在图4中示出了一个示例。

例如,在框304、306和305中对仰角值重复相同的过程。例如,在框313中将两个结果相乘。该乘积已经在二维增益函数的表面上表示一个值,但是仅在仰角范围内,因为仰角自然地被限于[-90°,90°]。应当注意,球体在球面坐标中的定义通常(或常规地)仅允许以下两种组合。或者是具有范围[-180°,180°]的方位角和[-90°,90°]的仰角,或者可以将方位角限制于[-90°,90]并且将仰角范围延伸到[-180°,180]。否则,球体的后部会被定义两次。然而,在本发明的一些实施例中可以克服该限制。

例如,假定在前半球中处于30°的方位角和80°的仰角处的对象具有60°的竖直扩展。由于扩展例如相对于对象对称,因此例如扩展的20°位于后半球中,其中方位角为例如210°(或-150°)。在这种情况下,水平一维增益函数将例如掩盖扩展增益至接近零,因为水平增益函数被选择为具有窄形状,使得可以实现竖直扩展。

出于此原因,在一些实施例中,仰角范围被延伸(例如,在2.3部分中讨论了更多可选细节)到[-180°,180°]并且被映射回原始范围(例如,由信号处理框314和315涵盖)。例如,与框301、302、304、305和313中的过程类似,例如在框308、309、310、311和312中针对延伸仰角范围计算扩展增益分量。最后,例如,来自框312和313的结果在框314中相加,并且在框315中被归一化(例如,在2.4部分中讨论了更多可选细节)。

2.3仰角范围延伸(例如,在框307中)

例如,在一些实施例中,为了在对象处于前半球上时在后半球上呈现扩展(并且反之亦然),所有SSP必须被镜像到延伸仰角范围(即,从[0°,90°]到[91°,180°]以及从[-90°,-1°]到[-180°,-91°])。基于以下示例来说明该过程。

作为示例,假定SSP在(20°,40°)(方位角和仰角)处,则其镜像SSP位于(-160°,140°)处。这简单地意味着例如方位角被移位180°并且仰角被镜像到延伸仰角范围,同时保持其与水平平面的角距离。

用于下半球的另一示例:(120°,-70°)处的SSP被镜像到(-60°,-110°)。

2.4归一化(例如,在框315中)

在一些情况下,延伸仰角范围、计算延伸范围中的增益以及向从原始范围中确定的增益添加附加增益分量可能会导致放大。例如,原始范围中的最大增益在对象的位置处始终为1。向来自原始范围的最大增益添加的来自延伸范围的增益分量处于镜像位置,并且例如取决于扩展值(例如,组合中的方位角和仰角)。

例如,对于单调减小函数,两个增益分量的这种相加将导致给定扩展值的最大可能增益。因此,在一些情况下,将对象的扩展增益归一化到该最大值是必要的(或有利的)。例如,归一化增益为:

其中SGCA是例如从框309中针对对象与其镜像位置之间的方位角差异(对象与其镜像位置之间的方位角差异始终为180)确定的扩展增益分量,SGCE是例如从框311中针对对象与其镜像位置之间的仰角差异确定的扩展增益分量。

2.5扩展和对象增益的组合(例如,在框203中)

例如,一种组合方法是对对象扬声器增益与扩展扬声器增益进行求和。包含扬声器增益的所得向量可能例如需要被归一化到其欧几里德范数。根据SSP栅格分辨率,例如可能会有必要使扩展扬声器增益在组合之前被衰减。例如,在低SSP栅格分辨率(例如,低SSP栅格分辨率允许低计算复杂度)的情况下,从0°向上快速改变的扩展值可能造成可察觉的伪声。例如,可以根据以下等式(其中应当注意,其他等式也是可能的)确定衰减:

其中

3.高效实施方式

在下文中,将描述高效实施方式的可选细节,其可以可选地与本文公开的任何实施例单独地和组合地结合使用。

例如,由于SSP被选择为等距地分布于球体上,因此它们将例如在每个水平/竖直层上具有相同的角距离。

图6描绘了分辨率为45°的SSP栅格的示例。其产生8个竖直层和5个水平层,其中+/-90°仰角处的SSP应仅定义一次。

然而,仅在水平层上计算(例如,在框301和308中)一次对象与SSP之间的差异方位角且在竖直层上计算(例如,在框304和310中)一次差异仰角就足够了。

此外,例如,能够在顺时针方向上计算一个差异角度(例如,在水平层上)并且在逆时针方向上计算一个差异角度,并且通过计入SSP索引来计算从对象到每个SSP的差异角度。

示例:

在水平层上,SPP(或SSP)方位角为:[0°、45°、90°、135°、180°、-135°、-90°、-45°]。它们已经准备(例如,已经在初始化期间准备)的索引可以例如为[1、2、3、4、5、6、7、8],这些索引被存储在索引环中(使用索引环允许例如从索引1跳到8并从8跳到1。其例如是无限循环或至少近似于无限循环)。

例如,假定对象方位角为30°。关于SSP索引,它位于索引1与2之间。顺时针方向上的差异为15°,逆时针方向上的差异为30°。对于180°的给定扩展角度(即,相对于对象位置+/-90°对称),激活处于方位角[45°,90°](顺时针)和[0°,-45°](逆时针)处的SSP。因此,在计算差异角度期间仅须考虑顺时针方向上的两个索引和逆时针方向上的两个索引。

例如,该方法具有两个优点。首先,通过使用索引环,避免了在间隔[-180°,180°]之外的角度的回绕。此外,其允许将计算限于相关SSP。对于小的扩展角度,其使得计算工作量大大降低。

使算法在计算上更高效的另一可能性是相应地选择加权函数的设计。一方面,如之前所介绍的“高斯钟”状的增益曲线利用指数函数,其被实现为幂级数展开,因此在计算上是低效的。另一方面,增益函数在理想情况下应具有如图7中所示的根据平移算法(例如,VBAP)确定的所得函数的形状。这在使用非均匀扩展图案与小扩展角度的组合时特别理想(或甚至在一些情况下被要求如此),以便保证平滑的对象移动。

已经发现,在使用相应地拉伸且翻转的类比时,给出适当的折衷。其避免指数/三角函数,并且良好地近似于VBAP平移曲线的形状。

4.实现备选方案

虽然已经在装置的上下文中描述了一些方面,但是将清楚的是,这些方面还表示对应方法的描述,其中,块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件设备(诸如,微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中,可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。

取决于某些实现要求,可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如,软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现,该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此,数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体,其能够与可编程计算机系统协作以便执行本文所述的方法之一。

通常,本发明的实施例可以实现为具有程序代码的计算机程序产品,程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的计算机程序,该计算机程序用于执行本文所述的方法之一。

换言之,本发明方法的实施例因此是具有程序代码的计算机程序,该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。

因此,本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质),该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。

因此,本发明方法的另一实施例是表示计算机程序的数据流或信号序列,所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如,经由互联网)传送。

另一实施例包括处理装置,例如,计算机或可编程逻辑器件,所述处理装置被配置为或适于执行本文所述的方法之一。

另一实施例包括其上安装有计算机程序的计算机,该计算机程序用于执行本文所述的方法之一。

根据本发明的另一实施例包括被配置为向接收器(例如,以电子方式或以光学方式)传送计算机程序的装置或系统,该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。

在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常,方法优选地由任意硬件装置来执行。

本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。

本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。

本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。

本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。

上述实施例对于本发明的原理仅是说明性的。应当理解的是,本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此,旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

另外,应当注意,术语“考虑”可以例如但并非必须具有“基于”或“取决于”的含义。

另外,应当注意,术语“描述”可以例如但并非必须具有“表示”或“直接地或间接地表示”或“作为...的度量”或“构成”的含义。例如,“描述”另一量的第一量可以等于另一量,或者可以与另一量成比例,或者可以使用预定(线性或非线性)关系与另一量相关。

另外,应当注意,用语“与方位角值相关联”可以例如具有“具有方位角值”的含义。

另外,应当注意,用语“与仰角值相关联”可以例如具有“具有仰角值”的含义。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号