三维虚拟场景中的声音处理方法及装置

摘要

本发明公开了一种三维虚拟场景中的声音处理方法及装置。其中，该方法包括：三维程序引擎获取虚拟场景中的声源点的声音处理请求；根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校；运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。在本发明中，通过针对虚拟场景的音效需求进行灵活HRTF参数调校，解决了由于现有的硬件的HRTF函数数据库对某些虚拟场景下的声音定位效果不太理想的技术问题，达到优化三维定位音效的效果。

说明书

技术领域

本发明涉及声音定位处理领域，具体而言，涉及一种三维虚拟场景中的声音处理 方法及装置。

背景技术

头部相关变换函数（Head-Response Transfer Function简称HRTF）是一种声音定 位的处理技术，通过测量人耳对不同方位声音变换数据，统计并计算得出的人耳感知 模型。

人有两个耳朵，却能定位来自三维空间的声音，这得力于人耳对声音信号的分析 系统。这个信号分析系统，透过人体本身对声波的滤波效应，得出声音定位的信息。 理论上来说，通过测量人体的滤波和延迟等对声音的处理效应，然后使用回放系统（耳 机或音箱）播放声音时模拟那些人体造成的效果，就能精确的模拟声音在真实三维世 界里的人耳感知定位。

现在的测量，是通过制作人工头来完成的。使用对人体密度和材质高度仿真的假 体，通过记录对固定方位的声波传达到人工头的假耳收音时的音频差值，统计出头部 相关变换函数（HRTF）。

这些测量数据包括：两耳之间的听觉时间延迟（Inter Aural Time Delay，简称ITD）、 两耳之间的听觉声波振幅差异（Inter Aural Amplitude Different，简称IAD）、两耳之间 的听觉强度差（Inter Intensity Difference，简称IID）和光谱信号（Spectral Cues）。

在现有的3D音效处理中，如果声卡硬件有HRTF运算芯片，三维引擎在将声源 调制并播放给收音者时，会运用HRTF函数进行三维定位处理，以达到收音者听上去 拟真的三维定位效果。

在现有3D音效处理中，虽然能够通过自带有HRTF函数的运算芯片进行HRTF 运算，使用户从听觉上获得三维定位的体验，但是，由于这些硬件的HRTF函数数据 库基本上都是来自对真实环境的测量的，因此，其并适合于某些虚拟场景的声音处理， 例如，在游戏类项目的虚拟场景中，为了达到特定的视觉效果，通常会在构图时采用 一些夸张的手法，使得物体的体积比例可能与真实世界的实际体积比例有所差别。再 例如，在第一视角射击类游戏中，玩家需要非常夸张的脚步声定位，以达到判断其它 玩家的位置，而现有的硬件支持的HRTF函数在该类虚拟场景下的声音定位效果在大 多数时候并不太理想。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种三维虚拟场景中的声音处理方法及装置，以至少解决由 于现有的硬件的HRTF函数数据库对某些虚拟场景下的声音定位效果不太理想的技术 问题。

根据本发明实施例的一个方面，提供了一种三维虚拟场景中的声音处理方法，包 括：三维程序引擎获取虚拟场景中的声源点的声音处理请求；根据虚拟场景中声源点 与收音者之间的三维坐标位置关系，调用相应的HRTF函数；根据声源点所在的虚拟 场景，对HRTF函数的参数值进行调校；运用调校后的HRTF函数对声源点的声音信 号进行滤波和延迟处理。

根据本发明实施例的另一方面，还提供了一种三维虚拟场景中的声音处理装置， 包括：获取模块，用于获取虚拟场景中的声源点的声音处理请求；调用模块，用于根 据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；调 校模块，用于根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校；处理模 块，用于运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。

在本发明实施例中，在对声源点进行HRTF运算时，考虑了该声源点所在的虚拟 场景的需求，并根据虚拟场景对HRTF函数的参数值进行调校，进而解决了由于现有 的硬件的HRTF函数数据库对某些虚拟场景下的声音定位效果不太理想的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图 中：

图1是根据本发明实施例1的三维虚拟场景中的声音处理方法流程图；

图2是根据本发明实施例2的三维虚拟场景中的声音处理方法流程图；

图3是根据本发明实施例3的声音回放系统示意图；

图4是根据本发明实施例4的三维虚拟场景中的声音处理装置模块结构示意图； 以及

图5是根据本发明实施例5的三维虚拟场景中的声音处理装置模块结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的 附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领 域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于 本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第 二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这 样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在 这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的 任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方 法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚 地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种三维虚拟场景中的声音处理方法，本实施例中所 涉及的虚拟场景可以是游戏类项目中的虚拟场景，包括网络游戏，手机游戏等。也可 以是其它专业领域中的仿真训练类项目中的虚拟场景，包括航空、汽车等仿真训练项 目。

如图1所示，该声音处理方法包括以下步骤：

步骤S102，三维程序引擎获取虚拟场景中的声源点的声音处理请求。

三维程序引擎是3D音效处理中的术语，该三维引擎在形式上可以是多样的，通 常是指具有HRTF运算能力的软件或硬件或软硬件的结合均可，例如，在本实施例中 可以是带有HRTF运算芯片的声卡硬件，该三维程序引擎在音效处理时，可得到声源 点的声音处理请求。

步骤S104，根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应 的HRTF函数。

当三维程序引擎得到声源点的触发播放请求时，可根据声源点与收音者的仰角值、 方位角值、和距离值应用相应的HRTF函数，以便对声音进行前级处理，达到收音者 听上去拟真的三维定位效果。

步骤S106，根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校。

由于在本实施例中，是对虚拟场景中的声源点进行声音的三维定位处理，为了增 强三维定位的体验，需要根据虚拟场景中的音效需求，对HRTF数据库进行优化调校。

例如，在第一视角射击类游戏中，玩家需要非常夸张的脚步声定位，以达到判断 其它玩家的位置，而HRTF的原始函数无法达到该虚拟场景的音效需求，这就需要将 HRTF函数进行重新调校，调整HRTF函数中表征的脚步声强度的参数值，以便使玩 家获得更好的三维声音定位体验。

在本发明的另一优选实施例中，为了达到特定的视觉效果，在虚拟场景的构图时 采用一些夸张的手法，例如，虚拟场景中的怪物与背景物体（例如，房屋，道路等） 的比例关系与真实世界的实际比例关系有所差别，这也造成了声卡硬件HRTF函数介 入计算的误差，因此，需要将HRTF函数进行重新调校，获得更好的三维声音定位效 果。

步骤S108，运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。

在上述实施例中，通过三维程序引擎声音源点定位播放时运用HRTF运算，在前 级输出时根据收音者的定位信息对声音进行信号的滤波和延迟等声音处理，并可以灵 活根据虚拟场景的音效需求进行HRTF参数调校，达到优化三维定位音效的效果。

实施例2

本实施例对声源点的声音信号处理过程基本上与实施例1相同，在此不累述。本 实施例与实施例1的区别在于，在本实施例2中，设置了几组不同运算强度的HRTF 函数数据库，用户可以根据所使用的计算机性能，进行选择，既保证三维定位音效的 使用流畅性，又可保证最优声音定位效果。

如图2所示，以三个不同的声源点为例，声源点A为重要声音，声源点B为一般 声音，声源点C为可忽略的声音。在本实施例中，为声源点A和B分别设置了不同 HRTF函数数据库，声源点A所运用的HRTF函数占资源较大，声源点B所运用的 HRTF函数占资源较小，而声源点C因为重要性非常低，不进行HRTF函数计算。本 实施例的分类设置，可以既节约资源，又根据声源所播放内容的不同，进行分别的优 化调校，以达到提高三维声音定位体验的目的。需强调的是HRTF函数的设置可根据 实际需要来进行，例如，也可以不采用设置几组不同运算强度的HRTF函数数据库的 方式，而是对同一HRTF函数数据库的HRTF函数进行优先级分类，以优先级来分配 所占资源的多少，或将上述两种方式进行结合。当然，还会有其它类似的HRTF函数 资源配置方式。

实施例3

本实施例重点描述了通过声音回放系统将经过上述HRTF函数处理后的声音信号 进行播放的过程。

在上述实施例中，是根据声源点与收音者三维坐标位置在三维程序引擎中计算， 而HRTF函数的测量是从人工头双耳为基础进行测量的，所以环绕声多声道回放系统 需要基于双声道进行换算播放。

在环绕声多声道的回放系统中，将双声道的HRTF处理信号分成左右两路，如果是多 声道的回放系统，也可将镜像的多个两声道分别分组。

根据当前声源点位置判定的需要，将HRTF处理过的信号根据声源点播放时与收 音者的方位角信息分别分配给对应的镜像两声道进行回放。

在本实施例中，以7.1环绕声回放系统为例，如图3所示：收音者映射至音箱组 的正中央，以收音者方位角正前方为0度，映射中置音箱A；以收音者方位角正前方 为0度，左前方45度映射前置左音箱；以收音者方位角正前方为0度，右前方45度 映射前置右音箱；以收音者方位角正前方为0度，左方90度映射中环左音箱；以收音 者方位角正前方为0度，右方90度映射中环右音箱；以收音者方位角正前方为0度， 左后方45度映射后置左音箱；以收音者方位角正前方为0度，右后方45度映射后置 右音箱。镜像的两声道为同一分组，即，中置音箱独立为一个分组A（中置音箱，可 算做一个两声），前置左音箱和前置右音箱为分组B，中环左音箱和中环右音箱为分组 C，后置左音箱和后置右音箱为分组D。

三维程序引擎将双声道的回放信号同时分配给上图A、B、C、D音箱组，根据声 源点与收音者的方位角值，对不同的音箱组进行音量调制，相邻的两个音箱编组之间 区域，音量线性的在0至-6DB之间进行交叉淡化调制，音量播放的最大差值为-6DB。

例如，以收音者方位角正前方为0度，左前方45度有声源点播放时，此时左前方 45度声源点与收音者的方位角关系移动至左方90度，中环左音箱与中环右音箱线性 增益到原始信号的0DB播放，前置左音箱与前置右音箱线性衰减到-6DB，后置左音 箱与后置右音箱线性衰减到-6DB，中置音箱线性衰减到-12DB。

在本实施例中，相同的音箱编组，不需要进行音量调制，因为在三维程序引擎内 部已经根据声源点的三维坐标对声音定位播放进行过处理。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系 列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限 制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术 人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块 并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施 例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但 很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者 说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存 储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终 端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所 述的方法。

实施例4

根据本发明实施例，还提供了一种用于实施上述三维虚拟场景中的声音处理的声 音处理装置，如图4所示，该装置包括获取模块10、调用模块20、调校模块30和处 理模块40。获取模块10、调用模块20、调校模块30和处理模块40在功能上是耦合 的。

其中，获取模块10用于获取虚拟场景中的声源点的声音处理请求；调用模块20 用于根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函 数；调校模块30用于根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校； 处理模块40用于运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。

本实施例中，获取模块10、调用模块20、调校模块30和处理模块40在功能上可 以实现类似上述方法实施例中三维程序引擎的功能。

在上述实施例中，通过引入调校模块30灵活根据虚拟场景的音效需求进行灵活 HRTF参数调校，达到优化声音的三维定位体验。

实施例5

图5示出了根据本发明实施例5的三维虚拟场景中的声音处理装置模块结构示意 图，如图5所示，本实施例包括上述实施例4中的获取模块10、调用模块20、调校模 块30和处理模块40，各功能模块实现的功能与上述实施例4类似，再此不累述。本 实施例5与实施例4的声音处理装置区别仅在于，在本实施例5中，调校模块30还包 括两个针对特定虚拟场景的HRTF函数调校的子模块，即，第一调校子模块31和第二 调校子模块32。

其中，第一调校子模块31用于根据声源点在特定的虚拟场景下需呈现的声音效果， 调整HRTF函数的参数值。第二调校子模块32，用于根据声源点所在的虚拟场景中的 物体的大小比例关系与真实环境中的物体的实际大小比例关系的差异，调整HRTF函 数的参数值。

在本实施例中，可通过第一调校子模块31或第二调校子模块32需要根据虚拟场 景中的音效需求对HRTF数据库进行优化调校，以增强三维定位的体验。

例如，在第一视角射击类游戏中，玩家需要非常夸张的脚步声定位，以达到判断 其它玩家的位置，而HRTF的原始函数无法达到该虚拟场景的音效需求，则可通过第 一调校子模块31将HRTF函数进行重新调校，调整HRTF函数中表征的脚步声强度的 参数值，以便使玩家获得更好的三维声音定位体验。

在本发明的另一优选实施例中，为了达到特定的视觉效果，在虚拟场景的构图时 采用一些夸张的手法，例如，虚拟场景中的怪物与背景物体（例如，房屋，道路等） 的比例关系与与真实世界的实际比例关系有所差别，这也造成了声卡硬件HRTF函数 介入计算的误差，因此，可通过第二调校子模块32将HRTF函数进行重新调校，获得 更好的三维声音定位效果。

在本发明的另一优选实施例中，声音处理装置还可包括一个将经过上述HRTF函 数处理后的声音信号进行播放的回放系统（图中未示出）。该回放系统可以是双声道的， 也可以是多声道的，例如，7.1环绕声回放系统。在该7.1环绕声回放系统中，中置音 箱为一组，前置左音箱和前置右音箱为一组，中环左音箱和中环右音箱为一组，后置 左音箱和后置右音箱为一组，相邻的两个音箱编组之间，音量播放的最大差值为-6DB。

因为，在本发明中是根据声源点与收音者三维坐标位置在三维程序引擎中计算， 而HRTF函数的测量是从人工头双耳为基础进行测量的，所以在本实施例中，环绕声 多声道回放系统需要基于双声道进行换算播放，以达到最佳的三维声音定位效果。

在本发明的上述各实施例所描述的技术方案中，通过三维程序引擎在声音源点定 位播放时介入HRTF运算，在前级输出时根据收音者的定位信息对声音进行信号的滤 波和延迟等声音处理，并可以灵活根据不同的声音定位进行灵活HRTF参数调校，达 到优化声音的三维定位体验，并可以根据声音在虚拟场景中重要性的不同，增强或忽 略HRTF计算，以达到资源的合理利用。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有 详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的声音处理装置，可通过 其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的 划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元 或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一 点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单 元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显 示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到 多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例 方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成 的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时， 可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质 上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的 形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一 台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所 述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only  Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者 光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润 饰也应视为本发明的保护范围。