一种基于虚拟技术的指向性声音仿真处理方法及系统

摘要

本发明的基于虚拟技术的指向性声音仿真处理方法及系统，能够确定出用于评估汇总的疑似衰减音频数据是否为相同疑似衰减音频数据，且疑似衰减音频数据是在一组不间断的指向性音效仿真数据片段内检测到的或不同不间断的指向性音效仿真数据片段检测到的，进而基于音频区分特征汇总各个疑似衰减音频数据在目标指向性音效仿真数据中匹配声效仿真故障的汇总值，如果所述汇总值超过设定阈值，则根据所述疑似衰减音频数据创建音频通信网。这样，可以提高确定目标指向性音效仿真数据中疑似衰减音频数据匹配声效仿真故障的汇总值的精度，并基于汇总值实现准确的音频通信网创建，从而保障高质量的指向性发声。

说明书

技术领域

本发明涉及虚拟技术领域，特别涉及一种基于虚拟技术的指向性声音仿真处理方法及系统。

背景技术

目前虚拟现实技术（VR/AR/MR）的实现效果大多数为视觉仿真加上立体声，在一个空间内多人互动型应用（例如多人VR会议）中，但是仅仅是实现了声音播放，但是声效质量难以保障，且难以实现指向性发声（视觉与听觉双重仿真）的效果。而相关的指向性发声技术由于难以精准定位疑似衰减音频，也就难以指导指向性音频通信网的创建，从而难以保障高质量的指向性发声。

发明内容

为改善相关技术中存在的技术问题，本发明提供了一种基于虚拟技术的指向性声音仿真处理方法及系统。

第一方面，本发明实施例提供了一种基于虚拟技术的指向性声音仿真处理方法，包括：获取目标指向性音效仿真数据的声学检测内容，所述声学检测内容包括所述目标指向性音效仿真数据中至少一个疑似衰减音频数据的音频区分特征，所述目标指向性音效仿真数据的任一不间断的指向性音效仿真数据片段内检测到的相同疑似衰减音频数据的音频区分特征为一致的且不重复的；根据所述疑似衰减音频数据的音频区分特征，从所述目标指向性音效仿真数据中确定出所述疑似衰减音频数据检测到的指向性音效仿真数据片段；根据所述疑似衰减音频数据检测到的指向性音效仿真数据片段，汇总所述疑似衰减音频数据在所述目标指向性音效仿真数据中匹配声效仿真故障的汇总值；如果所述汇总值超过设定阈值，则根据所述疑似衰减音频数据创建音频通信网。

在一些优选的示例中，所述疑似衰减音频数据检测到的指向性音效仿真数据片段包括所述疑似衰减音频数据首次检测到的第一指向性音效仿真数据片段；

其中，所述根据所述疑似衰减音频数据检测到的指向性音效仿真数据片段，汇总所述疑似衰减音频数据在所述目标指向性音效仿真数据中匹配声效仿真故障的汇总值，包括：

根据所述疑似衰减音频数据的音频区分特征，确定在第二指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征，所述第二指向性音效仿真数据片段是所述第一指向性音效仿真数据片段之后间隔设定处理时段的指向性音效仿真数据片段；

在所述第二指向性音效仿真数据片段中存在所述疑似衰减音频数据的相同音频区分特征，且所述第二指向性音效仿真数据片段位于目标时序区间内时，修改所述声效仿真故障的汇总值。

在一些优选的示例中，在修改所述声效仿真故障的汇总值之后，所述方法还包括：

根据所述疑似衰减音频数据的音频区分特征，确定第三指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征，所述第三指向性音效仿真数据片段是所述第二指向性音效仿真数据片段之后间隔设定闲置时段与所述设定处理时段的指向性音效仿真数据片段；

在所述第三指向性音效仿真数据片段中存在所述疑似衰减音频数据的相同音频区分特征，且所述第三指向性音效仿真数据片段位于所述目标时序区间内时，修改所述声效仿真故障的汇总值，以及将所述第二指向性音效仿真数据片段更改为所述第三指向性音效仿真数据片段，以继续确定所述第三指向性音效仿真数据片段之后间隔设定闲置时段与所述设定处理时段的指向性音效仿真数据片段中，是否存在所述疑似衰减音频数据的相同音频区分特征。

在一些优选的示例中，在所述根据所述疑似衰减音频数据的音频区分特征，确定第三指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征之后，所述方法还包括：在所述第三指向性音效仿真数据片段中不存在所述疑似衰减音频数据的相同音频区分特征，或所述第三指向性音效仿真数据片段位于所述目标时序区间外时，结束汇总所述疑似衰减音频数据匹配声效仿真故障的汇总值。

在一些优选的示例中，所述获取目标指向性音效仿真数据的声学检测内容，包括：

对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签；

根据所述各个疑似衰减音频数据的差异标签，确定包含相同类型疑似衰减音频数据的各组不间断的指向性音效仿真数据片段；

为所述各组不间断的指向性音效仿真数据片段中的各个疑似衰减音频数据分别添加音频区分特征，其中，所述目标指向性音效仿真数据的任一不间断的指向性音效仿真数据片段内检测到的相同疑似衰减音频数据的音频区分特征为一致的且不重复的。

在一些优选的示例中，所述声学检测内容还包括所述各个疑似衰减音频数据的差异标签，在为所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据分别添加音频区分特征之后，所述方法还包括：

根据所述各个疑似衰减音频数据的差异标签以及音频区分特征，从所述各个疑似衰减音频数据中采样出与指定差异标签匹配且与指定音频区分特征匹配的疑似衰减音频数据。

在一些优选的示例中，所述声学检测内容还包括所述各个疑似衰减音频数据的差异标签，在对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，所述方法还包括：

根据所述各个疑似衰减音频数据的差异标签，从所述各个疑似衰减音频数据中采样出与指定差异标签匹配的至少一个疑似衰减音频数据；

其中，所述为所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据分别添加音频区分特征，包括：

为所述至少一个疑似衰减音频数据分别添加音频区分特征，其中，所述目标指向性音效仿真数据的任一不间断的指向性音效仿真数据片段内检测到的相同疑似衰减音频数据的音频区分特征为一致的且不重复的。

在一些优选的示例中，在所述对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，所述方法还包括：

基于针对所述目标指向性音效仿真数据的数据采集行为，根据所述数据采集行为指示的目标仿真数据集，丢弃所述各个指向性音效仿真数据片段中位于所述目标仿真数据集外的疑似衰减音频数据以及位于所述目标仿真数据集外的疑似衰减音频数据的差异标签。

在一些优选的示例中，在所述对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，所述方法还包括：

基于针对所述目标指向性音效仿真数据中任一疑似衰减音频数据的优化处理，更改所述疑似衰减音频数据对应的相对分布。

在一些优选的示例中，在所述对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，所述方法还包括：

基于针对所述目标指向性音效仿真数据中任一疑似衰减音频数据的类型更改操作，更改所述疑似衰减音频数据的差异标签。

第二方面，本发明还提供了一种仿真处理系统，包括处理器和存储器；所述处理器和所述存储器通信连接，所述处理器用于从所述存储器中读取计算机程序并执行，以实现上述所述的方法。

第三方面，本发明还提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。

本发明实施例，由于目标指向性音效仿真数据的随机一组不间断的指向性音效仿真数据片段内相同疑似衰减音频数据的音频区分特征为一致的且不重复的，这样，能够确定出用于评估汇总的疑似衰减音频数据是否为相同疑似衰减音频数据，且疑似衰减音频数据是在一组不间断的指向性音效仿真数据片段内检测到的或不同不间断的指向性音效仿真数据片段检测到的，进而基于音频区分特征汇总各个疑似衰减音频数据在目标指向性音效仿真数据中匹配声效仿真故障的汇总值，如果所述汇总值超过设定阈值，则根据所述疑似衰减音频数据创建音频通信网。这样，可以提高确定目标指向性音效仿真数据中疑似衰减音频数据匹配声效仿真故障的汇总值的精度，并基于汇总值实现准确的音频通信网创建，从而保障高质量的指向性发声。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是本发明实施例提供的一种仿真处理系统的硬件结构示意图。

图2是本发明实施例提供的一种基于虚拟技术的指向性声音仿真处理方法的流程示意图。

图3是本发明实施例提供的一种基于虚拟技术的指向性声音仿真处理方法的应用环境的通信架构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本发明实施例所提供的方法实施例可以在仿真处理系统、计算机设备或者类似的运算装置中执行。以运行在仿真处理系统上为例，图1是本发明实施例的实施一种基于虚拟技术的指向性声音仿真处理方法的仿真处理系统的硬件结构框图。如图1所示，仿真处理系统10可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述仿真处理系统10还可以包括用于通信功能的传输装置106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述仿真处理系统的结构造成限定。例如，仿真处理系统10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种基于虚拟技术的指向性声音仿真处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至仿真处理系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括仿真处理系统10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

基于此，请参阅图2，图2是本发明实施例所提供的一种基于虚拟技术的指向性声音仿真处理方法的流程示意图，该方法应用于仿真处理系统，进一步所述方法至少可以包括以下步骤所记录的技术方案。

步骤11，获取目标指向性音效仿真数据的声学检测内容。

在本发明实施例中，所述声学检测内容包括所述目标指向性音效仿真数据中至少一个疑似衰减音频数据的音频区分特征，所述目标指向性音效仿真数据的任一不间断的指向性音效仿真数据片段内检测到的相同疑似衰减音频数据的音频区分特征为一致的且不重复的。

在一些可能的示例中，对步骤11而言，所述获取目标指向性音效仿真数据的声学检测内容，示例性的可以包括步骤111-步骤113。

步骤111，对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签；

步骤112，根据所述各个疑似衰减音频数据的差异标签，确定包含相同类型疑似衰减音频数据的各组不间断的指向性音效仿真数据片段；

步骤113，为所述各组不间断的指向性音效仿真数据片段中的各个疑似衰减音频数据分别添加音频区分特征。

在本发明实施例中，所述目标指向性音效仿真数据的任一不间断的指向性音效仿真数据片段内检测到的相同疑似衰减音频数据的音频区分特征为一致的且不重复的。

应用步骤111-步骤113时，能够有效且精准的分析出目标指向性音效仿真数据的声学检测内容。

在一些可能的示例中，所述声学检测内容还包括所述各个疑似衰减音频数据的差异标签。基于此，在为所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据分别添加音频区分特征之后，该方法还可以包括如下内容：根据所述各个疑似衰减音频数据的差异标签以及音频区分特征，从所述各个疑似衰减音频数据中采样出与指定差异标签匹配且与指定音频区分特征匹配的疑似衰减音频数据。这样能够保证得到的疑似衰减音频数据的完整性。进而能够避免在匹配过程中出现数据缺失的情况。

在一些可能的示例中，所述声学检测内容还包括所述各个疑似衰减音频数据的差异标签。基于此，在对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，该方法还可以包括如下内容：根据所述各个疑似衰减音频数据的差异标签，从所述各个疑似衰减音频数据中采样出与指定差异标签匹配的至少一个疑似衰减音频数据。进一步的，所述为所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据分别添加音频区分特征，包括：为所述至少一个疑似衰减音频数据分别添加音频区分特征，其中，所述目标指向性音效仿真数据的任一不间断的指向性音效仿真数据片段内检测到的相同疑似衰减音频数据的音频区分特征为一致的且不重复的。

在一些可能的示例中，在所述对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，该方法还可以包括如下内容：基于针对所述目标指向性音效仿真数据的数据采集行为，根据所述数据采集行为指示的目标仿真数据集，丢弃所述各个指向性音效仿真数据片段中位于所述目标仿真数据集外的疑似衰减音频数据以及位于所述目标仿真数据集外的疑似衰减音频数据的差异标签。如此，能够降低各个疑似衰减音频数据的差异性。

在一些可能的示例中，在所述对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，该方法还可以包括：基于针对所述目标指向性音效仿真数据中任一疑似衰减音频数据的优化处理，更改所述疑似衰减音频数据对应的相对分布。

在一些可能的示例中，在所述对所述目标指向性音效仿真数据的各个指向性音效仿真数据片段进行衰减分析，得到所述各个指向性音效仿真数据片段中的各个疑似衰减音频数据以及所述各个疑似衰减音频数据的差异标签之后，该方法还可以包括如下内容：基于针对所述目标指向性音效仿真数据中任一疑似衰减音频数据的类型更改操作，更改所述疑似衰减音频数据的差异标签。

步骤12，根据所述疑似衰减音频数据的音频区分特征，从所述目标指向性音效仿真数据中确定出所述疑似衰减音频数据检测到的指向性音效仿真数据片段。

步骤13，根据所述疑似衰减音频数据检测到的指向性音效仿真数据片段，汇总所述疑似衰减音频数据在所述目标指向性音效仿真数据中匹配声效仿真故障的汇总值。

在一些可能的示例中，所述疑似衰减音频数据检测到的指向性音效仿真数据片段包括所述疑似衰减音频数据首次检测到的第一指向性音效仿真数据片段。基于此，步骤13所记录的所述根据所述疑似衰减音频数据检测到的指向性音效仿真数据片段，汇总所述疑似衰减音频数据在所述目标指向性音效仿真数据中匹配声效仿真故障的汇总值，示例性的可以如下包括：根据所述疑似衰减音频数据的音频区分特征，确定在第二指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征，所述第二指向性音效仿真数据片段是所述第一指向性音效仿真数据片段之后间隔设定处理时段的指向性音效仿真数据片段；在所述第二指向性音效仿真数据片段中存在所述疑似衰减音频数据的相同音频区分特征，且所述第二指向性音效仿真数据片段位于目标时序区间内时，修改所述声效仿真故障的汇总值。

如此一来，通过对疑似衰减音频数据进行判断，进而确定出在第二指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征，在第二指向性音效仿真数据片段中存在所述疑似衰减音频数据的相同音频区分特征的前提下，修改声效仿真故障的汇总值，这样能够保障声效仿真故障的汇总值的准确性及可信性。

在一些可能的示例中，在修改所述声效仿真故障的汇总值之后，该方法还可以包括步骤21和步骤22所记录的技术方案。

步骤21，根据所述疑似衰减音频数据的音频区分特征，确定第三指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征。

在本发明实施例中，所述第三指向性音效仿真数据片段是所述第二指向性音效仿真数据片段之后间隔设定闲置时段与所述设定处理时段的指向性音效仿真数据片段。

步骤22，在所述第三指向性音效仿真数据片段中存在所述疑似衰减音频数据的相同音频区分特征，且所述第三指向性音效仿真数据片段位于所述目标时序区间内时，修改所述声效仿真故障的汇总值，以及将所述第二指向性音效仿真数据片段更改为所述第三指向性音效仿真数据片段，以继续确定所述第三指向性音效仿真数据片段之后间隔设定闲置时段与所述设定处理时段的指向性音效仿真数据片段中，是否存在所述疑似衰减音频数据的相同音频区分特征。

应用步骤21和步骤22时，对第二指向性音效仿真数据片段进行更改，确保第三指向性音效仿真数据片段之后间隔设定闲置时段与设定处理时段的指向性音效仿真数据片段中，是否存在所述疑似衰减音频数据的相同音频区分特征的准确性。

在一些可能的示例中，在所述根据所述疑似衰减音频数据的音频区分特征，确定第三指向性音效仿真数据片段中是否存在所述疑似衰减音频数据的相同音频区分特征之后，该方法还可以包括：在所述第三指向性音效仿真数据片段中不存在所述疑似衰减音频数据的相同音频区分特征，或所述第三指向性音效仿真数据片段位于所述目标时序区间外时，结束汇总所述疑似衰减音频数据匹配声效仿真故障的汇总值。

步骤14，如果所述汇总值超过设定阈值，则根据所述疑似衰减音频数据创建音频通信网。

综上，应用步骤11-步骤14时，由于目标指向性音效仿真数据的随机一组不间断的指向性音效仿真数据片段内相同疑似衰减音频数据的音频区分特征为一致的且不重复的，这样，能够确定出用于评估汇总的疑似衰减音频数据是否为相同疑似衰减音频数据，且疑似衰减音频数据是在一组不间断的指向性音效仿真数据片段内检测到的或不同不间断的指向性音效仿真数据片段检测到的，进而基于音频区分特征汇总各个疑似衰减音频数据在目标指向性音效仿真数据中匹配声效仿真故障的汇总值，如果所述汇总值超过设定阈值，则根据所述疑似衰减音频数据创建音频通信网。这样，可以提高确定目标指向性音效仿真数据中疑似衰减音频数据匹配声效仿真故障的汇总值的精度，并基于汇总值实现准确的音频通信网创建，从而保障高质量的指向性发声。

基于上述相同或相似的发明构思，本发明实施例还提供了一种基于虚拟技术的指向性声音仿真处理方法的应用环境30的架构示意图，包括互相之间通信的仿真处理系统10和虚拟现实声效仿真设备20，仿真处理系统10和虚拟现实声效仿真设备20在运行时实现或者部分实现上述方法实施例所描述的技术方案。

进一步地，还提供了一种可读存储介质，其上存储有程序，该程序被处理器执行时实现上述的方法。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，媒体业务服务器10，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。