基于稀疏约束的头相关传输函数个性化建模系统

摘要

本发明属于信号处理技术领域，具体涉及一种基于稀疏约束的头相关传输函数个性化建模系统，旨在解决如何得到更为准确的个性化头相关传输函数的问题。为此目的，本发明中的头相关传输函数个性化建模系统包括稀疏建模模块、权值映射模块和头相关传输函数生成模块；稀疏建模模块配置为根据预先获取的人体生理参数数据和HRTF数据分别构建相应的第一非负稀疏模型和第二非负稀疏模型；权值映射模块配置为获取第一非负稀疏模型和第二非负稀疏模型之间的模型权重映射关系；头相关传输函数生成模块配置为基于目标对象的生理参数和权重映射关系合成目标对象的头相关传输函数。基于本发明的系统可以通过目标对象的生理参数得到个性化的HRTF的更准确估计。

说明书

技术领域

本发明属于信号处理技术领域，具体涉及一种基于稀疏约束的头相关传输函数个性化建模系统。

背景技术

虚拟现实领域的爆发使得虚拟听觉受到越来越多的关注。虚拟现实包含虚拟视觉和虚拟听觉，其中，虚拟听觉技术的重点问题是恢复与自然听觉相同的定位特征。人类的听觉过程通常可视为声源-信道-接收模型，其中信道包含声源经过人体不同部位的衍射、干扰，最终到达鼓膜的过程，可看作一个空间数字滤波器，称为头相关传输函数(Head-Related Transfer Function,HRTF)，它包含了声波与身体部位之间的交互引起的所有谱特征。由于每个人的生理结构不尽相同，HRTF谱特征是极其个性化的，很难对每个个体在全空间内测量HRTF。

HRTF个性化方法主要包括：从小数据测量集中进行HRTF全空间估计；理论或数学建模，如采用球面头模型、雪人模型、结构模型、边界元方法、有限差分时域方法等；这些方法的缺点在于计算数据量庞大，需要昂贵的硬件来进行复杂的计算。于是提出了一些低复杂度的方法，如基于感知的方法通过测听实验逐步确定参数有线性建模的方法；考虑到HRTF与人体生理参数的依赖关系，提出了基于生理参数的回归方法在预测个性化HRTF，然而这些方法的缺点在于存在生理参数权重与HRTF权重相等的假设。

相应地，本领域需要一种新的头相关传输函数个性化建模系统来解决上述问题。

发明内容

为了解决现有技术中的上述问题，即为了解决如何得到更为准确的个性化头相关传输函数的问题，本发明提供了一种基于稀疏约束的头相关传输函数个性化建模系统，包括稀疏建模模块、权值映射模块和头相关传输函数生成模块；

所述稀疏建模模块配置为根据预先获取的人体生理参数和HRTF数据分别构建相应的第一非负稀疏模型和第二非负稀疏模型；

所述权值映射模块配置为获取所述第一非负稀疏模型和第二非负稀疏模型之间的模型权重映射关系；

所述头相关传输函数生成模块包括稀疏建模子模块、权值更新子模块和HRTF生成子模块；所述稀疏建模子模块配置为根据预先获取的目标对象的生理参数构建相应的第三非负稀疏模型；所述权值更新子模块配置为根据所述模型权重映射关系对所述第三非负稀疏模型的模型权重进行更新；所述HRTF生成子模块配置为根据所述权值更新子模块更新后的模型权重和所述HRTF数据生成所述目标对象的头相关传输函数。

进一步地，本发明提供的一个优选技术方案为：

所述人体生理参数数据包括生理参数训练集和生理参数测试集，所述HRTF数据包括HRTF训练集和HRTF测试集；所述稀疏建模模块包括第一稀疏建模子模块和第二稀疏建模子模块；

所述第一稀疏建模子模块配置为根据所述生理参数训练集和生理参数测试集构建第一非负稀疏模型；

所述第二稀疏建模子模块配置为根据所述HRTF训练集和HRTF测试集构建第二非负稀疏模型。

进一步地，本发明提供的一个优选技术方案为：

所述第一稀疏构建子模块还配置按照下式所示的方法优化所述第一非负稀疏模型的模型权重：

s.t.,w_a≥0

其中，所述为优化后的w_a，所述w_a为所述第一非负稀疏模型的模型权重，所述A_t为所述生理参数测试集中的生理参数，所述A_tr为所述生理参数训练集，所述s.t.表示非负稀疏约束，所述λ_a为预设的控制所述第一非负稀疏模型稀疏度的系数，所述表示A_t-w_aA_tr的2范数的平方，所述||w_a||₁表示w_a的1范数。

进一步地，本发明提供的一个优选技术方案为：

所述第二稀疏构建模子模块还配置按照下式所示的方法优化所述第二非负稀疏模型的模型权重：

s.t.,w_h≥0,

其中，所述为优化后的w_h，所述w_h为所述第二非负稀疏模型的模型权重，所述L_t为所述HRTF测试集中的头相关传输函数，所述L_tr为所述HRTF训练集，所述s.t.表示非负稀疏约束，所述λ_h为预设的控制所述第二非负稀疏模型稀疏度的系数，所述表示L_t-w_hL_tr的2范数的平方，所述||w_h||₁表示w_h的1范数。

进一步地，本发明提供的一个优选技术方案为：

所述稀疏建模子模块进一步配置为根据所述生理参数训练集和目标对象的生理参数构建相应的第三非负稀疏模型。

进一步地，本发明提供的一个优选技术方案为：

所述稀疏建模子模块还配置为按照下式所示的方法优化所述第三非负稀疏模型的模型权重：

其中，所述为优化后的w_a，所述w_a为所述第三非负稀疏模型的模型权重，所述B为所述目标对象的生理参数，所述A_tr为所述生理参数训练集，所述s.t.表示非负稀疏约束，所述λ_a为预设的控制模型稀疏度的系数，所述表示A_t-w_aA_tr的2范数的平方，所述||w_a||₁表示w_a的1范数。

进一步地，本发明提供的一个优选技术方案为：

所述权值更新子模块进一步地配置为根据所述模型权重映射关系并按照下式所示的方法对所述第三非负稀疏模型的模型权重进行更新：

其中，所述f_a→h(*)表示映射函数，所述wh为更新后的第三非负稀疏模型的模型权重，所述为优化后的所述第三非负稀疏模型的模型权重。

进一步地，本发明提供的一个优选技术方案为：

所述HRTF生成子模块进一步配置为根据所述模型权重w_h和所述HRTF训练集生成所述目标对象的头相关传输函数：

其中，所述L为所述目标对象的头相关传输函数，所述L_tr为所述HRTF训练集，所述为所述w_h的1范数。

进一步地，本发明提供的一个优选技术方案为：

所述系统还包括数据预处理模块，所述数据预处理模块包括第一数据预处理子模块和第二数据预处理子模块；所述头相关传输函数生成模块还包括第三数据预处理子模块；

所述第一数据预处理子模块配置为按照下式所示的方法对所述生理参数训练集进行数据处理：

其中，所述为数据处理后的所述生理参数训练集中对象样本对应的第n个生理参数，所述a_m,n为数据处理前的所述生理参数训练集中对象样本对应的第n个生理参数，所述M_a(n)为所述生理参数训练集中所有对象样本对应的第n个生理参数的最大值，所述m_a(n)为所述生理参数训练集中所有对象样本对应的第n个生理参数的最小值；

所述第二数据预处理子模块配置为按照下式所示的方法对所述HRTF训练集进行数据处理：

其中，所述数据处理后的第m个对象样本对应的对数幅度，所述H_q,p,i为所述HRTF训练集中第q个对象样本第p个方向第i个频率点的头相关传输函数，所述N_d为所述HRTF训练集中每个对象样本对应的方向头相关传输函数的数量，所述N_s,tr为所述HRTF训练集中头相关传输函数的数量，所述D_i为所述HRTF训练集中所有方向的头相关传输函数的对数幅度平均值，所述H_m,j,i为所述HRTF训练集中第m个对象样本第j个方向第i个频率点的头相关传输函数，n＝jN_d+i，j＝0,...,N_d-1，i＝0,...,N_b-1，所述N_b为头相关传输函数频率点的数量，所述M_h(n)为所述HRTF训练集中第n个频率点的所有对象样本对应的N_d个方向的头相关传输函数的最大值，所述m_h(n)为所述HRTF训练集中第n个频率点的所有对象样本对应的N_d个方向的头相关传输函数的最小值；

所述第三数据预处理子模块配置为按照下式所示的方法对所述目标对象的生理参数进行数据处理：

其中，所述为数据处理后的所述目标对象的第n个生理参数，所述b_n为数据处理前的所述目标对象的第n个生理参数；

相应地，所述稀疏建模模块是利用数据处理后的人体生理参数和HRTF数据构建相应的第一非负稀疏模型和第二非负稀疏模型，所述头相关传输函数生成模块均是利用数据处理后的目标对象的生理参数生成头相关传输函数。

进一步地，本发明提供的一个优选技术方案为：

所述头相关传输函数生成模块还包括数据后处理模块，所述数据后处理模块配置为根据所述HRTF生成子模块所生成的头相关传输函数并按照下式所示的方法获取未经所述第三数据预处理子模块数据处理后的目标对象的生理参数所对应的头相关传输函数：

L_n＝L_n(M_h(n)-m_h(n))+m_h(n)

其中，n＝jN_d+i，所述L_n为所述HRTF生成子模块所生成的头相关传输函数，所述H_j,i为第j方向第i个频率点的头相关传输函数。

与最接近的现有技术相比，上述技术方案至少具有如下有益效果：

本发明提供的基于稀疏约束的头相关传输函数个性化建模系统可通过目标对象的生理参数得到个性化的头相关传输函数的更准确估计，具有高可靠性，便于在实际环境中的应用。

附图说明

图1为本发明实施例中基于稀疏约束的头相关传输函数个性化建模系统的主要结构示意图；

图2为本发明实施例中头相关传输函数生成模块的主要结构示意图；

其中，1：数据预处理模块；11：第一数据预处理子模块；12：第二数据预处理子模块；2：稀疏建模模块；21：第一非负稀疏建模模型；22：第二非负稀疏建模模型；3：权值映射模块；4：头相关传输函数生成模块；41：第三数据预处理子模块；42：稀疏建模子模块；43：权值更新子模块；44：HRTF生成子模块；45：数据预处理子模块。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明基于稀疏约束的头相关传输函数个性化建模系统，构建HRTF的个性化模型，通过采用权重映射方法在生理参数权重与HRTF权重之间建立映射关系，降低了HRTF个性化合成的权重不匹配问题的影响，提高了模型准确度，从而可获取任意目标对象的个性化HRTF，为动态场景的虚拟听觉绘制提供基础。

下面结合附图，对本发明提供的基于稀疏约束的头相关传输函数个性化建模系统进行说明。

参阅附图1，图1示例性示出了本发明实施例中基于稀疏约束的头相关传输函数个性化建模系统的主要结构，如图1所示，本实施例中的基于稀疏约束的头相关传输函数个性化建模系统可以包括数据预处理模块1、稀疏建模模块2、权值映射模块3和头相关传输函数生成模块4。

本实施例中，人体生理参数包括生理参数训练集和生理参数测试集，HRTF数据包括HRTF训练集和HRTF测试集。

进一步地，数据预处理模块1包括第一数据预处理子模块11和第二数据预处理子模块12；第一数据预处理子模块11用于对生理参数训练集进行数据处理，第二数据预处理子模块12用于对HRTF训练集进行数据处理。

本实施例中，假设人体生理参数包含N_s个对象，每个对象包含N_a个生理参数，和对应N_d个方向的HRTF。首先，随机选择N_s,tr个对象的生理参数和对应的HRTF数据作为训练集，剩余的N_s,t对象的生理参数作为测试集。为了保持生理参数的非负性，对人体生理参数数据库进行最小最大规整化，所以第一数据预处理子模块11对生理参数训练集的处理过程表示，如公式(1)所示：

其中，为数据处理后的生理参数训练集中对象样本对应的第n个生理参数，a_m,n为数据处理前的生理参数训练集中对象样本对应的第n个生理参数，M_a(n)为生理参数训练集中所有对象样本对应的第n个生理参数的最大值，m_a(n)为生理参数训练集中所有对象样本的第n个生理参数的最小值。

第二数据预处理子模块12用于对HRTF训练集进行数据处理，为降低数据的浮动范围，产生HRTF特征。第二数据预处理子模块12首先计算方向传输函数DTF，然后进行最小最大规整化，所以第二数据预处理子模块22对HRTF训练集进行数据处理过程表示，如公式(2)所示：

其中，数据处理后的第m个对象样本对应的对数幅度，H_q,p,i为HRTF训练集中第q个对象样本第p个方向第i个频率点的头相关传输函数，N_d为HRTF训练集中每个对象样本对应的方向头相关传输函数的数量，N_s,tr为HRTF训练集中头相关传输函数的数量，D_i为HRTF训练集中所有方向的头相关传输函数的对数幅度平均值，H_m,j,i为HRTF训练集中第m个对象样本第j个方向第i个频率点的头相关传输函数，n＝jN_d+i，j＝0,...,N_d-1，i＝0,...,N_b-1，N_b为头相关传输函数频率点的数量，M_h(n)为HRTF训练集中第n个频率点的所有对象样本对应的N_d个方向的头相关传输函数的最大值，m_h(n)为HRTF训练集中第n个频率点的所有对象样本对应的N_d个方向的头相关传输函数的最小值，需要说明的是，本实施例中每个头相关传输函数对应N_d个方向的头相关传输函数，每个方向的头相关传输函数对应n个频率点。

进一步地，稀疏建模模块2配置为根据预先获取的人体生理参数数据和HRTF数据分别构建相应的第一非负稀疏模型和第二非负稀疏模型。

具体地，稀疏建模模块2包括第一稀疏建模子模块21和第二稀疏建模子模块22；第一稀疏建模子模块21配置为根据生理参数训练集和生理参数测试集构建第一非负稀疏模型；第二稀疏建模子模块22配置为根据HRTF训练集和HRTF测试集构建第二非负稀疏模型。

本实施例中，第一稀疏建模子模块21与第一数据预处理子模块11相连接，构建的第一非负稀疏模型用以在生理参数训练集与生理参数测试集中的生理参数之间建立映射关系。给定一个目标对象的生理参数，第一稀疏构建子模块21还配置为按照公式(3)、(4)优化第一非负稀疏模型的模型权重：

s.t., w_a≥0,>

其中，为优化后的w_a，w_a为第一非负稀疏模型的模型权重，A_t为生理参数测试集中的生理参数，A_tr为生理参数训练集，且包含生理参数训练集中所有的预处理后的生理参数，s.t.表示非负稀疏约束，λ_a为预设的控制第一非负稀疏模型稀疏度的参数，表示A_t-w_aA_tr的2范数的平方，||w_a||₁表示w_a的1范数。

第二稀疏建模子模块22与第二数据预处理子模块12相连接，构建的第二非负稀疏模型用以在HRTF训练集和HRTF测试集中的HRTF之间建立映射关系。第二稀疏构建子模块22还配置为按照公式(5)、(6)优化第二非负稀疏模型的模型权重：

s.t., w_h≥0,>

其中，为优化后w_h，w_h为第二非负稀疏模型的模型权重，L_t为HRTF测试集中的头相关传输函数，L_tr为HRTF训练集，且包含HRTF训练集中的所有预处理后的头相关传输函数，s.t.表示非负稀疏约束，λ_h为预设的控制第二非负稀疏模型稀疏度的参数，表示L_t-w_hL_tr的2范数的平方，||W_h||₁表示w_h的1范数。公式(3)-(6)为两个凸优化问题，可通过L1正则化最小化二乘求解。

进一步地，权值映射模块3配置为获取第一非负稀疏模型和第二非负稀疏模型之间的模型权重映射关系。

本实施例中，权重映射模块3与稀疏建模模块2相连接，用以对同一个对象的生理参数与HRTF的稀疏模型权重之间建立映射，得到更准确的HRTF加权矢量映射过程如公式(7)所示：

最小化

其中，f_a→h(*)表示映射函数，该映射函数采用深度神经网络方法获得，深度神经网络的训练样本分别为和且代价函数采用均方误差。

参阅附图2，图2示例性示出了本发明实施例中头相关传输函数生成模块的主要结构，如图2所示，头相关传输函数生成模块包括第三数据预处理子模块41、稀疏建模子模42、权值更新子模块43和HRTF生成子模块44和数据后处理子模块45。进一步地，稀疏建模子模块42配置为根据预先获取的目标对象的生理参数构建相应的第三非负稀疏模型；权值更新子模块43配置为根据模型权重映射关系对第三非负稀疏模型的模型权重进行更新；HRTF生成子模块44配置为根据权值更新子模块更新后的模型权重和HRTF数据生成目标对象的头相关传输函数。

本实施例中，基于第三数据预处理子模块41对目标对象的生理参数进行预处理，预处理的计算公式如公式(8)所示：

其中，为数据处理后的目标对象的第n个生理参数，bn为数据处理前的目标对象的第n个生理参数。

稀疏建模子模块42与第三数据处理子模块41相连接，稀疏建模子模块42根据生理参数训练集和目标对象的生理参数构建相应的第三非负稀疏模型，第三非负稀疏模型用于在目标对象与生理参数训练集的生理参数之间建立非负稀疏映射，且可通过求解非负稀疏约束下的线性回归问题来得到模型系数的计算公式如公式(9)所示：

其中，为优化后的w_c，w_c为第三非负稀疏模型的模型权重，B为所述目标对象的生理参数，A_tr为所述生理参数训练集，且包含生理参数训练集中所有的预处理后的生理参数，s.t.表示非负稀疏约束，λ_c为预设的控制模型稀疏度的系数，表示A_t-w_cA_tr的2范数的平方，||w_c||₁表示w_c的1范数。

权值更新子模块43与稀疏建模子模块42和权重映射模块3相连接，用于对目标对象的权重进行更新，获得更准确的合成权重矢量。权重矢量w_h更新方法如公式(10)所示：

其中，f_a→h(*)表示映射函数，w_h为更新后的第三非负稀疏模型的模型权重，为优化后的第三非负稀疏模型的模型权重。

HRTF合成模块44与权值更新子模块43相连接，根据更新后的权重w_h生成目标对象预处理后的个性化头相关传输函数，个性化头相关传输函数合成公式如公式(11)所示：

其中，L为目标对象的头相关传输函数，L_tr为HRTF训练集，且包含HRTF训练集中的所有预处理后的头相关传输函数，||w_h||₁为w_h的1范数。

数据后处理子模块45与HRTF合成子模块44相连接，HRTF合成子模块44获得个性化头相关传输函数后进行后处理，获取未经第三数据预处理子模块41数据处理后的目标对象的生理参数所对应的头相关传输函数。后处理过程为预处理过程的反向过程，计算公式如公式(12)、(13)所示：

L_n＝L_n(M_h(n)-m_h(n))+m_h(n)>

其中，n＝jN_d+i，L_n为HRTF生成子模块所生成的头相关传输函数，H_j,i为第j方向第i个频率点的头相关传输函数。

本发明的基于稀疏约束的头相关传输函数个性化建模系统可以采用任何编程语言编写，本实施例是以Matlab和c语言编写。此外，本发明可以应用于电脑终端、手持式移动设备或其它形式的移动设备。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的系统，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。