用于和声生成的数据处理方法和装置

摘要

本申请公开了一种用于和声生成的数据处理方法和装置。该方法包括：获取音频数据，其中，所述音频数据包括第一用户音频数据和第二用户音频数据，所述第一用户音频数据包括第一用户干声数据与第一伴奏数据，所述第二用户音频数据包括第二用户干声数据与第二伴奏数据；对所述第一用户干声数据和所述第二用户干声数据进行和声处理，得到结果和声音频数据；以及输出所述结果和声音频数据对应的音乐作品数据。通过上述方法，能够实现满足用户的音乐交互需求，提高用户的体验。

说明书

技术领域

本申请涉及计算机领域，具体而言，涉及一种用于和声生成的数据处理方法和装置。

背景技术

随着计算机技术的不断发展，用户音频自动处理也逐渐走人人们的生活中。

现有技术中，针对多个用户的独立演唱的音频数据处理方法较少，且对于音频的处理较为简单，主要是对用户音频简单叠加，不涉及生成和声的处理，难以满足用户的音乐交互需求。

因此，现有技术缺乏基于用户独立演唱音频生成和声的实现方法，难以满足用户的音乐交互需求。

申请内容

本申请的主要目的在于提供一种用于和声生成的数据处理方法和装置，实现两个或多个以上用户的独立演唱音频生成包含有有和声的音乐作品，满足用户的音乐交互需求，提高用户的体验。

为了实现上述目的，本申请提出了一种用于和声生成的数据处理方法。

本发明的第二方面，还提出了一种用于和声生成的数据处理装置。

有鉴于此，根据本申请的第一方面提出了一种用于和声生成的数据处理方法：包括：获取用户输入数据，所述用户输入数据包括音频数据，其中，所述音频数据包括第一用户音频数据和第二用户音频数据，所述第一用户音频数据包括第一用户干声数据与第一伴奏数据，所述第二用户音频数据包括第二用户干声数据与第二伴奏数据；对所述第一用户干声数据和所述第二用户干声数据进行和声处理，得到结果和声音频数据；以及输出所述结果和声音频数据对应的音乐作品数据。

进一步地，在获取用户输入数据之后，以及在对所述第一用户干声数据和所述第二用户干声数据进行和声处理之前，所述方法还包括：根据预设规则从所述第一用户音频数据中提取第一用户干声数据；以及根据所述预设规则从所述第二用户音频数据中提取第二用户干声数据。

进一步地，在获取用户输入数据之后，以及在对所述第一用户干声数据和所述第二用户干声数据进行和声处理之前，所述方法还包括：比较所述第一用户干声数据与第二用户干声数据中的音调数据与标准曲谱数据相匹配的音高时长占总时长的百分比；选择匹配百分比较高的为优级作品，匹配百分比较低的为普通作品；选择所述普通作品为和声音频数据，选择所述优级作品为主声音频数据。

进一步地，对所述和声音频数据和所述主声音频数据进行和声处理，包括：基于所述标准曲谱数据的时间数据，对所述和声音频数据与主声音频数据进行时间对齐处理；输出经时间对齐后的结果主声音频数据；以及在所述时间对齐处理后，基于所述主声的音调数据，对所述和声音频数据进行音调数据的处理。

进一步地，对所述和声音频数据进行音调数据的处理，包括：在所述时间对齐处理后，基于所述主声音频数据的音调数据，生成基本音级；根据所述基本音级，结合和弦数据确定音程性质；将所述和声音频数据的处理结果作为结果和声音频数据输出。

进一步地，还包括：对所述用户输入数据进行处理，基于处理结果判断当前场景；若在所述K歌场景下，输出第一结果伴奏数据，所述第一结果伴奏数据为标准伴奏数据；若在所述弹唱场景下，对所述第一伴奏数据与第二伴奏数据进行处理，生成第二结果伴奏数据。

进一步地，在所述弹唱场景下，对所述第一伴奏数据与第二伴奏数据进行处理，生成第二结果伴奏数据，包括：对所述第一伴奏数据与第二伴奏数据进行计算，生成计算结果，即，弹奏乐器识别、弹奏时间精度以及弹奏音符的正确性；基于算法模型对所述第一伴奏数据与第二伴奏数据进行处理，输出伴奏处理结果；对所述伴奏处理结果进行时间校准，输出第二结果伴奏数据。

进一步地，输出所述结果和声音频数据对应的音乐作品数据，还包括：在所述K歌场景下，基于预设规则，将所述结果和声音频数据、主声音频数据与第一结果伴奏数据进行混合处理，生成所述结果和声音频数据对应的音乐作品数据；在所述弹唱场景下，基于预设规则，将所述结果和声音频数据与第二结果伴奏数据进行混合处理，生成所述结果和声音频数据对应的音乐作品数据。

本发明的第二方面，提供了一种用于和声生成的数据处理装置，包括：数据获取模块：获取音频数据，其中，所述音频数据包括第一用户数据和第二用户音频数据，所述第一用户音频数据包括第一用户干声数据与第一伴奏数据，所述第二用户音频数据包括第二用户干声数据与第二伴奏数据；数据处理模块：对所述第一用户干声数据和所述第二用户干声数据进行和声处理，得到结果和声音频数据；以及结果输出模块：输出所述结果和声音频数据对应的音乐作品数据。

进一步地，还包括：数据提取模块：根据预设规则从所述第一用户音频数据中提取第一用户干声数据；以及根据所述预设规则从所述第二用户音频数据中提取第二用户干声数据。

本申请的实施例提供的技术方案可以包括以下有益效果：

在本申请中，通过对不同用户音频数据的处理，选择作为和声的音频数据，通过对音频数据进行时间对齐处理，基于乐理规则，对作为和声的音频数据进行变调和变节奏的处理，形成和声，结合经处理后的伴奏数据，生成包含有和声的音乐作品，为用户提供了一种和声生成方法，满足用户多样的音乐交互需求，提升用户体验。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请提供的一种用于和声生成的数据处理方法的流程示意图；

图2为本申请提供的一种用于和声生成的数据处理方法的流程示意图；

图3为本申请提供的一种用于和声生成的数据处理方法的流程示意图；

图4为本申请提供的一种用于和声生成的数据处理方法的流程示意图；

图5为本申请提供的一种用于和声生成的数据处理方法的流程示意图；

图6为本申请提供的一种用于和声生成的数据处理方法的流程示意图；

图7为本申请提供的一种用于和声生成的数据处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，“连接”可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

图1为本申请提供的一种的流程示意图，如图1所示，该方法包括以下步骤：

S101：获取用户输入数据，所述用户输入数据包括音频数据，其中，所述音频数据包括第一用户音频数据和第二用户音频数据，所述第一用户音频数据包括第一用户干声数据与第一伴奏数据，所述第二用户音频数据包括第二用户干声数据与第二伴奏数据。

获取用户输入数据，所述输入数据包括音频数据，还包括用户输入的选择数据：如模式选择数据，伴奏生成模式选择数据等，所述音频数据为两个或两个以上用户独立演唱的音频数据，任一用户音频数据中包括用户的干声数据与伴奏数据，干声数据为无伴奏人声。

如图2所示，图2示出了对所述音频数据进行处理并选择和声音频数据的过程。

S201：根据预设规则从所述第一用户音频数据中提取第一用户干声数据；以及根据所述预设规则从所述第二用户音频数据中提取第二用户干声数据。

基于用户干声提取分离方法，从所述第一用户音频数据中提取出第一干声数据；

从所述第二用户音频数据中提取出第二干声数据。

S202：比较所述第一用户干声数据与第二用户干声数据中的音调数据与标准曲谱数据相匹配的音高时长占总时长的百分比。

选取所述第一用户干声数据与第二用户干声数据中音高>＝16分音符的部分，计算所述第一用户干声数据与标准曲谱数据相匹配的音高时长占总时长的百分比，计算第二用户干声数据与标准曲谱数据相匹配的音高时长占总时长的百分比。

音调信息包括用户干声数据中的音符信息，具体而言，含有每个音符的音高值和起止时间等信息。

S203：选择匹配百分比较高的为优级作品，匹配百分比较低的为普通作品。

比较第一用户干声数据与第二用户干声数据的匹配百分比，选择匹配百分比较高的为优级作品，选择匹配百分比较低的为普通作品。

S204：选择所述普通作品为和声音频数据，选择所述优级作品为主声音频数据。

基于对第一用户干声数据与第二用户干声数据的识别判断，选择普通作品为和声音频数据，选择优级作品为主声音频数据。

和声音频数据经和声处理后作为输出音乐作品的和声，主声音频数据经处理后作为输出音乐的主声。

举例说明，如用户A和用户B均上传了歌曲《CC》的独立演唱音频数据，通过干声提取分离方法，获得用户A的干声数据与用户B的干声数据，分别将用户A的干声数据与用户B的干声数据与歌曲《CC》标准曲谱数据进行对比匹配，分别计算用户A与用户B干声数据与标准曲谱数据相匹配的音高时长占总时长的百分比，并设置进行匹配的音高需>＝16分音符，比较用户A与用户B的匹配百分比，用户A的匹配百分比较高，用户B的匹配百分比较低，选择用户A的干声数据为优级作品，选择用户B的干声数据为普通作品，选择用户A的干声数据作为主声音频，选择用户B的干声数据作为和声音频。

S102：对所述第一用户干声数据和所述第二用户干声数据进行和声处理，得到结果和声音频数据。

如图3所示，图3示出了对所述和声音频数据进行和声处理的过程。

S301：基于所述标准曲谱数据的时间数据，对所述和声音频数据与主声音频数据进行时间对齐处理，输出经时间对齐处理后的结果主声音频数据。

基于所述标准曲谱数据的时间数据，对所述和声音频数据与所述主声音频数据进行时间对齐处理。

所述主声音频数据与和声音频数据均包含音符数据，具体包含每个音符的音高值与起止时间，根据所述主声音频数的每个音符的时间数据，即，根据设置的时间对齐单元，处理所述和声音频数据，将所述和声音频数据与所述主声音频数据进行时间对齐。

按照时间对齐处理精度从粗到细，将所述时间对齐单元分为：不进行时间对齐、整体对齐、分段落对齐、逐字对齐以及逐音符对齐。

不考虑时间对齐。

整体对齐：对所述和声音频数据与所述主声音频数据的音调数据在时间上进行前后移动一段距离后，挑选其与标准曲谱整体差异最小的距离，主声音频数据经时间对齐处理后，输出经时间对齐处理后的结果主声音频数据；所述和声音频数据经时间对齐处理后，执行后续和声生成处理。

S302：在所述时间对齐处理后，基于所述主声的音调数据，对所述和声音频数据进行音调数据的处理，生成基本音级。

所述时间对齐处理后，基于主声音频数据的音调数据，基于预设音级关系，对所述和声音频数据进行音调数据的处理，生成基本音级。

S303：根据所述基本音级，结合和弦数据确定音程性质。

基于基本音级，结合所述和弦数据，对所述和声音频数据进行处理，确定音程性质。

以原旋律的音为准，向上生成一个与原音成三度关系的基本音级，若生成的与原音成三度的基本音级属于所对应的和弦，则该音具体的是否为变音需与和弦内音保持一致；若生成的三度音不在和弦内，则看该音是否为过渡音，若为过渡音，则依旧使用三度音；若不是过渡音，则看四度音是否属于和弦内音，若属于则使用四度音；若不属于则看该音是否为和弦的七音，若是则使用四度音，若不是，则使用五度音。

S304：将所述和声音频数据的处理结果作为结果和声音频数据输出。

选择所述和声音频数据中的任一节拍单元的时间，对所述和声音频进行一定时间单元的延迟；

将所述经音调处理后的和声音频与经一定时间单元延迟的和声音频进行混合处理，输出结果和声音频数据。

举例说明，如用户A和用户B演唱歌曲为《CC》，经和声选择处理后，选择用户A的干声数据为所述和声音频数据，用户B的干声数据为所述主声音频数据，根据《CC》的标准曲谱数据中的时间数据，将用户A的干声数据与用户B的干声数据执行时间对齐处理，选择时间对齐单元为逐音符对齐，将用户B的干声数据的音调数据在时间上进行前后移动一段距离后，选择与《CC》标准曲谱整体差异最小的移动距离，将所述差异最小的移动距离对应的干声数据b作为结果主声音频数据输出。

将用户将用户A的干声数据的音调数据在时间上进行前后移动一段距离后，选择与《CC》标准曲谱整体差异最小的移动距离，对用户A的干声数据经时间处理后，执行后续和声处理操作。

基于用户B的干声数据的音调数据，以原旋律的音为准，向上生成一个与原音成三度关系的基本音级，用户A原旋律为111，向上三度找到基本音级333，和弦得知为Cm[1,b3,5]，和声旋律为b3b3b3。

获取用户A的干声数据中一个节拍单元的时间，对所述一个节拍单元的音频数据进行2倍节拍的时间延迟。

将用户A经节拍延迟后的音频数据与经音调处理后的音频数据，即，和声旋律为b3b3b3的音频数据进行混合处理，输出结果和声音频数据。

如图4所示，图4示出了对伴奏数据进行处理的过程。

S401：对所述用户输入数据进行处理，基于处理结果判断当前场景。

对所述用户输入数据进行处理，可基于所述用户输入的场景选择数据，选择当前场景；也可对所述第一伴奏数据与第二伴奏数据进行识别，判断第一伴奏数据与第二伴奏数据是标准伴奏数据或是弹奏数据。

S402：判断在所述K歌场景下，输出第一结果伴奏数据，所述第一结果伴奏数据为标准伴奏数据。

基于所述用户输入数据处理结果，获得当前场景为K歌场景，输出第一结果伴奏数据，即标准伴奏数据。

S403：若在所述弹唱场景下，对所述第一伴奏数据与第二伴奏数据进行处理，生成第二结果伴奏数据。

举例说明，对用户甲与用户乙的输入数据进行处理，基于对用户甲与用户乙的选择数据，获得用户甲与用户乙处于K歌场景下，输出《青花瓷》的标准伴奏数据，作为用户甲与用户乙和声音乐作品的伴奏数据。

如图5所示，图5示出了对伴奏数据进行处理的过程。

S501：对所述用户输入数据进行处理，基于处理结果判断当前场景。

对所述用户输入数据进行处理，可基于所述用户输入的场景选择数据，选择当前场景；也可对所述第一伴奏数据与第二伴奏数据进行识别，判断第一伴奏数据与第二伴奏数据是标准伴奏数据或是弹奏数据。

S502：判断在所述弹唱场景下，对所述第一伴奏数据与第二伴奏数据进行处理，生成第二结果伴奏数据。

根据处理结果，判断第一用户与第二用户均处于弹唱场景下，所述第一用户伴奏数据与第二用户伴奏数据均为弹奏数据。

所述弹奏数据为用户独立弹奏乐器的弹奏数据，存在多种不同的乐器、弹奏质量不一致等的弹奏数据。

S503：在所述弹唱场景下，对所述第一伴奏数据与第二伴奏数据进行计算，生成计算结果，即，弹奏乐器识别、弹奏时间精度以及弹奏音符的正确性。

对所述弹奏数据进行计算处理，分别识别所述第一伴奏数据于第二伴奏数据的弹奏乐器，计算第一伴奏数据于第二伴奏数据弹奏时间精度以及弹奏音符的正确性。

S504：基于算法模型对所述第一伴奏数据与第二伴奏数据进行处理，输出伴奏处理结果。

对第一伴奏数据与第二伴奏数据进行处理，结合所述伴奏数据对应的歌曲标准曲谱数据，利用所述算法模型，生成乐器配器的策略，根据乐器配器策略选择优先乐器；

所述乐器配器的策略生成：对曲谱数据段落进行分析，通过风格、段落的不同，获得使用乐器库中各种乐器的偏好程度；根据段落分析的结果，结合一个配器知识库，对每个段落最佳乐器的选择进行查找；根据所述用户所使用的实际乐器，结合乐器偏好度，形成和最佳乐器选择差异最小的配器策略。

若所述第一伴奏数据与第二伴奏数据为同一种乐器弹奏，根据弹奏水平择优选择，即，基于弹奏时间精度以及弹奏音符的正确性进行选择。

S505：对所述伴奏处理结果进行时间校准，输出第二结果伴奏数据。

基于标准曲谱数据，将经选择后的第一伴奏数据与第二伴奏数据进行时间校准处理，输出第二结果伴奏数据。

举例说明，用户丙与用户丁的输入数据进行处理，根据处理结果判断用户丙与用户丁均处于弹唱场景，用户丙与用户丁的数据均为弹奏数据，对所述弹奏数据进行计算，得到用户丙吉他弹奏《青花瓷》伴奏，用户丁钢琴弹奏《青花瓷》伴奏，利用所述算法模型，生成乐器配器的策略，根据乐器配器策略，选择用户丁钢琴弹奏的《青花瓷》伴奏，对用户丁钢琴弹奏的《青花瓷》伴奏进行时间校准处理，输出结果伴奏数据。

S103：输出所述结果和声音频数据对应的音乐作品数据。

如图6所示，图6示出了输出所述结果和声音频数据对应的音乐作品数据过程.

S601：判断当前场景。

根据第一伴奏数据与第二伴奏数据判断当前场景为K歌场景或弹唱场景。

S602：在所述K歌场景下，基于预设规则，将所述结果和声音频数据与第一结果伴奏数据进行混合处理，生成所述结果和声音频数据对应的音乐作品数据；

在所述弹唱场景下，基于预设规则，将所述结果和声音频数据与第二结果伴奏数据进行混合处理，生成所述结果和声音频数据对应的音乐作品数据。

在K歌场景下，将所述结果和声音频数据与第一结果伴奏数据进行混合处理，生成对应的音乐作品数据；

在弹唱场景下，所述结果和声音频数据与第二结果伴奏数据进行混合处理，生成对应的音乐作品数据。

S603：输出所述结果和声音频数据对应的音乐作品数据。

输出所述结果和声音频数据对应的音乐作品数据，可由音乐播放装置或其他多媒体播放装置进行输出。

针对多个用户的和声生成处理，分别提取多个用户音频数据中的干声数据，基于和声选择处理方法，选择干声数据中的音调数据与标准曲谱数据相匹配的音高时长占总时长的百分比，选择匹配时长百分比最高的为主声音频，其他匹配时长百分比较低的为和声音频，基于所演唱歌曲的标准曲谱数据与主声音频数据，对所述主声音频数据进行处理，生成结果主声音频数据，对所述和声音频数据执行和声生成处理，生成结果和声音频数据，基于上述伴奏处理方法，生成结果伴奏数据，将所述结果主声音频数据、所述结果和声音频数据与所述结果伴奏数据进行混合处理，生成包含有和声音频数据对应的音乐作品数据。

图7为本申请提供的一种用于和声生成的数据处理装置的结构示意图，如图7所述，该装置包括：

数据获取模块71：获取音频数据，其中，所述音频数据包括第一用户数据和第二用户音频数据，所述第一用户音频数据包括第一用户干声数据与第一伴奏数据，所述第二用户音频数据包括第二用户干声数据与第二伴奏数据；还包括：

数据提取模块：根据预设规则从所述第一用户音频数据中提取第一用户干声数据；以及

根据所述预设规则从所述第二用户音频数据中提取第二用户干声数据。

数据处理模块72：对所述第一用户干声数据和所述第二用户干声数据进行和声处理，得到结果和声音频数据；以及

结果输出模块73：输出所述结果和声音频数据对应的音乐作品数据。

关于上述实施例中各模块的执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处不做详细阐述说明。

综上所述：

通过对不同用户音频数据的处理，选择作为和声的音频数据，通过对音频数据进行时间对齐处理，基于乐理规则，对作为和声的音频数据进行变调和变节奏的处理，形成和声，结合经处理后的伴奏数据，生成包含有和声的音乐作品，为用户提供了一种和声生成方法，满足用户多样的音乐交互需求，提升用户体验。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

显然，本领域的技术人员应该明白，上述的本申请的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。