一种歌曲节奏的显示方法及其系统

摘要

本发明提供的一种歌曲节奏的显示方法及其系统，方法包括：依据预设的采集周期获取歌曲的音频数据；获取音频数据的频率幅值；获取音频数据的节拍值；依据节拍值和频率幅值展示音频数据，其中，依据节拍值确定音频幅值的显示速度。本发明通过获取音频数据的节拍值，再结合频率幅值一起展示音频数据，由所述节拍值确定所述音频幅值的显示速度；实现生动、可视化地展示音乐的节奏、节拍和频率，三者相辅相成地完美体现音乐的律动性；同时，也能给观赏者带来更好的视觉享受，活跃音乐气氛。

说明书

技术领域

本发明涉及音频信号处理领域，具体说的是一种歌曲节奏的显示方法及其系统。

背景技术

现有技术的音乐播放器不仅支持音乐的播放，还能在音乐的播放过程中将音乐的高低以动态音乐频谱的形式显示。现有技术的音乐频谱，通过实时获取音乐的音频数据(PCM数据)，将音频数据经过傅里叶变换，把音频信号从时域变换到频域信号后，每一个离散的频率，会对应一个幅值。音乐频谱就是利用幅值来决定频谱动画展示的高度；但是这样的音乐频谱只能体现音乐的高低、强弱(高音越强，高峰就偏右；低音越强，高峰就偏左)，而音乐的特性其实还有很多，比如音乐的节奏、节拍、音色等，这些音乐特征在一般的音乐频谱中都体现不出来。尤其是音乐的节奏、节拍两者相辅相成共同构成音乐的骨架，来支撑起音乐的律动，所以它们对于音乐来说十分重要；而传统音乐频谱均不能体现这两者的不足，这样便无法给用户呈现更加符合音乐特性的动态频谱，也无法满足用户在音乐欣赏过程中依据频谱把握音乐节奏的需求。

申请号为：200910162906.2的专利公开了一种演唱和演奏的计算机实时分析系统，公开了在对音乐信号的处理过程中依据短时快读傅立叶变换，绘制“时间-频率-强度”的实时频谱图，频谱图能够反应声音的稳定性、抖动范围、共振峰位置、强度、基音中间滑音的粘连情况、基音和各泛音的强弱对比和频率随时间的进行情况，以此来表示音乐的节奏变化。

上述专利并非依据音乐的节奏和节拍特性来表示音乐节奏的变化，还是无法以最直观、最准确的方式来体现音乐的节奏感；因此，有必要提供一种以音乐的节奏和节拍出发，获取音乐频谱的方法及系统。

发明内容

本发明所要解决的技术问题是：提供一种歌曲节奏的显示方法及其系统，实现依据节拍值和频率幅值展示音频数据。

为了解决上述技术问题，本发明采用的技术方案为：

一种歌曲节奏的显示方法，包括：

依据预设的采集周期获取歌曲的一音频数据；

获取所述一音频数据的节拍值；

依据所述采集周期和时间间隔获取所述一音频数据的节拍值；

依据所述节拍值和频率幅值展示所述一音频数据，其中，依据所述节拍值确定所述音频幅值的显示速度。

本发明提供的另一个技术方案为：

一种歌曲节奏的显示系统，包括：

预设模块，用于依据预设的采集周期获取歌曲的一音频数据；

第一获取模块，用于获取所述一音频数据的频率幅值；

第二获取模块，用于获取所述一音频数据的节拍值；

展示模块，用于依据所述节拍值和频率幅值展示所述一音频数据，其中，依据所述节拍值确定所述音频幅值的显示速度。

本发明的有益效果在于：区别与现有技术的音乐频谱只能显示音乐的高低和强弱，缺乏互动性，无法真实体现音乐律动的不足，本发明提供一种歌曲节奏的显示方法及其系统，通过获取音频数据的节拍值，再结合频率幅值一起展示音频数据，由所述节拍值确定所述音频幅值的显示速度；实现生动、可视化地展示音乐的节奏、节拍和频率，三者相辅相成地完美体现音乐的律动性；同时，也能给观赏者带来更好的视觉享受，活跃音乐气氛。

附图说明

图1为本发明一种歌曲节奏的显示方法的流程示意图；

图2为本发明一具体实施方式一种歌曲节奏的显示方法的流程示意图；

图3为本发明一种歌曲节奏的显示系统的结构组成方框图；

图4为本发明一具体实施方式的心电图音乐频谱界面图；

图5为本发明一具体实施方式的左右移动的音柱图音乐频谱界面图；

图6为本发明一具体实施方式的3D动画音柱图音乐频谱界面图；

图7为本发明一具体实施方式的曲谱图。

标号说明：

1、预设模块；2、第一获取模块；3、第二获取模块；4、展示模块。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：获取音频的节拍值，并依据节拍值和频率幅值展示音频数据，展示过程中依据所述节拍值确定所述音频幅值的显示速度。

本发明涉及的技术术语解释：

请参照图1以及图2，本发明提供一种歌曲节奏的显示方法，包括：

依据预设的采集周期获取歌曲的一音频数据；

获取所述一音频数据的频率幅值；

获取所述一音频数据中两个以上的节拍点；

获取每相邻的两个节拍点之间的时间间隔；

依据所述采集周期和时间间隔获取所述一音频数据的节拍值；

依据所述节拍值和频率幅值展示所述一音频数据，其中，依据所述节拍值确定所述音频幅值的显示速度。

进一步的，所述节拍值与所述音频幅值的显示速度成线性比例关系。

进一步的，所述线性比例关系为正比例关系。

由上述描述可知，若节奏较快，则幅值的变化速度快，反之亦然，节拍值与音频幅值的显示速度成线性正比例关系方式，符合人们的观赏习惯，能够更直观地体现音乐的节奏起伏变化。

进一步的，所述一音频数据包括音频对应的曲谱，根据所述曲谱获取所述一音频数据的节拍值。

由上述描述可知，通过曲谱上标注有每个节拍点，直接根据相邻节拍点之间的时间间隔，便可得到该音频数据的节拍值。如图7所示的曲谱，为四四拍，每一循环有4拍，以四分音符为一拍，设每一小节的演奏时间为t。例如第一节中，有四个音符，每个音符分别为一拍，则相邻音符之间的时间间隔(节拍值)均为t/4；在第二个小节中有11个音符，前三个音符组成一拍，则第二小节第一个音符和第二音符的时间间隔(节拍值)为t/8，以此类推，计算出其他音符的时间间隔(节拍值)。

请参阅图4、图5和图6，进一步的，所述“依据所述节拍值和频率幅值展示所述一音频数据”具体为：

使用心电图展示所述一音频数据，其中，心电图的电位变化表示所述频率幅值的变化，电位变化的速度表示所述节拍值；

或者使用左右移动的音柱图展示所述一音频数据，其中，音柱的长度表示所述频率幅值，音柱移动的速度表示所述节拍值；

或者使用升降变化的音柱图展示所述一音频数据，其中，音柱的攀升高度表示所述音频幅值，音柱的升降速度表示所述节拍值；

或者使用灯光的闪烁变化展示所述一音频数据，其中，灯光的亮度表示所述音频幅值，灯光闪烁的速度表示所述节拍值。

由上述描述可知，本发明能够以不同的表现形式展示音频数据的节奏变化，形式多样，内容丰富多彩，生动形象，通过频谱的观赏以及音频的听觉享受的结合，给人们带来一种全新的视听感受。

进一步的，所述“获取所述一音频数据中两个以上的节拍点；获取每相邻的两个节拍点之间的时间间隔；依据所述采集周期和时间间隔获取所述一音频数据的节拍值”具体为：

对所述一音频数据进行小波变换处理，得到音频数据的系数值；

对音频数据的系数值进行峰值检测，获取两个以上的节拍点；

获取相邻两个节拍点在原音频信号中的时间间隔；

获取出现概率最大的时间间隔；

依据采集周期和所述出现概率最大的时间间隔，获取节拍值。

由上述描述可知，基于采样率是固定的，例如，每秒采集48K音频数据，每一段音频数据传送到应用层进行处理的时间间隔都差不多，因此，每一段音频数据的节拍值由于时间间隔短，可近似看成一样的，但是即使在相同的时间间隔内，所出现的音符数却是不一样的，这就是节奏快慢的体现。通过对音频数据进行小波变换和峰值检测处理等的处理，便能够提取出音频数据的节拍值，即音乐的节奏。

而在每次对音频数据中的信号进行小波变换后，都会使原信号的采样率下降一倍，在本发明中所述的节拍值之间的间隔都是指在原音频信号中的节拍间隔，因此，我们需要将经过变换后的节拍间隔变换到原信号中的节拍间隔值，并依据此节拍间隔值构建节拍间隔直方图，以确保所获取的节拍间隔的准确度。

进一步的，所述“对所述一音频数据进行小波变换处理，得到音频数据的细节系数值”之前进一步包括：

对所述一音频数据的量化位数进行归一化处理。

由上述描述可知，在获取到音频数据后，首先进行归一化预处理，能够将用量化位数表示的每个采样点的数据长度转化为标量化来表示，以防止某些音频数据对数据计算结果影响过大，同时又能简化音频数据的计算，提高计算效率。

进一步的，所述“获取节拍值”之后，进一步包括：

依据每相邻两个所述节拍值之间的时间间隔，构建节拍间隔直方图；

平滑处理所述节拍间隔直方图；

获取平滑处理后的所述节拍间隔直方图中出现概率最高的时间间隔，得到节拍值均值。

由上述可知，对平滑处理后的节拍间隔直方图提取出现频率最高的时间间隔，又能提高所提取的节拍值的准确度。

进一步的，所述“获取平滑处理后的所述节拍间隔直方图中出现概率最高的时间间隔，得到节拍值均值”具体为：

获取平滑处理后的所述节拍间隔直方图中出现概率最高的时间间隔；

依据公式：节拍值＝预设的采集周期/概率最高的时间间隔，得到节拍值均值。

进一步的，所述“得到节拍值均值”之后，进一步包括：

获取所述一音频数据的初始节拍点；

依据所述初始节拍点和节拍值均值，获取所述一音频数据的所有节拍点。

由上述可知，由于节拍点的位置是由初始节拍点和节拍值共同决定的，初始节拍点是小波变换后得到的第一个可能的节拍点位置的均值，即初始节拍值均值，我们可以依据初始节拍值均值加上若干倍的节拍值获取所有的节拍点的位置，假设当前节拍为Bv，初始节拍值均值为P1，则第n个节拍点的位置为：Pn＝P1+(n-1)Bv。

请参阅图3，本发明提供的另一个技术方案为：

一种歌曲节奏的显示系统，包括：

预设模块1，用于依据预设的采集周期获取歌曲的一音频数据；

第一获取模块2，用于获取所述一音频数据的频率幅值；

第二获取模块3，用于获取所述一音频数据的节拍值；

展示模块4，用于依据所述节拍值和频率幅值展示所述一音频数据，其中，依据所述节拍值确定所述音频幅值的显示速度。

从上述描述可知，本发明的有益效果在于：本发明提供一种歌曲节奏的显示系统，通过第二获取模块3获取音频数据的节拍值，再结合第一获取模块2获取的频率幅值一起，通过展示模块4展示音频数据，由所述节拍值确定所述音频幅值的显示速度；实现生动、可视化地展示音乐的节奏、节拍和频率，三者相辅相成地完美体现音乐的律动性；同时，也能给观赏者带来更好的视觉享受，活跃音乐气氛。

进一步的，所述第二获取模块3包括：

第一获取单元，用于获取所述一音频数据中两个以上的节拍点；

第二获取单元，用于获取每相邻的两个节拍点之间的时间间隔；

第三获取单元，用于依据所述采集周期和时间间隔获取所述一音频数据的节拍值。

进一步的，所述第一获取单元，具体用于对所述一音频数据进行小波变换处理，得到音频数据的系数值；以及对音频数据的系数值进行峰值检测，获取两个以上的节拍点；

所述第二获取单元，具体用于获取相邻两个节拍点在原音频信号中的时间间隔；以及获取出现概率最大的时间间隔；

第三获取单元，具体用于依据采集周期和所述出现概率最大的时间间隔，获取节拍值。

由上述描述可知，上述依据相邻节拍点之间的时间间隔以及音频数据的采集周期获取节拍值，为节拍值与频率幅值相结合展示音频数据的节奏和音乐高低提供基础。

请参照图1、图2、图4、图5和图6，本发明的实施例一为：

提供一种能够展示音乐节奏的音频频谱，包括：

S1：依据预设的采集周期获取歌曲的一音频数据；

在音乐的播放过程中，对音乐进行录音，设采集周期(采样率)为48K，获取PCM音频数据，将PCM音频数据发送至应用层中进行处理。由于采集周期的固定的，因此从采集到处理的时间也是固定的，即所获取的拍子数目是固定的，在本发明中，我们所要提取的是上述固定节拍数目内所包含的音符数目(拍子数目)，即节拍值，节拍值体现的是音乐的节奏。

S2：获取音频数据的频率幅值；

具体的，优选通过第一主板负责对音频数据进行傅里叶变换(Fouriertransform)，得到音频数据的频率幅值。傅里叶变换能够将音频数据从时域变换到频域(所谓频域，可以以X轴为频率，Y轴为频率对应的幅值来表示)；然后对X轴的频率进行分段，各频段宽度非线性划分；依据每一个离散的频率，会对应一个频率幅值，而在采用音柱显示频率幅值的音乐频谱中，是通过频率幅值决定动画音柱的高低(音柱上升的高度)，音柱每完成一个高度的显示，都会下落回到初始点位置。因此，在所划分的每一频段中获取最大的频率幅值，将所述音频数据的所有频率幅值都发送至第二主板中；通过第二主板来依据频率幅值决定动画音柱高低起伏。

S3：提取音乐节奏；

S31：对获取的音频数据进行归一化预处理；

由于PCM音频数据经过傅里叶变换，将模拟音频数据转换成数字音频数据时，音频信号在幅度上将被离散化，每个采样点的数据长度用量化位数来表示(常用的有8位和16位)，量化位数不同，采样点能够表示的数据范围不同，如8位的采样点能够表示的数据范围是0～255，16位的采样点能够表示的数据范围是-32768～32767；因此，为了统一处理，在获取到音频数据后，需要先对其进行归一化处理，将采样点的数据归一化到[-1,1]；

假设采样点序列为S[]，归一化后的采样点序列为Ns[]，则可用公式：

Ns[]＝(S[]-Smin)/(Smax-Smin)*(Dmax-Dmin)+Dmin；

其中，Smax为采样点序列中的最大值；Smin为采样点序列中的最小值，Dmax为采样点归一化后的序列中期望的最大值、Dmin为采样点归一化后的序列中期望的最小值；对采样点的数据进行归一化处理，以防止某些音频数据对数据计算结果影响过大，同时又能简化音频数据的计算，提高计算效率。

S32：对预处理后的音频数据进行小波变换；

对预处理后的音频数据信号做离散小波变换，音频数据信号经过一次小波变换后，将产生近似系数和细节系数；近似系数保留了信号的低频成分，而细节系数保留了信号的高频成分；对低频成分的近似系数继续进行小波分解，得到新的近似系数和细节系数，分解过程不断重复，进行n次的小波分解，得到n组系数值。在此，优选所述n为4，得到4组系数值。

音频数据信号经过小波变换后，时域信息不会丢失，能够保证音频数据信号的音质效果；同时，音频数据信号每经过一次小波分解，其采样率都会下降一倍，因此能够到达减少所有处理的数据量，从而提高算法的运算效率。

S33：对小波变换后的音频数据进行峰值检测，获取节拍点；

由于音乐的节拍很可能会发生在小波分解系数的峰值点处，因此，需要对S32中得到的n组系数值中的系数值分别对其应用峰值检测算法，获取节拍点；

具体包括：

(1)全波校正：将音频数据信号中的所有数据进行绝对值转换；

(2)加窗求极值：为了短时分析，必须添加窗口；在理论上应使用两端具有平滑过渡特性的窗口，其目的是为了减少音频数据帧起始和结束处音频信号的不连续性；

对全部校正后的音频数据进行加窗处理，在求窗口内局部极值的同时滑动窗口，不断求极值，最终峰值点的确定是看该局部极值在一个窗口范围内，局部极值相同的次数，如果相通的次数大于窗口宽度的90％，则认为该极值即为峰值，同时记下该峰值的位置，以此获取所述音频数据的所有峰值位置，假设所述峰值位置即节拍点位置。

S34：获取节拍点的时间间隔，构建直方图；

音频数据的n组小波系数的峰值都检测出来以后，需要计算每相邻两个峰值位置之间的时间间隔，即计算每相邻两个节拍点之间的时间间隔IOI；

具体的，因为每次对音频数据信号进行小波变换后，都会使原音频数据信号的采样率下降一倍，而要求的节拍点时间间隔IOI是指在原音频数据信号中的间隔值。因此，需要先将变换后的时间间隔值变换到原音频数据信号中的时间间隔值。

假设当前的间隔值是对原音频数据信号进行第n次小波变换后计算所得的值，记为IOI2；在原音频数据信号的时间间隔值记为IOI1，则IOI1＝IOI2*2n；

然后根据节拍点间隔发生的概率，构建节拍间隔直方图；

S35：平滑处理节拍间隔直方图，计算获取节拍值；

直接依据所构建的节拍间隔直方图所获取的节拍值准确度不高，为了提高节拍值的准确度，需要对节拍间隔直方图进行平滑处理；

具体的，首先引入节拍点的时间间隔的权重，通过判断与某个节拍点间隔临近的其他节拍点间隔的相似程度来估计该节拍点时间间隔的权重。在此，需要确定两个参数：第一个，与临近的多少个时间间隔做比较，依据历史经验，优选选取某时间间隔左右各四个节拍时间间隔做比较；第二，判断某个时间间隔是否相近，可以定义一个偏差值，若两个时间间隔之差小于该偏差值，则可以将他们看作同一个时间间隔。

此时，直方图中还可能出现以下几种情况：第一，直方图可能有不止一个极值(出现概率相同的时间间隔)，如何选择；第二，出现概率最大的时间间隔出现在低密度区中；我们可以简单的选择这个极值中的最大值计算节拍值，但是这个最大值并不能代表节拍间隔值的主要分布。因此，如果我们不考虑直方图的分布，而简单的选择最大值的话，会使计算的节拍值不准确。

为了解决上述问题，我们可以将直方图与一个高斯函数做卷积以平滑直方图；高斯函数可以突出密度大的区域；平滑处理以后我们就可以通过获取最大幅值来判断节拍点的时间间隔；

节拍点的时间间隔获取方式如下：

获取平滑直方图中出现概率最大的时间间隔，通过公式：

节拍值Bv＝采集周期/出现概率最大的时间间隔；得到节拍值均值。

S36：获取音频数据中的所有节拍点；

节拍点的位置是由音频数据中的初始节拍点与节拍值共同决定的，初始节拍点是经过小波变换后获取的第一个可能的节拍点位置的均值；每次当节拍值均值计算出来后，就可以根据初始节拍点加上若干倍的节拍值均值得到所有的节拍点位置。具体为：

如当前节拍为Bv，初始节拍点为P1，则第n个节拍点的位置为：

Pn＝P1+(n-1)Bv。

S4：依据所述节拍值和频率幅值展示所述一音频数据；

其中，是依据所述节拍值确定所述音频幅值的显示速度，优选节拍值与所述音频幅值的显示速度成线性正比例关系。

可以使用各式各样的频谱图展示所述音频数据，

如图4所示，若使用心电频谱图展示所述一音频数据，则心电图的电位变化表示所述频率幅值的变化，电位变化的速度表示所述节拍值；

如图5所示，若使用左右移动的音柱频谱图展示所述一音频数据，则音柱的长度表示所述频率幅值，音柱移动的速度表示所述节拍值；

如图6所示，若使用升降变化的音柱频谱图展示所述一音频数据，则音柱的攀升高度表示所述音频幅值，音柱的升降速度表示所述节拍值；

还可以使用灯光的闪速变化展示所述一音频数据，其中，灯光的亮度表示所述音频幅值，灯光闪烁的速度表示所述节拍值。

具体的，我们以升降变化的3D音柱频谱图进行详细说明：

在频谱图中，音柱上升的高度是依据音频幅值确定的，从左到右，频谱由小到大；音乐强度越强，则音柱上升的越高，反之，则越低；音乐高音越强，则右侧的音柱越多，音乐低音越强，则左侧的音柱越多；

音柱上升以及下降的速度是依据节拍值确定的，节奏越快，则上升和下降的速度越快；节奏越慢，则上升和下降的速度越慢。

在频谱展示过程中，依据获取到音频数据的频率幅值，高度为0的音柱会通过“上抛运动”上升到对应频率幅值的高度，然后通过“下抛运动”又回到0高度；依据运动的公式为S＝V0*t+(1/2)*a*t*t(S为上述最大频率幅值所决定的上升路径，V0为初速度，a为依据经验值预设的加速度，t为时间，运动的时间t依据获取到的音频数据的节拍值决定)，计算获取V0的值，所述初速度V0即决定了音柱“上抛”和“下抛”的速度，具体的，节奏越快，则“上抛运动”、“下抛运动”的时间越短；反之，运动的时间越长。

优选还可以在音乐频谱中加入自定义编辑的各种3D动画，能够在随着音乐律动，音柱高低起伏变化的同时，以人物的舞动陪衬，起到烘托音乐气氛的作用。

请参照图3，本发明的实施例二为：

一种数字视听系统，包括机顶盒和显示屏，所述机顶盒连接显示屏；所述机顶盒包括第一主板和第二主板；所述第一主板包括预设模块1和第一获取模块2；

所述第二主板包括第二获取模块3，所述第二获取模块3具体可以包括第一获取单元、第二获取单元以及第三获取单元；

所述预设模块1，用于依据预设的采集周期获取歌曲的一音频数据，以及预设频谱的展示方式；

所述第一获取模块2，用于获取所述一音频数据的频率幅值，并将所述频率幅值发送至第二主板中；

所述第二获取模块3，用于获取所述一音频数据的节拍值，具体的，通过第一获取单元对所述一音频数据进行小波变换处理，得到音频数据的系数值；以及对音频数据的细节系数值进行峰值检测，获取两个以上的节拍点；

通过所述第二获取单元，获取相邻两个节拍点在原音频信号中的时间间隔；以及获取出现概率最大的时间间隔；

通过第三获取单元，依据采集周期和所述出现概率最大的时间间隔，获取节拍值。

所述显示屏，用于依据预设的展示方式，依据所述节拍值和频率幅值，使用3D动画的频谱图展示所述一音频数据，其中，依据所述节拍值确定所述音频幅值的显示速度。

综上所述，本发明提供的一种歌曲节奏的显示及其系统，不仅能够提取音频数据的节奏，并结合频率幅值一起展示所述音频数据，实现生动、可视化地展示音乐的节奏、节拍和频率，完美体现音乐的律动性；而且节奏与频率之间的线性正比例关系展示的方式，更加直观地体现音乐的节奏起伏变化；进一步的，还提供各式各样展示音频数据节奏变化的表示形式，生动形象，给人们提供更多选择，带来全新的视听感受。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。