一种基于局部二进制模式的乐谱谱线检测与删除方法

摘要

本发明涉及一种基于局部二进制模式的乐谱谱线检测与删除方法，该方法首先重新定义LBP算子：从3×3方形区域计算中心点LBP，并且不设加权，步骤如下：①对输入乐谱图像遍历所有黑色像素；②对遍历到的黑色像素点计算3×3方形区域的LBP值；③判断LBP是否为8，如果LBP值为8，则再判断5×5域该点上下两点是否为白色像素；④若满足条件，则将该点及该点的上下两点删除。

说明书

技术领域

本发明涉及计算机与多媒体信号处理技术领域，尤其是在乐谱数字化应用开发领域。

背景技术

几个世纪以来，音乐主要通过口口相传和乐谱记录这两种方式传播，其中乐谱的发明是人类音乐史上的里程碑，它作为音乐信息交流和传承的载体，记录了人类璀璨的音乐文化。在数字化的今天，将纸质乐谱保存为计算机能“读懂”的二进制数据是发展趋势。然而，目前纸质乐谱的数字化仍依赖于人工读谱、手工操作，其过程繁复枯燥、效率低下，势必带来低速的音乐信息输入与高速的音乐信息处理之间的矛盾。为了实现传统纸质乐谱向数字乐谱的高速自动转换，光学乐谱识别(Optical Music Recognition，OMR)技术产生。OMR是将纸质乐谱扫描输入计算机后，对乐谱图像加以处理、识别、分析，最终获得乐谱的计算机数字表达的过程。而乐谱谱线的存在，对音符识别来说是一个障碍，所以整个OMR过程中基础且重要的步骤就是谱线的检测与删除。

乐谱中最主要的特征是一组平行的水平线，即五线谱。它们对于音乐家来说是必要的，用以确定音高和规范音符等图形符号的书写区域和尺寸，谱线还有一个显著特点是绝大多数乐谱图形和符号与之都有交叉或重叠。而在音符识别时，需要将音符从谱线中分离出来，对于大多数光学乐谱识别系统中音符分离是一个障碍，但分离最有效的方法是删除谱线。因此，谱线的检测与删除是乐谱识别的首要重要步骤。

近年来，局部二值模式得到广泛运用，尤其用于人脸特征描述和识别并取得了显著的效果。局部二值模式(Local binary patterns，LBP)是一种灰度范围内的纹理描述方式，它从一种纹理局部近邻定义中衍生出来，最初是为了辅助性地度量局部图像对比度提出。

发明内容

本发明的目的在于通过提取局部纹理特征，将谱线与非谱线元素分开，提供一种基于局部二进制模式的乐谱谱线检测与删除方法。本发明为实现上述目的，采用如下技术方案：

一种基于局部二进制模式的乐谱谱线检测与删除方法，该方法首先重新定义LBP算子：

从3×3方形区域计算中心点LBP，并且不设加权，以(x_c,y_c)为中心点的LBP为：

其中，中心点像素为g_c，g_i(i＝0,1,...,7)分别代表中心点周围八个相邻点像素。

此方法的步骤如下：

①对输入乐谱图像遍历所有黑色像素；

②对遍历到的黑色像素点计算3×3方形区域的LBP值；

③判断LBP是否为8，如果LBP值为8，则再判断5×5域该点上下两点是否为白色像素；

④若满足条件，则将该点及该点的上下两点删除。

附图说明

图1是基本LBP算子；

图2理想乐谱与谱线宽度像素；

图3基于局部二进制模式的乐谱谱线检测与删除方法的流程图；

图4谱线宽度小于理想谱线宽度；(a)谱线宽度占一个像素；(b)谱线宽度占两个像素

图5谱线宽度大于理想谱线宽度；

图6(a)和(b)分别为弯曲的乐谱(片段)和删除谱线的音符图；

图7理想乐谱谱线删除结果细节对比图。(a)carter(b)inetracking_runlength(c)linetracking_secondchord(d)RoachTatem(e)本方法

具体实施方式

局部二值模式是被提出的机器视觉领域中用于分类的一种特征，它在纹理分类问题上是一个非常强大的特征。局部二值模式是一种能够有效地度量和提取图像局部及全局纹理信息的算子。最基本的LBP算子的定义：

在一个3×3的窗口，以中心像素点的灰度值为阈值，将相邻的8个像素点的灰度值与其进行比较。图像中某个像素为中心点g_c，周围的8个像素点g₀,g₁,…,g₇，则这个局部区域的纹理T的分布可定义为局部区域内像素灰度的联合分布密度为：

T＝t(g_c,g₀,g₁,…,g₇)(1)

局部区域的纹理可以用中心点和中心点与周边像素值之差的联合分布来表示：

T＝t(g_c,g₀-g_c,g₁-g_c,…,g₇-g_c)(2)

改写为：

T≈t(g_c)(g₀-g_c,g₁-g_c,…,g₇-g_c)(3)

由于t(g_c)只是描述了整个图像的亮度分布情况，而跟图像的局部纹理无关，可以忽略不计：

T≈t(g₀-g_c,g₁-g_c,…,g₇-g_c)(4)

只考虑差值的符号得：

T≈t(s(g₀-g_c),s(g₁-g_c),…,s(g₇-g_c))

通过公式(4)得到一个8位的二进制数，按照公式(5)对像素不同位置进行加权求和，即得到以(x_c,y_c)为中心点的LBP值：

这个LBP值可以反映以该像素点为中心的3×3方形区域的纹理信息。这种基本LBP算子被称作LBP/C，对比度分量C是邻域中所有大于等于中心点像素的均值与其余像素的均值之差，如图1所示：

对于基本的LBP算子，结合乐谱图像内容特点，我们进行了改进，对于经过二值化处理的乐谱图像，遍历到所有黑色像素点，在一个3×3的窗口，以黑色像素点的灰度值0为阈值，将相邻的8个像素点的灰度值与其进行比较。若等于中心灰度值则标记1，否则标记0。这样一来，产生了总数为8的若干1或0，不设加权直接将所有值相加，即可得到该窗口的LBP值。

1删除理想乐谱谱线

在理想乐谱图像中，一条五线谱谱线宽度所占像素为三个像素，如图2所示：

在3×3的窗口下，我们假设中心像素的坐标为(i,j)，当谱线宽度占三个像素时，我们可以看到在中心像素点左右存在八个像素点与之灰度值相等，所以中心像素点的LBP值为8。

考虑到谱线所在像素的LBP值与非谱线像素的LBP值存在相同的情况，我们增加另外一些条件来约束，将谱线像素与其它非谱线像素分开。

我们在一个5×5的窗口中，再次判断需要删除的点是否是谱线上的点。具体流程如图3所示：

2删除非理想乐谱谱线

在非理想乐谱图像中，乐谱的谱线所占像素可能少于或多于三个像素，整个乐谱也可能出现弯曲等现象，对于这几类非理想情况，也可以很好的解决。

谱线宽度小于理想谱线宽度的情形如图4，

①当谱线宽度占一个像素时，我们可以看到仅仅在中心像素点左右存在两个像素点与之灰度值相等，所以中心像素点的LBP值为2；

②当谱线宽度占两个像素时，我们可以看到在中心像素点周围存在五个像素点与之灰度值相等，所以中心像素点的LBP值为5；

谱线宽度大于理想谱线宽度如图5，当谱线宽度占四个像素时，我们可以看到存在两种形式的中心像素点，中心像素点的LBP值分别为5和8；

这两种谱线宽度与理想乐谱谱线宽度不一致时，与上一节删除方法相同，只需要通过不同的LBP值和约束条件，判断像素点是否为谱线像素即可。

3谱线弯曲

乐谱在扫描等图像采集过程中，由于纸张的厚度或是其它原因，造成乐谱弯曲的现象时常发生，前人采用先校正乐谱再删除的方法，在小角度的情况下，可以得到很好的效果，但是弯曲的角度很大时很难做到完全校正并删除谱线。本发明的优势就是谱线弯曲无需校正都能很好的删除谱线。如图6所示。

图7所示为本发明中所提及的基于局部二值模式的谱线检测与删除方法与其它方法处理相同乐谱图像的结果的对比，从图中可以看出，本发明的方法明显优于其它方法。