实时图像内容检索系统及图像特征提取方法

摘要

本发明公开了一种基于全并行图像处理器的实时图像内容检索系统，该系统包括全并行阵列处理器、辅助输入/输出设备、控制设备，以及计算机和图像检索软件，利用该全并行处理器进行大规模并行运算，使得图像特征的提取和匹配速度远高于通常基于计算机的软件方法，进而实现实时的图像内容检索。本发明同时公开了一种适合于并行处理实现的图像特征提取方法，该方法适合于在硬件上并行处理，且不受图像平均明度变化的影响。利用本发明，该图像内容检索系统可以实现对大量图像数据的实时精确匹配和检索。

说明书

技术领域

本发明涉及图像处理芯片和图像内容检索技术领域，特别是一种基于全并行图像处理器的实时图像内容检索系统，以及适合于并行处理实现的图像特征提取方法。

背景技术

基于内容的图像检索(CBIR)在人机交互，机器视觉和搜索引擎领域具有非常重要的意义。目前基于内容的图像检索方法中图像提取的主要特征包括颜色分布，空间结构，颗粒度，纹理分布，和形状等。CBIR能增强传统的基于文本的图像检索的正确性。通常，由软件计算出图像的特征，并将特征存储在数据库中，与待检索的图像特征作匹配。

CBIR的一种应用是希望检索系统能像人脑一样理解图像的内容，从而使用户根据图像代表的形状和意义迅速获得需要的图像。但目前，对图像内容的有效分割和对图像意义的识别仍是非常困难的问题。

因此，CBIR在这方面的应用受到了很大的限制，目前发布的CBIR系统只能实现最简单的图像内容理解。

另一方面，在大量的工业和科学应用中，图像内容的匹配和定位有非常广泛的应用。在这些应用中，往往需要实时的在大量图像中匹配目标图像，而并不需要对图像内容深层次的理解。

如在机器视觉中，需要监视生产线上的零件结构；在医学应用中，需要在大量X光片中查找特定的病灶区域；在科学实验中，需要在大量的实验图片中搜索小区域中特定的现象。在这些应用中，对待匹配的图像逐像素的提取其区域特征向量，并逐个的与待检索小尺寸图像的特征向量作匹配，就可以得到满意的结果。但通用的计算机由于其串行处理的结构，对图像的特征提取和匹配速度较慢，无法满足实时检索的需求。

举例来说，在P42.4G的计算机上，在640×480像素标准VGA尺寸的图像中匹配一个64×64像素大小的图像通常需要半分钟以上的时间。

再一方面，专用多媒体处理器如DSP等具有高于通用处理器的并行处理能力。但由于DSP结构的复杂性，使其运算并行度受到限制，并且不具有针对图像匹配应用优化的电路和特征提取方法。所以，专用多媒体处理器在并行度和速度上也不能满足对大量图像进行实时检索的需要。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的在于提供一种基于全并行图像处理器的实时图像内容检索系统及图像特征提取方法，以实时高速的在图像库中检索和匹配待检索的图像，实现图像特征的提取和匹配。

(二)技术方案

为达到上述目的，本发明提供的技术方案是这样的：

一种基于全并行图像处理器的实时图像内容检索系统，该系统包括全并行阵列处理器、辅助输入/输出设备、控制设备，以及计算机和图像检索软件，利用该全并行处理器进行大规模并行运算，使得图像特征的提取和匹配速度远高于通常基于计算机的软件方法，进而实现实时的图像内容检索。

此外，根据本发明的一个实施方式，所述全并行阵列处理器包括多个二维成阵列排列的处理单元PE，每一PE均接受公用指令，并向近邻的PE输出数据。

此外，根据本发明的一个实施方式，所述多个二维成阵列排列的PE构成PE阵列，该PE阵列呈二维规则排列，用于存储一幅或多幅图像，每一个PE对应图像的一个像素或多个像素；

通过将复杂的高运算位数数学运算或逻辑运算分解成为多个简单的低运算位数数学运算或逻辑运算，每个PE在多个周期内可完成任意位数的数学运算和逻辑运算；

每个PE的数据可被传递到其上、下、左、右的近邻PE，并与这些PE做运算，通过多次的近邻传递PE的数据，每个PE可与任意间隔的其他PE做运算；

PE阵列可并行的对存储在PE阵列中的图像完成适合于全并行处理的图像操作和图像特征提取。

此外，根据本发明的一个实施方式，所述PE包括：

算术逻辑部件ALU，用于实现算术逻辑操作求和、求或、求与，以及求非；

多路复用器，用于从近邻PE的输出数据或本身的输出数据中选择ALU的第一个输入操作数；

双口SRAM存储器，用于存储和输出处理单元的数据。

此外，根据本发明的一个实施方式，所述双口SRAM存储器包括：

用于接收待存储的数据的输入端口；

用于从存储器中输出数据的输出端口；

用于读取存储器数据的读地址信号；

用于写入存储器数据的写地址信号；

其中，输出端口连接到PE的多路复用器的一个输入端口，输入端口连接到PE中ALU的输出端口，读地址信号和写地址信号由阵列处理器的公用指令给出。

此外，根据本发明的一个实施方式，所述ALU部件包括两个数据输入端口，一个数据输出端口，一个算术逻辑单元，一个数据寄存器和一个进位寄存器，其中，一输入端口连接到多路复用器的输出，另一输入端口连接到数据寄存器的输出，输出端口连接到SRAM存储器的输入和数据寄存器的输入，进位寄存器保存算术逻辑单元中求和运算产生的进位信息。

此外，根据本发明的一个实施方式，所述多路复用器包括五个数据输入端口，一个数据输出端口和一个由阵列公用指令给出的选择信号，其中，五个输入端口分别连接到该PE的输出和该PE上下左右近邻PE的输出，输出端口连接到ALU的一输入端口。

此外，根据本发明的一个实施方式，所述全并行阵列处理器进一步包括一特征匹配电路，该特征匹配电路包括：一维排列的乘法器单元、用于存储待匹配特征的存储器和多数如并行加法器；

其中，每个乘法器单元有两个输入接口，第一个输入接口连接PE阵列输出的特征向量，第二个输入接口连接特征存储器的输出；每个乘法器单元用于计算输出某一特征与待匹配的某一特征之差的平方值；并行加法器用于将所有乘法器的结果取前8位求和，得到PE输出的特征向量与待匹配的特征向量的方差值。

一种适合于并行处理实现的图像特征提取方法，该方法包括：

图像预处理过程，利用灰度数学形态学运算进行图像去噪；

图像边缘信息提取过程，提取图像在多个方向上的边缘信息；

图像色度/饱和度信息提取过程，提取色度/饱和度的分布信息；

图像特征向量产生过程，将图像在多个方向上的边缘信息与色度/饱和度的分布信息合并为特征向量并输出。

此外，根据本发明的一个实施方式，所述图像边缘信息提取过程包括：

图像明度求近邻平均运算；对每一个像素，将其在一定范围内所有近邻像素的明度值求和并作平均，得到图像明度的平均值；

图像水平方向边缘信息提取；对每一个像素，利用形态学边缘提取模版求出其水平方向明度的梯度值，将该梯度值与该像素图像明度的平均值做差，如果差值大于某一预设阈值，则认为在图像在该像素点在水平方向存在边缘，在该像素点水平方向边缘提取值为1，否则为0；

图像垂直方向边缘提取，其过程与水平方向边缘提取类似，区别在于利用的形态学边缘提取模版不同；

图像在+/-45度角方向边缘提取，其过程与水平方向边缘提取类似，区别在于利用的形态学边缘提取模版不同；

其中，近邻平均运算和边缘提取运算过程对所有像素都是相同的，可并行完成。

此外，根据本发明的一个实施方式，所述图像特征向量产生过程包括：

将图像水平方向提取的二值边缘信息在行方向上求和，所得结果作为图像的特征，反映了图像每行在水平方向的边缘特征；

将图像垂直方向提取的边缘信息在列方向上求和，所得结果作为图像的特征，反映了图像每列在垂直方向的边缘特征；

将图像+/-45度角方向提取的边缘信息在+/-45度角方向上求和，所得结果作为图像的特征，反映了图像倾斜方向的边缘特征；

将图像色度和饱和度的区域最大值和最小值作为图像的特征，反映了图像在色度和饱和度上的分布。

此外，根据本发明的一个实施方式，该方法的运行过程具体包括：

图像检索软件运行在计算机上，由用户输入需要检索的小尺寸图像，根据特征提取方法提取该图像的特征，并指定要匹配的图像库；

编译器产生用于控制全并行阵列处理器的信号，并通过辅助I/O设备和控制设备输入到全并行阵列处理器；

辅助I/O设备逐个的将待匹配图像库中的图像分块的输入到全并行阵列处理器的PE阵列中；辅助I/O设备将待检索图像的特征输入到全并行阵列处理器的特征匹配存储器中；

全阵列处理器对当前图像块并行计算，并行的提取其特征向量，然后逐一的计算当前的特征向量与待检索图像特征向量的匹配程度；如匹配程度高于某预设值，则认为图像匹配成功，将结果返回图像检索软件。

(三)有益效果

从上述技术方案可以看出，本发明具有以下有益效果：

1、本发明提供的这种全并行图像处理器，包括二维处理单元(PE)阵列和特征匹配电路。其中，每个PE由算术逻辑部件和存储器组成，具有较小的面积，能够完成简单的运算；每个PE可以向近邻的PE传输数据或从近邻的PE接收数据。PE阵列并行的对图像完成图像特征提取，特征匹配电路将提取的特征与检索特征作匹配运算。由于大量PE的并行运算，全并行图像处理器能够在很快的时间内完成对一幅图像的检索和匹配，进而可以高速完成图像特征的提取和匹配，其图像特征提取速度可比利用通用计算机提高500倍以上。

2、本发明提供的图像特征提取方法适合于利用大量并行运算实现。该方法基于以下事实，既在大量的图像检索应用中，图像的边缘信息代表了图像中最令人感兴趣的部分。该方法对每个像素在各方向的明度梯度与该像素明度平均值作比较来确定图像的边缘，避免了图像明度整体变化对边缘提取结果的影响。该方法同时提取了图像的色度和饱和度的最值分布，并配合图像提取出的边缘信息作为图像的特征向量。该方法提取的特征大幅度压缩了图像的信息量，且代表了图像最重要的特征，在图像匹配上有很好的效果。

3、本发明提供的图像内容检索系统，包括全并行图像处理器，辅助I/O设备和控制设备，计算机和图像检索软件。辅助I/O设备和控制设备由FPGA组成，与计算机经USB口连接，计算机在检索软件和FPGA的控制下将图像库中的图像分部分输入全并行图像处理器，并对每一部分并行的提取图像的特征向量，计算匹配程度，将结果返回计算机，可以实现大规模图像信息的实时检索。

附图说明

图1为全并行图像处理器的系统结构示意图；

图2为处理单元PE的实施例结构示意图；

图3为由图2给出的PE实现8bit数值运算的示意图；

图4为PE阵列实现对图像求局部平均和提取水平边缘操作的示意图；

图5为适用于并行处理的图像特征提取方法的实施例示意图；

图6为在大尺寸输入图像中检索并匹配待检索图像过程的示意图；

图7为高速图像内容检索系统的实施例示意图，由计算机，FPGA和全并行图像处理器组成；

图8为用于实现提取特征的部分代码，以及软件实施例的操作窗口和检索结果的示意图。

具体实施方式

为使本发明的目的，方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明做进一步详细说明。

如图1所示，全并行图像处理器由二维排列的PE阵列，I/O端口和特征匹配电路组成。本实施例中，PE阵列的大小为128×128。PE阵列由16位公用指令控制。特征匹配电路由64个8×8bit的乘法器和一个4个16输入8位并行加法器组成。本实施例中，PE阵列产生的特征向量为64个8bit数值，经特征匹配电路进行方差运算后得到图像的匹配程度。

如图2所示，每个PE包含算数逻辑部件，SRAM存储器和多路复用器。本实施例中为算数逻辑部件和SRAM存储器的端口位数为2bit。本实施例中SRAM存储器的容量为256bit，由8位地址线控制。算数逻辑部件由2位公用指令控制，可以实现求和，求与，求或与求非的功能。通过组合这些简单的指令，PE可以完成复杂的指令。本实施例中，每个PE的数据可以被传递到其上、下、左、右的近邻PE。通过多次的近邻传递PE的数据，每个PE可以与任意间隔的其他PE做运算。

举例来说，考虑将每个PE中存储器地址为1的数据与其上方距离为3个单元的PE中存储器地址为1的数据作求和运算。该运算可以通过控制多路选择器和SRAM地址分几步完成。首先，将每个PE的SRAM地址为1的数据经多路复用器写入到其下方近邻PE的SRAM，存储地址为2。然后，将每个PE的SRAM地址为2的数据再次写入到其下方近邻PE的SRAM，存储地址为2。最后，将每个PE的SRAM地址为1的数据与其上方近邻PE的SRAM地址为2的数据做求和运算。这样就实现了PE之间的运算。

如图3所示，复杂的多位数的运算可以通过多个简单的2-bit ALU运算来实现。在本示意图中，两个8bit数值的相加运算通过多个2bit PE中ALU的相加运算实现。图中灰色的部分是每个单元的读写位置。首先对最低位的2bit做相加，其进位结果保存在ALU的进位寄存器中，作为下两个bit相加的进位输入。这样，通过多个的级联操作，PE可以实现多位数的运算。

如图4所示，一个PE阵列可以存储128×128大小的YCrCb制式色图像，其中Y、Cr、Cb分别对应图像的明度、色度和饱和度，并分别用8bit存储。如图所示，利用PE阵列的传输和运算，可以并行的完成图像操作。在完成求图像平均操作时，每个PE近邻2个单元内所有PE所储存的图像明度信息都被传递到中心的PE并求和，保留最高位后得到图像。在完成求图像水平梯度操作时，首先对每个PE上方一行的5个单元和每个PE下方一行的5个单元储存的图像明度值分别求和，再将两个求和的值相减，得到水平梯度。由于整个128×128PE阵列并行运算，对一幅128×128大小的图像完成求平均操作只需要60个时钟周期。而使用通用处理器，完成同样的操作需要3万个时钟周期以上。因此，全并行图像处理器能够大幅度的提高了图像运算的速度。

如图5所示，发明提出的图像特征提取方法利用图像明度在水平、垂直和+/-45度方向的边缘信息以及图像色度和饱和度的最大/最小值作为代表图像信息的特征向量。在本实施例中，对图像边缘信息的提取过程是这样的。对每一个像素，利用如图4所示的过程求出其四个方向上明度的梯度值。将该梯度值与该像素图像明度的平均值做差。如果差值大于某一预设阈值，则认为在图像在该像素点在该方向存在边缘。原始的图像和其在四个方向上的边缘信息如图5所示。

在本实施例中，图像信息的特征向量是这样产生的。如图5所示，对图像水平方向的边缘信息按行相加，将相加的结果顺序分成16组再分别求和，得到16个值。这16个值代表了图像在水平方向边缘的空间分布。同样的得到16个代表图像垂直方向边缘分布的值，16个代表图像+45度方向边缘分布的值和16个代表图像-45度方向边缘分布的值。这些值与图像色度的最大值和最小值，图像饱和度的最大值与最小值组成图像的特征向量。在本实施例中，特征向量含有68个8bit值。如图5所示，手部的X光照片和腿部的X光照片可以由其特征向量显著区分。发明提出的图像特征提取方法的有效性在对医学图片和工业检测图片的实验中得到证实。

图6为在一幅大尺寸输入图像中匹配需要检索的小尺寸图像的流程示意图。在本实施例中，输入图像为大小为64×64像素，图像库中的图像大小为640×640像素。计算机将图像库中的一幅图像分成128×128的图像块顺序输入到全并行图像处理器。图像处理器中的PE阵列提取该图像块的特征。在特征提取后，首先对该图像块和输入图像作粗匹配。在图像块中选取32个像素点，并将以这32个象素点为中心的64×64图像的32组特征向量输入特征匹配电路，并检测其匹配结果。如果有大于等于一个特征向量匹配程度高于某一较低阈值，则进入细匹配阶段；否则输入下一个图像块。在细匹配时，在图像块中选择256个象素点，并将以这256个象素点为中心的64×64图像的256组特征向量输入特征匹配电路，并检测其匹配结果。如果有大于等于四个特征向量匹配程度高于某一较高阈值，则认为匹配成功，该幅图像为检索的图像结果；否则继续输入下一个图像块。完成对一幅图像的匹配后，由计算机控制顺序处理图像库中的下一幅图像。

如图7所示，高速图像内容检索系统包括图像检索软件，计算机，FPGA辅助设备和全并行图像处理器。用户由图像检索软件输入待检索图像，计算机将图像库中的图像通过USB2.0接口传递到FPGA，由FPGA经排线传输到全并行图像处理芯片。芯片将匹配结果通过FPGA返回计算机和图像检索软件。在本实施例中，图像处理芯片工作在100MHz下，完成对一幅640×640尺寸的图像的匹配需要80万个时钟周期，用时8ms。因此，对含有1000幅图像的图像库进行检索用时8s，可以满足实时检索的要求。而利用普通的计算机完成同样功能需要1小时以上的时间。

所提出的图像内容检索系统还包括有专用于全并行图像处理器的编译器，将用高级语言编写的图像特征提取方法编译成为控制全并行图像处理器的指令。其部分代码如图8所示。图8同时给出了软件实施例的操作窗口和检索结果示意图。

以上所述的原理图和实施电路图，对本发明的目的，技术方案和有益效果作了进一步详细说明。尽管已经描述了优选的实施例，但应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，本发明提出的全并行图像处理器和图像检索系统还可以用于其它功能。此外，尽管优选的实施例中图像检索系统应用于大量动态图像信息的实时检索，但发明的图像检索系统也可以应用于加速静态图像搜索引擎对图像特征的提取。例如，所提出图像检索系统可以代替大量计算机服务器来进行互联网上图像的特征提取和判断。因此，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。