基于边缘方向差特征袋的图像检索方法

摘要

本发明公开一种基于边缘方向差特征袋的图像检索方法，首先输入要检索的图像；对该图像通过方向可调滤波器处理；结合方向滤波器结果提取图像边缘像素点；提取该图像所有边缘像素点的方向差特征；从待检索图像中随机选取训练图像并提取边缘像素点方向差特征；对训练图像方向差特征聚类构建特征袋字典；对待检索图像同样提取边缘像素点方向差特征；检索和待检索图像均基于特征袋字典提取编码直方图特征；检索图像和待检索图像进行编码直方图特征相似性匹配；按照相似性匹配值显示图像检索结果。本发明检索速度快、准确率和回调率较高，对于大型图像数据库检索尤显优势，可应用于实时人机交互和大型图像数据库的图像检索。

说明书

技术领域

本发明属于图像处理技术领域，涉及基于内容的图像检索方法，具体是一种基于 边缘方向差特征袋的图像检索方法，应用于实时人机交互、图像检索和分类等领域。

背景技术

近几年来，计算机多媒体技术的发展突飞猛进，多媒体信息系统超越了传统的数 据库系统，将各种非文本数据，如数字化的声音、图像和视频图像等集合于系统之中， 用计算机进行处理，并通过计算机网络传输，极大地方便了人们对多方位、多层次的信 息需求。那么，如何根据图像可视特征进行更加直接的快速检索就成为信息领域面临 的重要课题。信息的快速应用需要一种能快速、准确地查找图像的技术，即图像检索 技术。图像检索的研究也是近几年逐渐受到各方面重视，最初的检索方法是用与图像 内容有关的文字对图像进行说明和注释，检索时使用传统的数据检索方法，根据关键 词提问和查找所需要的图像。这种方法是比较直接和有效的，并且直到目前也仍在使 用。但在大型的图像数据库中进行复杂图像检索时，这种方法即表现出速度慢、效率 低和提问范围过于狭窄等不足。基于内容的图像检索由于是根据图像的可视特征检索， 能满足多种层次的检索要求，目前已成为图像检索研究的新热点，并显露出必将成为 图像检索的主流方法的发展趋势。图像检索技术实用性强且应用广泛，它涉及到当今 社会和人们日常生活的方方面面。图像检索有着广阔的应用前景，目前主要应用于以 下领域：数字图书馆、医疗诊断、军事、地理与远程遥感、图像分类、WEB相关应用、 版权保护、公共安全和犯罪调查等等。

上海交通大学提出的专利申请“基于视觉词组的图像检索方法”(专利申请号 201110205412.5，公开号CN102254015A)公开了一种基于视觉词组的图像检索方法， 该方法包括：首先对标准图像和待检索图像分别提取显著性区域，并在显著性区域中 提取特征描述子，然后对标准图像库中的特征描述子采用随机kd树进行聚类，接着 将标准图像和待检索图像的特征描述子分别通过视觉词组进行表示，并根据标准图像 的视觉词组创建二维倒排索引，最后将由视觉词组表示的待检索图像的特征描述子在 二维倒排索引中进行相似性搜索以及空间几何关系度量，给出最终检索结果。该方法 虽然利用图像的视觉词组创建二维倒排索引和空间几何关系度量相结合进行相似性 搜索，提高了实时检索的准确率，但是在应用于大型图像数据库时，由于各类图像的 空间几何关系度量繁杂，降低了图像的检索效率，导致返回检索结果集的回调率和检 索率不高。

北京大学提出的专利申请“基于视觉词语空间共生性的图像检索方法”(专利申 请号201210199158.7，公开号CN102799614A)，公开了一种基于视觉词语空间共生性 的图像检索方法。该方法包括以下步骤：统计训练数据库中任意两个视觉词语之间共 生的概率，构建视觉词语共生表；提取输入的查询图像的尺度不变特征；在尺度不变 特征中随机选择部分特征作为中心特征，对中心特征做精确映射；并在中心特征的仿 射不变区域内统计其近邻特征；根据视觉词语共生表和精确映射的结果，利用高阶概 率预测器为近邻特征预测候选视觉词语；比较候选词语与尺度不变特征之间的距离， 确定最优的视觉词语，进而进行图像检索。该方法虽然利用了视觉词语共生表和精确 映射来提取最优视觉词语表征图像，提高了图像检索的准确率，但是应用于大型图像 数据库时，视觉词语数量快速增加，再应用高阶概率预测器时会大大增加时间计算复 杂度，导致图像检索的速度和效率降低。

上述两个文献在技术领域内和本发明是相近的，但是共同存在的问题就是图像检 索的准确率、回调率和速度较低，应用于大型图像数据库时检索效率的鲁棒性较差。

发明内容

本发明针对上述现有技术的不足，提出一种基于边缘方向差特征袋的图像检索方 法，实现快速准确的实时人机交互，提高了图像数据库较大时候检索的速度、准确率 和回调率。

实现本发明的思路是：首先通过方向可调滤波器和边缘方向预测快速提取图像的 边缘显著点邻域内的边缘方向差特征，该特征对于图像旋转、光照和尺度具有鲁棒性， 然后通过对训练图像的所有边缘像素点的方向差特征进行聚类得到方向差特征袋字 典，该字典可以应用于各种图像检索情况，具有典型性，对检索图像和待检索图像基 于特征袋字典计算隶属度编码直方图特征，最后进行相似性匹配得到检索结果，本发 明可以应用于各种检索情况，并且提高了检索的速度、准确率和回调率。具体实现步 骤包括如下：

步骤1：输入检索的彩色图像，即将要查询的图像，该检索图像可以是人为自主 选择的图像，包括从网络中获得的图像，也可以是数据库中随机选取的图像。

步骤2：对输入的检索图像灰度变换，通过方向可调滤波器进行处理，选取二维 高斯函数为滤波器核函数，选取合适的滤波器滑动窗口大小，计算图像在X和Y方 向上分别与一阶高斯核函数方向导数的卷积得到每个像素点2L个方向上的能量函数 W_σ(x，y，θ)，L表示方向的个数，x和y表示像素点的坐标值，σ为滤波器尺度参数， θ为方向的值，范围是0～2π，取值间隔为π/L，例如0，π/6，...，2π，每个像素点2L个 方向上的能量函数W_σ(x，y，θ)即为对检索图像滤波的结果。

步骤3：通过方向滤波的结果提取该检索图像的边缘像素点：

3a)以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分 析，在每个边缘可能出现的方向θ上计算每个像素点的灰度差异值P_d(x，y，θ)，其中d 为圆形邻域半径，d的值为4σ。

3b)对于灰度图像中每个像素点，统计从其每个边缘可能出现的方向θ开始，旋 转π角度，计算其π角度内L个方向上灰度差异值P_d(x，y，θ)的向量和值M_θ(x，y)，并选 取对应于所有边缘可能出现的方向上，当M_θ(x，y)取得最大值时的边缘可能出现的方 向θ为该像素点的边缘起始方向Θ(x，y)。

3c)根据灰度图像中每个像素点边缘方向的能量函数W_σ(x，y，θ)进行模值计算得 到每一个像素点2L个方向上的能量值A(x，y，θ)。

3d)根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x，y)开 始，旋转π角度，在其π角度内L个方向上对于A(x，y，θ)进行向量求和计算得到图像 中每个像素点边缘主方向向量该主方向向量的幅值即该像素点的边缘能量值 amp(x，y)，该主方向向量的方向即该像素点的边缘主方向φ(x，y)。

3e)通过对灰度图像每一个像素点的主方向向量的方向φ(x，y)和幅值 amp(x，y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的窗遍历每个像 素点，计算该像素8邻域内的像素点是否满足方向阈值T_p和能量阈值T_a，如果8邻域 内存在至少一个像素点边缘方向与中心像素点相反，即该像素点与中心像素点边缘主 方向的差值在方向阈值T_p范围内，且该像素点与中心像素点边缘能量值均大于能量阈 值T_a，则该中心像素点确定为图像边缘像素点，其中T_p的取值为一范围5π/6～7π/6， T_a取值为2.5σ。

步骤4：根据检索图像的边缘像素点提取原检索彩色图像的所有边缘像素点的边 缘方向差特征，图像每一个边缘像素点均对应一个边缘像素点的边缘方向差特征，得 到该图像每一个边缘像素点的红色-R、绿色-G和蓝色-B三个通道的边缘方向差特征 hst_r(e)、hst_g(e)和hst_b(e)，e表示该图像的第e个边缘点，e＝1，2，...，E，E为检 索图像所有边缘像素点的总数。

步骤5：在待检索图像数据库中对于每类图像随机选取l张图像组成训练图像数 据库，从训练图像数据库中提取一幅训练图像执行步骤2-步骤4进行每一张图像所 有边缘像素点的边缘方向差特征提取，遍历训练图像数据库中的所有图像，图像所有 边缘像素点的边缘方向差特征在三个颜色通道内依次为tst_r，m(o_m)、tst_g，m(o_m)和 tst_b，m(o_m)，通过把全部训练图像的边缘像素点的边缘方向特征进行聚类计算得到特征 袋字典，m＝1，2，...，M，M为训练图像数据库大小，o_m表示第m张训练图像的第 o_m个边缘像素点，o_m＝1，2，...，O_m，O_m为第m张训练图像所有边缘像素点的总数。

步骤6：对全部训练图像的所有边缘像素点的红色-R通道的边缘方向差特征 tst_r，m(o_m)，通过K-means聚类计算，取K个聚类中心得到红色-R通道的w行、K列 的二维特征袋字典Dic_r，K为K-means聚类中心的个数，即特征袋字典的大小，同 样的方法在绿色-G通道和蓝色-B通道内，分别对tst_g，m(o_m)和tst_b，m(o_m)执行红色-R通 道同样的计算分别得到绿色-G通道w行、K列的二维特征袋字典Dic_g和蓝色-B通道 的w行、K列的二维特征袋字典Dic_b。

步骤7：对于检索图像通过步骤6得到的特征袋字典Dic_r、Dic_g和Dic_b进行编码 计算得到检索图像的基于方向差特征袋字典的隶属度编码直方图特征X，编码直方 图特征X包含了红色-R、绿色-G和蓝色-B三通道的编码直方图特征。

步骤8：从图像总数大小为S的待检索图像数据库中提取一幅待检索图像执行步 骤2-步骤4进行每一张图像所有边缘像素点的边缘方向差特征提取，图像所有边缘 像素点的边缘方向差特征在三个颜色通道内依次为hst′_r，i(e′_i)、hst′_g，i(e′_i)和hst′_b，i(e′_i)，然 后执行步骤7得到每一张待检索图像基于方向差特征袋字典的编码直方图特征X′_i， 遍历图像数据库中的所有图像，i＝1，2，...，S，S为待检索图像总数，e′_i表示第i张 待检索图像的第e′_i个边缘像素数，e′_i＝1，2，...，E′_i，E′_i为第i张待检索图像所有边缘 像素点的总数。

步骤9：把检索图像和待检索图像进行基于方向差特征袋字典的编码直方图特征 的相似性匹配，计算检索图像的编码直方图特征X和待检索图像的编码直方图特征 X′_i的2范数相似性距离得到Dis_i(X，X′_i)。

步骤10：对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列， 显示其中前n张图像即为基于边缘方向差特征袋的图像检索结果，i＝1，2，...，S，S 为待检索图像总数，n为返回检索图像数目，取值为人为自主确定的正整数。

随着人们对于图形、图像等多媒体数据的需求越来越强烈，图像检索技术的应用 已经涉及到当今社会和人们日常生活的方方面面。当前图像检索主要致力于解决图像 数据库较大时速度、准确率和回调率较低的问题。本发明主要通过提取图像边缘像素 点的方向差特征，该特征基于图像的边缘显著点，该特征对于图像尺度、光照和旋转 变化时具有鲁棒性，然后通过训练图像聚类得到字典，对检索图像和待检索图像通过 字典进行基于隶属度的编码，提取了图像的高层语义特征，使得特征更有典型性。本 发明在应用于实时人机交互和大型图像数据库时，提高了检索的速度、准确率和回调 率，在实际应用中有效地解决了当前图像检索领域现存的问题，有一定的技术和实用 价值。

本发明的实现还在于：步骤4中根据检索图像的边缘像素点提取原检索彩色图像 的所有边缘像素点的边缘方向差特征，包括以下步骤：

4a)在计算图像的边缘方向差特征的时候，为了提高计算效率，把边缘主方向 φ(x，y)的范围由原来的0～2π转化为0～π，在图像特征处理中，图像的边缘方向特 征在0～2π范围上是对称的，θ和θ+π表示的边缘方向所代表的边缘方向特征是一 样的。

4b)以原彩色图像中每一个边缘像素点为中心设定一矩形邻域，大小为13*13， 计算邻域内所有像素点和中心像素点边缘主方向的方向差Pa(x，y)和分别在红色-绿 色-蓝色RGB三通道内的像素值差Ap_r(x，y)、Ap_g(x，y)和Ap_b(x，y)；

4c)在原彩色图像中每一个边缘像素点邻域内，在红色-R通道内，以Ap_r(x，y)为 x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距划为v个小区 间，u和v取值为正整数，统计该邻域内所有像素点落在每个小区间的像素点数目作 为z轴，在红色-R通道内得到一个三维立体直方图，进行矩阵变换得到w(u*v) 维列向量，归一化得到该边缘像素点R通道方向差特征hst_r(e)，同样的方法在绿色-G 通道和蓝色-B通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的 计算分别得到该像素点的G通道方向差特征hst_g(e)和B通道方向差特征hst_b(e)，e表 示该图像的第e个边缘点。

步骤7中通过步骤6得到的特征袋字典，计算检索图像基于方向差特征袋字典的 隶属度编码直方图特征，包括以下步骤：

7a)检索图像在红色通道R上所有边缘像素点的边缘方向差特征为hst_r(e)，计算 hst_r(e)对应于红色通道二维特征袋字典Dic_r的s个聚类中心的隶属度值di_e(k)，选择 隶属度值最大时的第g_e个聚类中心作为该边缘点的所属中心，然后在该图像对应的权 值向量his_r(g_e)上加上该隶属度的最大值di_e(g_e)，对检索图像所有像素点的his_r(g_e)一 阶矩求和统计得到检索图像红色通道的权值向量his_r，his_r为一K维列向量，k代表 第k个聚类中心，取值为1，2，...，K，K表示聚类中心数，即特征袋字典大小。

7b)在绿色通道G、蓝色通道B做同样于红色通道R的计算，即执行步骤7a)的过 程，最终得到图像绿色通道G的权值向量his_g和蓝色通道B的权值向量his_b，对三个 通道内的权值向量进行整合计算得到检索图像的基于特征袋字典的编码直方图特征 X，图像三通道的权值向量是一个K维特征，对三通道的特征进行整合(pooling)计算 得到3K维的编码直方图特征X，编码直方图特征X就是图像的最终特征。

本发明主要大大提高了实时在线图像检索和离线大型数据库图像检索的准确率、 回调率和检索速度，提升了在各种检索环境下图像检索的稳定性。

本发明与现有技术相比有以下优点：

第一，本发明采用了边缘方向和能量预测像素点的边缘方向的方法，结合方向 可调滤波器，可以有效地判断出每个像素点边缘主方向的指向，然后通过阈值判定 就可以快速准确的提取出图像的边缘像素点信息，通过提取得到的图像边缘像素点 信息可以快速准确的进行下一步的特征提取，提高了应用于实时人机交互和大型图 像数据库时检索的速度和准确性。

第二，本发明基于图像的边缘像素点的边缘方向差特征，该特征对于图像尺度、 光照和旋转变化时具有鲁棒性，对图像的表示更加具有典型性，当检索图像发生旋 转、尺度大小变化和光照影响时可以更加有效的表示出检索图像的特征差异性，在 待检索图像库中准确的检索出结果，在应用到检索过程中时，提高了应用于大型图 像数据库检索时的准确率和回调率。

第三，本发明通过对训练图像所有边缘像素点的边缘方向差特征进行聚类得到 字典，然后对检索图像和待检索图像同时对字典进行基于隶属度的编码特征直方图 计算，实现了对图像高层语义信息的提取，通过编码特征有效地表征了图像高层语 义特征的分布，使得特征更加具有典型性，克服了当检索图像和待检索图像发生细 小变化时的特征偏差，提高了图像检索的准确率和回调率。

附图说明

图1为本发明的图像检索流程示意图；

图2为本实施例中所采用的Corel-1000图像数据库部分示例；

图3为本发明实施例中所使用的检索图像；

图4本发明对图3进行边缘提取和阈值判断后得到的边缘像素点的方向和能量向 量图；

图5为本发明在Corel-1000库中对图2所使用的检索图像的检索结果；

图6为本发明与现有技术中5种检索方法的平均检索准确率对比曲线图；

图7为本发明与现有技术中5种检索方法的平均检索回调率对比曲线图。

具体实施措施

下面结合附图对发明进一步说明。

实施例1

本发明是一种基于边缘方向差特征袋的图像检索方法，随着多媒体技术不断发展 和互联网的不断普及，图像信息的应用也越来越广泛。图像信息的应用往往都需要图 像检索，例如数字图书馆、公共安全和犯罪调查，通过图像检索可以快速有效地查询 到人们需要的信息。图像检索的应用融合进人们的日常生活中去，给人们带来便利， 图像检索有着越来越广阔的应用前景。

本发明的基于边缘方向差特征袋的图像检索方法的实现参照图1，给出如下具体 实施例：

步骤1：输入检索的彩色图像，即将要查询的图像，该检索图像可以是人为自主 选择的图像，包括从网络中获得的图像，也可以是数据库中随机选取的图像。

步骤2：对输入的检索图像做灰度变换，通过方向可调滤波器进行处理，选取二 维高斯函数为滤波器核函数，计算图像在X和Y方向上分别与一阶高斯核函数方向 导数的卷积得到每个像素点2L个方向上的能量函数W_σ(x，y，θ)，L表示方向的个数， 因为滤波器是方向可调滤波器，所以L的取值人为根据实际情况自主确定的，比如场 景复杂时取值较大，场景简单时取值较小，x和y表示像素点的坐标值，σ为滤波器 尺度参数，θ为方向的值，范围是0～2π，取值间隔为π/L，每个像素点2L个方向 上的能量函数W_σ(x，y，θ)即为对检索图像滤波的结果，能量函数W_σ(x，y，θ)的计算具体 步骤如下：

2a)对检索图像做灰度变换，例如选取滤波器滑动窗口大小为5*5。

2b)选取二维高斯函数为滤波器核函数，并分别在图像X和Y方向求该滤波核 函数的一阶方向导数和

2c)对于灰度图像中每个像素点f(x，y)，选取方向间隔为π/L，L表示方向的个 数，计算图像在X和Y方向上分别与一阶高斯核函数方向导数和的 卷积，得到该图像每个像素点2L个方向上的能量函数W_σ(x，y，θ)。

步骤3：通过方向滤波的结果提取该检索图像的边缘像素点：

3a)以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分 析，在每个边缘可能出现的方向θ上计算每个像素点的灰度差异值P_d(x，y，θ)，其中d 为圆形邻域半径，d的值为4σ，在每个方向上计算每个像素点的灰度差异值 P_d(x，y，θ)，采用如下公式计算P_d(x，y，θ)：

$P_d(x,y,\theta )=\frac{|I_{\sigma }(x+d\cos \theta ,y+d\sin \theta )-I_{\sigma }(x,y)|}{|I_{\sigma }(x+d\cos \theta ,y+d\sin \theta )+I_{\sigma }(x,y)|},$

P_d(x，y，θ)即计算中心像素点以d为半径圆形邻域上像素点与中心像素点每个方 向θ上的灰度差异值，通过对该灰度差异值进一步计算来判断图像像素点的边缘起始 方向。

3b)对于灰度图像中每个像素点，统计从其每个边缘可能出现的方向θ开始，旋 转π角度，计算其π角度内L个方向上灰度差异值P_d(x，y，θ)的向量和值M_θ(x，y)，并选 取对应于所有边缘可能出现的方向上，当M_θ(x，y)取得最大值时的边缘可能出现的方 向θ为该像素点的边缘起始方向Θ(x，y)，采用如下公式计算Θ(x，y)：

$\Theta (x,y)=\arg \underset{\theta }{\max }\left\{\right|\underset{\theta \le {\theta }^{\prime }<\theta +(L-1)\pi /L}{\Sigma }\overrightarrow{P}(x,y,{\theta }^{\prime })\left|\right\},$

其中，是由P_d(x，y，θ′)的值和方向θ′构成，Θ(x，y)即通过对灰度差异 值P_d(x，y，θ′)和其方向θ′构成的向量进行向量求和计算和判断得到的像素 点的边缘起始方向，通过对该边缘起始方向结合像素能量函数可以计算得到像素点的 边缘主方向向量。

3c)根据灰度图像中每个像素点边缘方向的能量函数W_σ(x，y，θ)进行模值计算得 到每一个像素点2L个方向上的能量值A(x，y，θ)。

3d)根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x，y)开 始，旋转π角度，在其π角度内L个方向上对于A(x，y，θ)进行向量求和计算得到图像 中每个像素点边缘主方向向量该主方向向量的幅值即该像素点的边缘能量值 amp(x，y)，该主方向向量的方向即该像素点的边缘主方向φ(x，y)，采用如下公式计 算

$\overrightarrow{O}(x,y)=\underset{\Theta \le \theta <\Theta +(L-1)\pi /L}{\Sigma }A(x,y,\theta )·\exp \left(\mathrm{j\theta }\right),$

其中，A(x，y，θ)＝|W_σ(x，y，θ)|，即通过对像素点的能量值A(x，y，θ)从对应 的边缘起始方向Θ(x，y)开始，旋转π角度向量求和计算得到的像素点边缘主方向向 量，通过对该向量的幅值和方向进行阈值判断可以确定图像的边缘像素点。

3e)通过对灰度图像每一个像素点的主方向向量的方向φ(x，y)和幅值 amp(x，y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的窗遍历每个像 素点，选取3*3大小的窗是为了去除图像中的孤点，并进行阈值判断提取图像边缘点， 选取3*3窗可以得到该像素点的一个8邻域进行计算，该像素8邻域内的像素点是否 满足方向阈值T_p和能量阈值T_a，如果8邻域内存在至少一个像素点边缘方向与中心像 素点相反，即该像素点与中心像素点边缘主方向的差值在方向阈值T_p范围内，且该像 素点与中心像素点边缘能量值均大于能量阈值T_a，则该中心像素点确定为图像边缘像 素点，其中T_p的取值为一范围5π/6～7π/6，T_a取值为2.5σ，本发明在取值选择考虑 了一定的偏差范围，便于操作。如果该像素点与中心像素点边缘主方向的差值在不在 方向阈值T_p范围内，或者该像素点与中心像素点边缘能量值均小于能量阈值T_a，则该 中心像素点不是图像边缘像素点。最终得到该检索图像的所有边缘像素点。

步骤3中，采用边缘方向和能量预测像素点边缘方向的方法，结合步骤2方向可 调滤波器的结果，快速有效地判断出每个像素点的边缘主方向，通过阈值判定可以快 速准确的提取出图像的边缘像素点信息，通过图像边缘像素点信息可以准确地进行下 一步的特征提取，提高了应用于实时人机交互和大型图像数据库时检索的速度和准确 性。

步骤4：根据检索图像的边缘像素点提取原检索彩色图像的所有边缘像素点的边 缘方向差特征，图像每一个边缘像素点均对应一个边缘像素点的边缘方向差特征，得 到该图像每一个边缘像素点的红色-R、绿色-G和蓝色-B三个通道的边缘方向差特征 hst_r(e)、hst_g(e)和hst_b(e)，e表示该图像的第e个边缘点，e＝1，2，...，E，E为检 索图像所有边缘像素点的总数，包括以下步骤：

4a)在计算图像的边缘方向差特征的时候，为了提高计算效率，把边缘主方向 φ(x，y)的范围由原来的0～2π转化为0～π，在图像特征处理中，图像的边缘方向特 征在0～2π范围上是对称的，θ和θ+π表示的边缘方向所代表的边缘方向特征是一 样的；

4b)以原彩色图像中每一个边缘像素点为中心设定一矩形邻域，大小为13*13， 计算邻域内所有像素点和中心像素点边缘主方向的方向差Pa(x，y)和分别在红色-绿 色-蓝色RGB三通道内的像素值差Ap_r(x，y)、Ap_g(x，y)和Ap_b(x，y)。矩形邻域的大小 是人为主观选定的，如果大小和13*13不同，或大或小均可实现本发明提取边缘方向 差特征，本发明经过大量的实验、分析、总结，给出了13*13的矩形邻域大小的优选 值，该值即可以保证特征的有效提取，也可以避免矩形窗过大带来的计算复杂度；

4c)在原彩色图像中每一个边缘像素点邻域内，在红色-R通道内，以Ap_r(x，y)为 x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距划为v个小区 间，u和v取值为正整数，统计该邻域内所有像素点落在每个小区间的像素点数目作 为z轴，在红色-R通道内得到一个三维立体直方图，进行矩阵变换得到w(u*v) 维列向量，归一化得到该边缘像素点R通道方向差特征hst_r(e)，同样的方法在绿色-G 通道和蓝色-B通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的 计算分别得到该像素点的G通道方向差特征hst_g(e)和B通道方向差特征hst_b(e)。

步骤4中得到了图像边缘像素点的边缘方向差特征，当检索图像发生旋转、尺度 大小变化和光照影响时，该特征具有鲁棒性，对图像的表示更加具有典型性，可以更 加有效的表征出检索图像的特征差异性，在检索过程中，提高了实时人机交互和应用 于大型图像数据库检索时的准确率和回调率。

步骤5：在待检索图像数据库中对于每类图像随机选取l张图像组成训练图像数 据库，通常数据库中有明显的分类，比如人为的标签，假如没有明显的类别标识，可 以根据已知的图像领域的通常分类类别来进行人为按类别选取图像，从训练图像数据 库中提取一幅训练图像执行步骤2-步骤4进行每一张图像所有边缘像素点的边缘方 向差特征提取，遍历训练图像数据库中的所有图像，图像所有边缘像素点的边缘方向 差特征在三个颜色通道内依次为tst_r，m(o_m)、tst_g，m(o_m)和tst_b，m(o_m)，m＝1，2，...，M， M为训练图像数据库大小，o_m表示第m张训练图像的第o_m个边缘像素点， o_m＝1，2，...，O_m，O_m为第m张训练图像所有边缘像素点的总数。

步骤6：对全部训练图像的所有边缘像素点的红色-R通道的边缘方向差特征 tst_r，m(o_m)，通过K-means聚类计算，取K个聚类中心得到红色-R通道的w行、K列 的二维特征袋字典Dic_r，K为K-means聚类中心的个数，即字典的大小，同样的方 法在绿色-G通道和蓝色-B通道内，分别对tst_g，m(o_m)和tst_b，m(o_m)执行红色-R通道同样 的计算分别得到绿色-G通道w行、K列的二维特征袋字典Dic_g和蓝色-B通道的w 行、K列的二维特征袋字典Dic_b。

步骤7：对于检索图像通过步骤6得到的特征袋字典Dic_r、Dic_g和Dic_b进行编码 计算得到检索图像的基于方向差特征袋字典的隶属度编码直方图特征X，编码直方 图特征X包含了红色-R、绿色-G和蓝色-B三通道的编码直方图特征，包括以下步骤：

7a)检索图像在红色通道R上所有边缘像素点的边缘方向差特征为hst_r(e)，计算 hst_r(e)对应于红色通道二维特征袋字典Dic_r的s个聚类中心的隶属度值di_e(k)，选择 隶属度值最大时的第g_e个聚类中心作为该边缘点的所属中心，然后在该图像对应的权 值向量his_r(g_e)上加上该隶属度的最大值di_e(g_e)，对检索图像所有像素点的his_r(g_e)一 阶矩求和统计得到检索图像红色通道的权值向量his_r，his_r为一K维列向量，k代表 第k个聚类中心，取值为1，2，...，K，K表示聚类中心数，即字典大小，采用如下公式 计算di_e(k)、g_e和di_e(g_e)：

${\mathrm{di}}_e\left(k\right)=\frac{1}{\frac{d(e,k)}{d(e,1)}+\frac{d(e,k)}{d(e,2)}+···\frac{d(e,k)}{d(e,K-1)}+\frac{d(e,k)}{d(e,K)}},$

$g_e=\arg \underset{k}{\max }\left({\mathrm{di}}_e\left(k\right)\right),$di_e(g_e)＝max(di_e(k))，

其中，通过计算得到的di_e(g_e)，对检索图像所有像 素点进行一阶距求和统计即可得到检索图像红色通道的权值向量his_r。

7b)在绿色通道G、蓝色通道B做同样于红色通道R的计算，最终得到图像绿色 通道G的权值向量his_g和蓝色通道B的权值向量his_b，对三个通道内的权值向量进行 整合计算得到检索图像的基于特征袋字典的编码直方图特征X，本例中，就是对图 像的红绿蓝三通道的权值向量进行整合计算，即pooling得到3K维的边缘方向直方图 特征X，边缘方向直方图特征X不仅是3个权值向量特征的组合，同时还对K维的3 个权值向量特征有一个顺序的限定，如红色通道权值向量特征始终在先，然后顺序排 列绿色和蓝色的权值向量特征。

步骤7中对检索图像结合步骤6中对全部训练图像所有边缘像素点的边缘方向差 特征进行聚类得到的字典，通过编码计算实现了对图像高层语义信息的提取，有效地 表征了图像高层语义特征的分布，使得特征更加具有典型性，克服了当检索图像和待 检索图像发生细小变化时的特征偏差，提高了图像检索的准确率和回调率。

步骤8：从图像总数大小为S的待检索图像数据库中提取一幅待检索图像执行步 骤2-步骤4进行每一张图像所有边缘像素点的边缘方向差特征提取，图像所有边缘 像素点的边缘方向差特征在三个颜色通道内依次为hst′_r，i(e′_i)、hst′_g，i(e′_i)和hst′_b，i(e′_i)，然 后执行步骤7得到每一张待检索图像基于方向差特征袋字典的编码直方图特征X′_i， 遍历图像数据库中的所有图像，i＝1，2，...，S，S为待检索图像总数，e′_i表示第i张 待检索图像的第e′_i个边缘像素数，e′_i＝1，2，...，E′_i，E′_i为第i张待检索图像所有边缘 像素点的总数。

步骤9：把检索图像和待检索图像进行基于方向差特征袋字典的编码直方图特征 的相似性匹配，计算检索图像的编码直方图特征X和待检索图像的编码直方图特征 X′_i的2范数相似性距离得到Dis_i(X，X′_i)。

步骤10：对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列， 显示其中前n张图像即为基于边缘方向差特征袋的图像结果，i＝1，2，...，S，S为 待检索图像总数，n为返回检索图像数目，取值为人为自主确定的正整数。

本发明采用了基于方向可调滤波器的灰度差异值和能量预测像素点边缘方向的 方法，通过阈值判断可以快速有效地提取图像的边缘像素点，然后计算边缘像素点的 边缘方向差特征，然后通过所提出的特征袋字典对图像通过隶属度计算进行编码，提 取图像高层语义信息，使得隶属度编码直方图可以更加准确的表征图像的特征，提高 了应用于实时人机交互和大型图像数据库时图像检索的速度和检索的准确率和回调 率。

实施例2基于边缘方向差特征袋的图像检索方法同实施例1

步骤1，输入检索的彩色图像；

本实例输入一副在Corel-1000图像数据库中随机选取的检索图像，见图3，需要 在Corel-1000图像数据库中检索出同类型的图像，图像库包括10类图像，参见图2， 每一类包括100张图像，每一类的部分示例如图2所示，本例中所使用的检索图像如 图3所示。

步骤2，对输入的检索图像做灰度变换，通过方向可调滤波器进行处理，选取二 维高斯函数为滤波器核函数，计算图像在X和Y方向上分别与一阶高斯核函数方向 导数的卷积得到每个像素点2L个方向上的能量函数W_σ(x，y，θ)，L表示方向的个数， 本例中L取值为6，x和y表示像素点的坐标值，σ为滤波器尺度参数，本例中σ取 值为1，θ为方向的值，范围是0～2π，间隔为π/L，本例中θ取为0，π/6，...，11π/6，2π， 实际计算中θ取值0和2π时意义相同，一般只取θ为0时的值。

步骤3，通过方向滤波的结果提取该检索图像的边缘像素点。

其中步骤3e)中，通过对灰度图像每一个像素点的主方向向量的方向 φ(x，y)和幅值amp(x，y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的 窗遍历每个像素点，选取3*3大小的窗是为了去除图像中的孤点，并进行阈值判断提 取图像边缘点，选取3*3窗可以得到该像素点的一个8邻域进行计算，该像素8邻域 内的像素点是否满足方向阈值T_p和能量阈值T_a，如果8邻域内存在至少一个像素点边 缘方向与中心像素点相反，即该像素点与中心像素点边缘主方向的差值在方向阈值T_p范围内，且该像素点与中心像素点边缘能量值均大于能量阈值T_a，则该中心像素点确 定为图像边缘像素点，其中T_p的取值为一范围5π/6～7π/6，T_a取值为2.5σ，结果示 意图如图4所示。

步骤4，根据检索图像的边缘像素点提取原检索彩色图像的所有边缘像素点的边 缘方向差特征，得到该图像每一个边缘像素点的红色-R、绿色-G和蓝色-B三个通道 的边缘方向差特征hst_r(e)、hst_g(e)和hst_b(e)，e表示该图像的第e个边缘点， e＝1，2，...，E，E为检索图像所有边缘像素点的总数。

其中步骤4c)中，在原彩色图像中每一个边缘像素点邻域内，在红色-R通道内， 以Ap_r(x，y)为x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距 划为v个小区间，u和v取值为正整数，本例中u取值为8和v取值为18，统计该 邻域内所有像素点落在每个小区间的像素点数目作为z轴，在红色-R通道内得到一 个三维立体直方图，进行矩阵变换得到w(u*v)维列向量，本例中w值即为144， 归一化得到该边缘像素点R通道方向差特征his_r，同样的方法在绿色-G通道和蓝色-B 通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的计算分别得到 该像素点的G通道方向差特征his_g和B通道方向差特征his_b。

步骤5，在待检索图像数据库中对于每类图像随机选取l张图像组成训练图像数 据库，从训练图像数据库中提取一幅训练图像执行步骤2-步骤4进行每一张图像所 有边缘像素点的边缘方向差特征提取，遍历训练图像数据库中的所有图像，图像所有 边缘像素点的边缘方向差特征在三个颜色通道内依次为tst_r，m(o_m)、tst_g，m(o_m)和 tst_b，m(o_m)，m＝1，2，...，M，M为训练图像数据库大小，o_m表示第m张训练图像的 第o_m个边缘像素点，o_m＝1，2，...，O_m，O_m为第m张训练图像所有边缘像素点的总 数，本例中使用的数据库为Corel-1000，包括10类，每一类包括100张图像，l取值 为5，M的值即为50。

步骤6，对全部训练图像的所有边缘像素点的红色-R通道的边缘方向差特征 tst_r，m(o_m)，通过K-means聚类计算，取K个聚类中心得到红色-R通道的w行、K列 的二维特征袋字典Dic_r，K为K-means聚类中心的个数，即字典的大小，本例中K取 值为500，同样的方法在绿色-G通道和蓝色-B通道内，分别对tst_g，m(o_m)和tst_b，m(o_m)执 行红色-R通道同样的计算分别得到绿色-G通道w行、K列的二维特征袋字典Dic_g和 蓝色-B通道的w行、K列的二维特征袋字典Dic_b。

步骤7，对于检索图像通过步骤6得到的特征袋字典Dic_r、Dic_g和Dic_b进行编码 计算得到检索图像的基于方向差特征袋字典的隶属度编码直方图特征X，编码直方 图特征X包含了红色-R、绿色-G和蓝色-B三通道的编码直方图特征。

步骤8，从图像总数大小为S的待检索图像数据库中提取一幅待检索图像执行步 骤2-步骤4进行每一张图像所有边缘像素点的边缘方向差特征提取，图像所有边缘 像素点的边缘方向差特征在三个颜色通道内依次为hst′_r，i(e′_i)、hst′_g，i(e′_i)和hst′_b，i(e′_i)，然 后执行步骤7得到每一张待检索图像基于方向差特征袋字典的编码直方图特征X′_i， 遍历图像数据库中的所有图像，i＝1，2，...，S，S为待检索图像总数，e′_i表示第i张 待检索图像的第e′_i个边缘像素数，e′_i＝1，2，...，E′_i，E′_i为第i张待检索图像所有边缘 像素点的总数，本例中使用的数据库为Corel-1000，包括10类，每一类包括100张 图像，S的值即为1000。

步骤9，把检索图像和待检索图像进行基于方向差特征袋字典的编码直方图特征 的相似性匹配，计算检索图像的编码直方图特征X和待检索图像的编码直方图特征 X′_i的2范数相似性距离得到Dis_i(X，X′_i)。

步骤10，对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列， 显示其中前n张图像即为基于边缘方向差特征袋的图像结果，n为返回检索图像数 目，取值为人为自主确定的正整数。本例中n取值为20，检索结果如图5所示，本 发明成功的从Corel-1000图像数据中准确地检索出来20幅和图3所示恐龙图像相关 的恐龙类图像，但就此项，检索准确率为100％。

本发明首先应用方向可调滤波器对图像进行滤波，然后通过边缘方向和能量预测 出每个像素点的边缘方向，通过阈值判断提取出图像边缘像素点，接着提取图像所有 边缘像素点的方向差特征，选取一定数量的训练图像，通过所有训练图像边缘像素点 的方向差特征构建特征袋字典库，然后把检索图像和待检索图像的边缘像素点的方向 差特征基于特征袋字典计算编码直方图特征，最后对检索图像和待检索图像基于编码 直方图特征进行相似性匹配，得到检索结果，提高的检索过程的速度、准确率和回调 率。

实施例3基于边缘方向差特征袋的图像检索方法同实施例1-2

本实例同样选取Corel-1000图像数据库，图像数据库中包括10类图像，每一类 的部分示例如图2所示，每一类包括100张图像，对数据库中的每一张图像执行实施 例1同样的检索过程，计算当返回检索图像数目n取值为10、20、…、100时图像数 据库中全部1000张图像的平均检索准确率和平均检索回调率，绘制了曲线图，与本 领域现有技术中几种熟知的检索方法如Elami、Jhanwar、Hung、Chuen所提出的方法 及CSD方法进行了对比，平均检索准确率的对比曲线图如图6所示，平均检索回调 率的对比曲线图如图7所示。

对Corel-1000图像数据库中全部1000张图像的平均准确率和本领域几种常见方 法的对比结果如6所示。从图6可见，Jhanwar和Hung所提出方法的平均检索准确 率在返回检索图像数目n从10到100张变化时均比较低，在与Elami和Chuen所提 出的方法及CSD方法进行对比时，本发明的平均检索准确率在返回检索图像数目n 从10到100张变化时均高于两种方法。总体来看，本发明在返回检索图像数目n不 同的情况下，较其他五种方法均保证了较高的平均检索准确率，返回检索图像数目n 越大，本发明的优势越明显。因此，本发明在应对各种检索情况下，均可以保持较稳 定的优于其他方法的平均检索准确率，尤其在图像数据库较大需要返回较多的检索图 像数目时，仍可以保证较优的平均检索准确率，本发明能够适用于大型图像数据库的 图像检索，并可得到较高的检索准确率，也可用于实时人机交互的图像检索领域。

对Corel-1000图像数据库中全部1000张图像的平均检索回调率和本领域几种常 见方法的对比结果如图7所示。从图7可见，当返回检索图像数目n较低时，本发明 和Elami、Jhanwar、Hung、Chuen所提出的方法及CSD方法的平均检索回调率比较 相近，随着返回检索图像数目n的增加，本发明的平均检索回调率明显要优于其他五 种对比方法，且返回检索图像数目n越大，优势越明显。同样可见，本发明在应对各 种检索情况下，均保持较优的平均检索回调率，尤其在图像数据库较大时，平均检索 回调率的优势更加明显，适用于大型图像数据库的图像检索。

实施例4基于边缘方向差特征袋的图像检索方法同实施例1-3

本实例同样选取Corel-1000图像数据库，图像数据库中包括10类图像，每一类 的部分示例如图2所示，每一类包括100张图像，对数据库中的每一张图像执行实施 例1同样的检索过程，计算当返回检索图像数目n为20时的全部10类中每一类的平 均检索准确率和全部10类1000张图像的平均检索准确率，对检索结果统计并列表， 并和本领域现有技术中几种熟知的检索方法如Elami、Jhanwar、Hung、Chuen所提出 的方法及基于SIFT-SPM的方法和基于SIFT-LBP的方法进行了对比，对比结果如表1 所示。从表1可见，本发明在图像数据库全部10类中每一类的平均检索准确率均高 于Jhanwar和Hung所提出的方法，对比于基于SIFT-SPM的方法和基于SIFT-LBP的 方法，本发明仅公交车一类的平均检索准确率低于基于SIFT-LBP的方法，对比于 Chuen和Elami提出的方法，本发明同样只有建筑一类的平均检索准确率低于两种方 法。总体来看，本发明的在返回检索图像数目n为20时全部10类1000张图像的平 均检索准确率明显远远高于上述每一种用于对比的检索方法，且在全部10类中每一 类100张图像的平均检索准确率上远远高于大部分用于对比的检索方法。因此，本发 明在应用于不同类别图像进行检索时，均可以取的较高的平均检索准确率，适用于图 像种类较多的大型图像数据的图像检索，且对于每一类均可得到较稳定、较优的平均 检索准确率。

表1

以上是本发明的一个实例，并不构成对本发明的任何限制，仿真实验表明，本发 明不仅能在应用与大型图像数据库时提高了速率，也能实现对于检索结果的拥有较高 的准确率和回调率。

综上所述，本发明的基于边缘方向差特征袋的图像检索方法的实现简述如下， 首先，输入要检索的图像；对该检索图像通过方向可调滤波器处理；通过方向滤波 器的结果提取图像的边缘；提取检索图像所有边缘像素点的边缘方向差特征；在数 据库中随机选取训练图像并提取全部训练图像边缘像素点的边缘方向差特征；对全 部训练图像所有边缘像素点的边缘方向差特征通过k-means聚类构建特征袋字典； 对检索图像基于特征袋字典提取编码直方图特征；对数据库中全部待检索图像同样 提取所有边缘像素点的边缘方向差特征；对数据库中全部待检索图像基于特征袋字 典提取编码直方图特征；把检索图像和待检索图像进行编码直方图特征相似性匹配； 按照检索图像和待检索图像相似性匹配的结果，显示图像检索的结果。尤其对于大 型图像数据库检索本发明具有检索速度快、准确率和回调率较高的优势，可应用于 实时人机交互和大型图像数据库的图像检索。