融合颜色特征与卷积神经网络的彩色图像特征提取方法

摘要

本发明公开了一种融合颜色特征与卷积神经网络的图像特征提取方法，主要解决现有技术下颜色特征提取不全面和卷积神经网络特征提取对颜色不敏感的问题。其实现步骤为：(1)输入彩色图像；(2)获取主体图像；(3)获取颜色特征向量；(4)获取归一化卷积神经网络特征向量；(5)获取融合特征向量。本发明能够同时发挥颜色特征提取和卷积神经网络特征提取的优势，可用于图像处理技术领域。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种融合颜 色特征与卷积神经网络的图像特征提取方法。经本发明提取的彩色图像特征可用于对 彩色图像的分类、彩色图片库的检索。

背景技术

目前，彩色图像特征提取已经成为图像处理技术领域里的一个很重要的研究主 题。彩色图像的特征提取有很广泛的应用，如目标识别与检测，图像聚类，大数据检 索等领域。由于彩色图像的内容复杂，种类繁多，不同图像的特征侧重点不同，导致 了彩色图像特征提取具有很大的挑战性。

近期彩色图像特征提取方法中应用比较广泛的是基于图像颜色的颜色特征提取 和基于深度学习的卷积神经网络特征提取。二者都从各自不同的层面完成了彩色图像 的特征提取。

张悦、霍宏等人在其发表的论文“基于生物视觉的颜色直方图特征提取”(高技 术通讯，2014，第4期P407-413)中公开了一种基于颜色直方图的彩色图像特征提 取方法。该方法根据人类视觉通路对颜色的感知过程，建立了颜色感知的层次性描述 模型，用该模型模拟了自然光经眼睛进入视网膜(RETINA)到侧膝体(LGN),再到V1阶 段的处理过程，最终在V1阶段的神经元响应下形成具有方向信息的颜色特征。提出 了描述具有对比度敏感、具有方向选择性和颜色恒常性的层次性颜色特征的方法，具 有颜色恒常性和更好的稳定性。虽然该方法有效的利用了颜色直方图这一颜色特征提 取工具，但是仍然存在的不足之处是，该方法忽略了背景等无关要素对颜色特征提取 的影响，提取到的颜色特征带有巨大的背景噪声。而且与现有的卷积神经网络特征提 取方法相比，该方法虽然偏重色彩特征，但与卷积神经网络等主流的深度学习特征提 取工具相比，该方法的特征提取效果并不好，提取到的特征用于分类和检索的准确率 不高。

无锡南理工科技发展有限公司提出的专利申请“一种基于改进型特征卷积神经网 络图像识别方法”(专利申请号CN201310137496.2，公开号CN104112113A)中公开了 一种局域改进型特征卷积神经网络图像识别方法。该方法首先对待输入的图像进行预 处理；其次在卷积神经网络结构中加入特征提取层，将特征放大；然后，将特征放大 的图像数据输入卷积神经网络，对图像中的特征进行卷积操作学习辨认，得到卷积神 经网络的输出，并且将所述第一步骤中预处理后的图像进行偏移操作，得到图像的纹 理特征；最后，分析纹理特征后输出结果，并将卷积神经网络的输出进行融合，得到 最终结果进行输出。通过添加特征提取层，将图像的特征增强，有利于某些特征不明 显的图像的提取，从而能够有效的提升图像识别率，并且能够为图像搜索，提高识别 效率。该方法虽然改进了卷积神经网络特征提取方法，但是，仍然存在的不足之处是， 该方法本质上并没有涉及图像色彩特征的特征提取，而对于色彩特征不敏感正是目前 卷积神经网络特征提取方法的最大弊端。该方法对于内容相似但存在颜色差异的彩色 图像特征提取效果并不好，得到的彩色图像特征用于分类和检索的效果也并不理想。

发明内容

本发明针对上述论文及专利申请所公开的方法的不足，提出融合颜色特征与卷积 神经网络的彩色图像特征提取方法，提高彩色图像特征提取的性能。

实现本发明目的的技术方案是：将输入的彩色图像提取出主体图像，运用颜色直 方图法和颜色矩法共同提取图像的颜色特征向量，通过颜色特征向量和卷积神经网络 特征向量的融合，以提高特征提取的性能，其具体步骤如下：

(1)输入彩色图像：

选取任意大小、任意分辨率的彩色图像作为输入图像；

(2)获取主体图像：

(2a)将输入图像按4行4列的规格平均分割成16个大小相等，互不重叠的子块；

(2b)从16个子块中选取位于最中心的4个子块，将所选取的4个子块拼接，得 到的图像作为输入图像的主体图像；

(3)获取颜色特征向量：

(3a)采用颜色直方图法，得到主体图像的规格为1行258列的颜色直方向量； 利用向量归一化公式，对颜色直方向量进行归一化，得到归一化颜色直方向量；

(3b)采用颜色矩法，得到主体图像的规格为1行9列的颜色矩向量；利用向量 归一化公式，对颜色矩向量进行归一化，得到归一化颜色矩向量；

(3c)将归一化颜色直方向量的直方向量权值设为1，将归一化颜色矩向量的矩 向量权值设为28；

(3d)将归一化颜色直方向量与直方向量权值相乘，得到赋权颜色直方向量；将 归一化颜色矩向量与矩向量权值相乘，得到赋权颜色矩向量；

(3e)将赋权颜色矩向量拼接在赋权颜色直方向量的后面，组成颜色拼接向量； 利用向量归一化公式，对颜色拼接向量进行归一化，得到颜色特征向量；

(4)获取归一化卷积神经网络特征向量：

(4a)采用卷积神经网络特征提取算法，获取输入图像的卷积神经网络特征向量；

(4b)利用向量归一化公式，对卷积神经网络特征向量进行归一化，得到归一化 卷积神经网络特征向量；

(5)获取融合特征向量：

(5a)将颜色特征向量的特征权值设为2，将归一化卷积神经网络特征向量的神 经网络权值设为1；

(5b)将颜色特征向量与特征权值相乘，得到赋权颜色特征向量，将归一化卷积 神经网络特征向量与神经网络权值相乘，得到赋权卷积神经网络向量；

(5c)将赋权颜色特征向量拼接到赋权卷积神经网络向量的后面，组成融合拼接 向量；

(5d)利用向量归一化公式，对融合拼接向量进行归一化，得到融合特征向量。

本发明与现有的技术相比具有以下优点：

第一，由于本发明提取了输入彩色图像的主体图像，并且运用颜色直方图法和颜 色矩法共同提取颜色特征，克服了现有技术颜色特征提取方法提取到的颜色特征带有 巨大的背景噪声的缺点，使得本发明所提取的颜色特征背景噪声很小。

第二，由于本发明融合了颜色特征提取和卷积神经网络特征提取，既克服了现有 技术颜色特征提取方法提取的特征用于分类时准确率低的缺点，也克服了现有技术卷 积神经网络特征提取方法对颜色特征不敏感的缺点，使得本发明提取的彩色图像特征 具有特征提取准确，而且提取到的图像特征用于分类和检索时准确率很高的优点。

附图说明

图1是本发明的流程图；

图2是应用本发明得到的融合特征向量结构图；

图3是本发明的仿真结果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

结合附图1，对实现本发明的具体步骤描述如下。

步骤1，输入彩色图像。

选取任意大小、任意分辨率的彩色图像作为输入图像。

本发明的实施例中所选取的输入图像是标准类库256_ObjectCategories中的 232_0138.jpg图像,标准类库256_ObjectCategories可从网站 http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htm中下载得到。

步骤2.获取主体图像。

将输入图像按4行4列的规格平均分割成16个大小相等，互不重叠的子块。

从16个子块中选取位于最中心的4个子块，将所选取的4个子块拼接，得到的 图像作为输入图像的主体图像。

步骤3.获取颜色特征向量。

采用颜色直方图法，得到主体图像的规格为1行258列的颜色直方向量。利用向 量归一化公式，对颜色直方向量进行归一化，得到归一化颜色直方向量。

取出主体图像的红黄蓝RGB通道中的红色R通道矩阵，绿色G通道矩阵和蓝色B 通道矩阵，分别获取红色R通道行向量、绿色G通道行向量、蓝色B通道行向量。

本发明实施例中红色R通道矩阵、绿色G通道矩阵和蓝色B通道矩阵都是113行 118列的二维矩阵，下面以红色R通道矩阵为例，说明获取红色R通道行向量的具体 实施过程：

第1步，取出主体图像的红绿蓝RGB通道中的红色R通道矩阵，得到一个二维矩 阵。

第2步，将0到255个像素的区间，以3个像素为间隔，平均划分为85个区间， 共86个端点。

第3步，对于R通道矩阵中不属于86个端点值之一的每一个像素点，根据像素 值的大小，从85个区间中找到与该像素点所对应的区间。

第4步，对于R通道矩阵中像素值等于85个非零端点值之一的像素点，将该像 素点对应的区间设为与该像素点像素值相等的端点值就近的左侧区间。

第5步，分别统计85个区间中每个区间包含的像素点个数，得到85个整数，连 同R通道矩阵中像素值为0的像素点个数一起，顺次拼接，得到一个1行86列的红 素R通道行向量。

采用上述第1步、第2步、第3步、第4步、第5步中处理红色R通道矩阵相同 的处理方法，分别处理绿色G通道和蓝色B通道，得到1行86列的绿色G通道行向 量和蓝色B通道行向量。

按照红色R通道行向量、绿色G通道行向量、蓝色B通道行向量的顺序将三个行 向量依次拼接，得到一个1行258列的颜色直方向量。

按照下式，将得到的1行258列的颜色直方向量通过向量归一化公式进行归一化， 得到归一化颜色直方向量：

$V_2=\frac{1}{\sqrt{\underset{i=1}{\overset{N}{\Sigma }}{e}_i^2}}·V_1$

其中，V₂表示归一化的向量，表示开平方根操作，N表示未归一化向量V₁的 列数，∑表示累加操作，e_i表示未归一化向量V₁中的第i列元素，V₁表示未归一化 的向量。

采用颜色矩法，得到主体图像的规格为1行9列的颜色矩向量；利用向量归一化 公式，对颜色矩向量进行归一化，得到归一化颜色矩向量。

第1步，从主体图像的红绿蓝RGB通道中取出红色R通道矩阵，得到一个二维矩 阵。

第2步，按照下式，计算红色R通道一阶矩值：

$u_R=\frac{s_R}{s_p}$

其中，u_R表示红色R通道一阶矩值，s_R表示红色R通道矩阵中所有像素点的像 素值之和，s_p表示红色R通道像素点的总数。

第3步，将红色R通道矩阵中每一个像素点的行列位置不变，用每一个像素点的 像素值分别减去红色R通道一阶矩值u_R，对得到的每一个差值进行平方操作，得到红 色R通道差值平方矩阵。

第4步，将红色R通道差值平方矩阵中所有元素求和，得到差值平方矩阵的和值。

第5步，按照下式，计算红色R通道二阶矩值：

$t_R=\sqrt{\frac{s_s}{s_p}}$

其中，t_R表示红色R通道二阶矩值，表示开平方根操作，s_s表示差值平方 矩阵的和值，s_p表示红色R通道像素点的总数。

第6步，将红色R通道矩阵中每一个像素点行列位置不变，每一个像素点的 像素值分别减去红色R通道一阶矩值u_R，得到每一个像素点的差值，再对于每一 个差值进行立方运算，得到R通道差值立方矩阵。

第7步，将红色R通道差值立方矩阵中所有元素求和，得到差值立方矩阵和 值。

第8步，按照下式，计算红色R通道三阶矩值：

$c_R=\sqrt[3]{\frac{s_c}{s_p}}$

其中，c_R表示红色R通道矩阵三阶矩值，表示开立方根操作，s_c表示差 值立方矩阵和值，s_p表示红色R通道像素点的总数。

第9步，将红色R通道一阶矩值、红色R通道二阶矩值、红色R通道三阶矩 值，依次拼接，组成一个1行3列的红色R通道矩向量。

第10步，采用第1步、第2步、第3步、第4步、第5步、第6步、第7 步、第8步、第9步中处理红色R通道矩阵相同的处理方法，分别处理绿色G通 道矩阵和蓝色B通道，得到一个1行3列的绿色G通道矩向量和一个1行3列的 蓝色B通道矩向量。

第11步，依次将红色R通道矩向量、绿色G通道矩向量、蓝色B通道矩向 量的顺序拼接成1行9列的颜色矩向量。

第12步，利用向量归一化公式对颜色矩向量进行归一化，得到归一化颜色 矩向量。

将归一化颜色直方向量的直方向量权值设为1，将归一化颜色矩向量的矩向 量权值设为28。

将归一化颜色直方向量与直方向量权值相乘，得到赋权颜色直方向量；将归 一化颜色矩向量与矩向量权值相乘，得到赋权颜色矩向量。

将赋权颜色矩向量拼接在赋权颜色直方向量的后面，组成颜色拼接向量；利 用向量归一化公式，对颜色拼接向量进行归一化，得到颜色特征向量。

步骤4.获取归一化卷积神经网络特征向量。

采用卷积神经网络特征提取算法，获取输入图像的卷积神经网络特征向量。

所述的卷积神经网络特征提取算法，是现有的一种成熟的特征提取算法，其 具体算法包括有视觉几何群(vgg)模型训练法、谷歌网络(googlenet)模型训 练法、艾利克斯网络(alexnet)模型训练法等。

本发明实施例采用的是视觉几何群(vgg)模型训练法，选取神经网络层数 为7层。

利用向量归一化公式，对卷积神经网络特征向量进行归一化，得到归一化卷 积神经网络特征向量。

步骤5.获取融合特征向量。

将颜色特征向量的特征权值设为2，将归一化卷积神经网络特征向量的神经 网络权值设为1。

将颜色特征向量与特征权值相乘，得到赋权颜色特征向量，将归一化卷积神 经网络特征向量与神经网络权值相乘，得到赋权卷积神经网络向量。

将赋权颜色特征向量拼接到赋权卷积神经网络向量的后面，组成融合拼接向 量。

利用向量归一化公式，对融合拼接向量进行归一化，得到融合特征向量。最 终得到的融合特征向量的向量结构如附图2所示。

本发明的效果可以通过以下仿真进一步说明：

1.仿真条件：

本发明仿真的硬件环境是：CPUAMDAthlon(tm)ⅡX2280Processor3.60GHz， 4GB内存；软件环境：Windows7，MatlabR2014b；参考图像：232_0138.jpg,分辨率： 472*455；参考类库：256_ObjectCategories。

2.仿真内容和结果分析：

仿真1.通过现有技术对附图3(a)232_0138.jpg和256_ObjectCategories库 内的所有图片分别提取颜色直方向量和卷积神经网络特征向量，计算附图3(a) 232_0138.jpg颜色直方特征向量与每一个256_ObjectCategories库图片颜色直方特 征向量的欧氏距离。取出与附图3(a)232_0138.jpg颜色直方特征向量距离最小的 12张图片，计算附图3(a)232_0138.jpg卷积神经网络特征向量与每一个 256_ObjectCategories库图片卷积神经网络特征向量的欧氏距离取出与 232_0138.jpg距离最小的12张图片。

本发明仿真实验1的结果如附图3所示。其中，附图3(a)是原始232_0138.jpg 图像。附图3(b)是通过传统颜色直方向量进行距离计算得出的匹配结果图。附图3 (c)是通过视觉几何群(vgg)模型训练法提取的卷积神经网络特征向量进行距离计 算得出的匹配结果图。

附图3(a)232_0138.jpg图像的颜色标签为“红色系”，内容标签为“T恤”。 附图3(b)中搜索出的12幅图像中，只有开始的四幅图像的颜色标签是“红色系”。 其余8幅图像由于背景干扰，8幅图像的颜色标签都不是“红色系”，说明现有技术 提取的颜色特征背景噪声对图片主体特征干扰很大。虽然附图3(c)搜索出来的12 幅图像的内容标签都是“T恤”，但其中只有三件的颜色标签是“红色系”，说明传统 的卷积神经网络对于颜色特征匹配是很不敏感的。

仿真2.通过本发明提出的方法对附图3(a)232_0138.jpg和 256_ObjectCategories库内所有的图片分别求取颜色特征向量和融合特征向量，分 别计算附图3(a)232_0138.jpg颜色特征向量与每一个256_ObjectCategories库图 片颜色特征向量的欧氏距离，取出与附图3(a)232_0138.jpg颜色特征向量距离最 小的12张图片；分别计算附图3(a)232_0138.jpg融合特征向量与每一个 256_ObjectCategories库图片融合特征向量的欧氏距离，取出与附图3(a) 232_0138.jpg融合特征向量距离最小的12张图片。

本发明仿真实验2的结果如附图3所示。其中附图3(d)是通过本发明颜色特 征向量进行距离计算得出的匹配结果图。附图3(e)是通过本发明提出的融合特征 向量进行距离计算得出的匹配结果图。

附图3(a)232_0138.jpg图像的颜色标签为“红色系”，内容标签为“T恤”。 附图3(d)中12幅图像的颜色标签全部是“红色系”，说明本发明提出的方法提取 的颜色特征比较全面，抗背景噪声干扰能力强。附图3(e)中的12幅图像的内容标 签全部为“T恤”，而且搜索出的12幅T恤图像中有10幅图像的颜色标签为“红色 系”，颜色匹配准确率由25％提升到83.3％，充分说明了相较于现有方法，本发明的方 法拥有更好的特征提取性能。

上述两个仿真实验表明，本发明的方法提取的彩色图像的融合特征向量应用于图 像检索的内容匹配准确率为100％，颜色匹配准确率由现有方法的25％提升到83.3％。 充分说明本发明提出的融合颜色特征与卷积神经网络的彩色图像特征提取方法可以 更好的完成图像特征提取。