法律状态公告日
法律状态信息
法律状态
2023-05-16
未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL2015102311550 申请日:20150507 授权公告日:20180921
专利权的终止
2018-09-21
授权
授权
2015-09-09
实质审查的生效 IPC(主分类):G06K9/00 申请日:20150507
实质审查的生效
2015-08-12
公开
公开
技术领域
本发明属于图像处理技术领域,具体涉及一种基于Gabor综合特征的图像 特征描述方法。
背景技术
现有技术中,基于Gabor特征的人脸图像特征描述方法已经取得了非常优秀 的成果。但是在实际的应用中,经常会遇到复杂光照与不同角度的情况,例如 视频监控、人机交互、公安系统等等。因此,对复杂光照及不同角度的人脸识 别的研究在近几年内也成了研究的热点,目前对于复杂光照人脸特征描述近多 年也提出了多种解决方法,总结起来主要分为两类:
1、对复杂光照及不同角度的人脸图像进行基于Gabor特征的全局特征描述, 主要思想是提取图像全局特征,该类方法的优点是能很好的获得Gabor特征的全 局特征,但是缺点是现有的Gabor特征仅仅使用了Gabor滤波器变换的幅值部分, 没有意识和考虑到在人脸描述中也发挥着重要作用的Gabor特征的相位信息;
2、对复杂光照及不同角度的人脸图像进行局部的Gabor特征描述,旨在最 大程度地描述图像的局部特征,该类方法对人脸特征的描述具有较高的稳定性 和识别率,但是该方法的缺陷在于没有考虑到每个局部特征对于图像整体描述 的贡献度不同,认为所有的局部特征描述对于整体的贡献度是相同的。
综上所述,现有基于Gabor特征的人脸特征描述方法没有充分利用Gobor特 征的相位信息,而Gobor特征的相位在人脸特征描述中有重要的作用。另外对局 部特征对于整个图像的贡献度考虑不足,存在分类识别效果差,稳定性低的缺 陷和不足,不能很好的满足实际应用的需要。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种充 分利用Gobor特征的相位信息,提高识别率的基于Gabor综合特征的图像特征 描述方法。
为解决上述技术问题,本发明采用的技术方案是:
包括以下步骤:
步骤一、人脸图像信号的采集及上传:图像采集设备采集人脸图像信号并 将其实时所采集的人脸图像信号通过图像信号传输装置上传给处理器;
步骤二、人脸图像的分辨率调整及矩阵表示:首先,处理器调用分辨率差 值调整模块将其所接收到的人脸图像信号的分辨率调整为m×n,得到人脸图像 G;然后,处理器将所述人脸图像G表示为m×n维的图像矩阵X;
步骤三、图像特征提取:处理器对步骤二中所得到的图像矩阵X进行分析 处理,得到人脸图像G的特征向量C,其分析处理过程如下:
步骤301、对图像矩阵X进行多尺度图像分块:将图像矩阵X分为p×q块, 得到:
其中,p,q为自然数且取值为2、4、8或16,Xij为维的人脸子图像 矩阵,其中i=1,2,...,p;j=1,2,...,q;
步骤302、采用二维Gabor滤波器组对图像矩阵X进行滤波,具体过程如 下:
步骤3021、构建时域下的二维Gabor滤波器组:
多通道二维Gabor变换滤波器定义为:
其中代表奇对称Gabor滤波器,代表偶对称Gabor滤波器, X(x,y)为人脸子图像矩阵X中的像素值;小波变换简化计算模型定义为如下:
其中,为偶对称的二维Gabor滤波器,为奇对称 的二维Gabor滤波器,f为中心频率,x为时域下的横坐标变量,y为时域下 的纵坐标变量,θ为空间相位角,σ为空间常数,g(x,y,σ)为高斯函数且
步骤3022、将时域下的二维Gabor滤波器组变换为频域下的二维Gabor 滤波器组:
其中,Φ1(u,v,f,θ,σ)=exp{-2π2σ2[(u-f cosθ)2+(v-f sinθ)2]}, Φ2(u,v,f,θ,σ)=exp{-2π2σ2[(u+f cosθ)2+(v+f sinθ)2]},Φe(u,v,f,θ,σ)为 的Fourier变换,Φo(u,v,f,θ,σ)为的Fourier变换,j为 虚数单位且u,v为频域下的空间频率变量;
和能通过快速傅里叶变换得到:
其中Z(u,v)是z(x,y)的傅里叶变换,z(x,y)代表图像z的像素值;
步骤3023、首先,将所述人脸子图像矩阵Xij中的每个像素值表示为 Xij(x,y);然后,采用频域下的二维Gabor滤波器组对Xij(x,y)进行滤波,得到滤 波结果:
其中,为采用偶对称的二维Gabor滤波器对Xij(x,y)进行滤波的 滤波结果,为采用奇对称的二维Gabor滤波器对Xij(x,y)进行滤波的 滤波结果,Fs是第s个中心频率,θd是第d个空间相位角;
步骤3024、根据步骤3023选择n1个不同的中心频率Fs,并对每个中心频 率Fs,选择n2个不同的空间相位角θd,其中s≤n1,d≤n2,形成n1×n2个Gabor 滤波通道,对每个Gabor滤波通道的滤波结果,提取其幅值和相位值作为代表 该Gabor滤波通道的特征;其中,采用偶对称的二维Gabor滤波器对Xij(x,y)进 行滤波的滤波结果的幅值为相位值为采用奇 对称的二维Gabor滤波器对Xij(x,y)进行滤波的滤波结果的幅值为 相位值为
步骤3025、对每个Gabor滤波通道的滤波结果和的幅 值和按行展开,形成一个行向量
步骤3026、将n1×n2个Gabor滤波通道的n1×n2×2个行向量依次连接, 形成Xij(x,y)的二维Gabor滤波器组的特征C(i,j)=[A(i,j),θ(i,j)];
步骤303、求取所述人脸子图像矩阵Xij(x,y)中的每个像素值Xij(x,y)的纹理 贡献度CMij(x',y');
步骤304、根据公式C=[C(1,1)×CM11,C(1,2)×CM12,L C(p,q)×CMpq]求取人脸 图像G的特征向量C;
步骤四、处理结果同步输出:步骤三中进行图像特征提取过程中,处理器 通过与其相接的显示器对步骤三中的图像信号处理过程及图像特征提取结果 进行同步显示。
进一步地,步骤二中m×n为128×128。
进一步地,步骤3021中所述σ的取值为1。
进一步地,步骤3023中,和能够表示为复数:
其中,和代表的实部与虚部,和代表的实部与虚部,滤波结果表示为:
为幅值,为相位值,分别表示为:
进一步地,步骤3024中,所述n1的取值为4,4个中心频率f的取值分别 为2Hz、4Hz、8Hz和16Hz。
进一步地,步骤3024中,所述n2的取值为8,8个空间相位角θ的取值分 别为0°,45°,90°,135°,180°,225°,270°和315°。
进一步地,步骤303中,纹理贡献度求取的具体过程如下:
步骤3031、定义人脸图像G的熵函数为:
其中,X(x',y')为图像矩阵X的像素值,x'为图像X(x',y')的横向坐标,y'为 图像X(x',y')的纵向坐标,m为人脸图像G的灰度级别总数,pa为第a个灰度级 别出现的概率,a为自然数且a的取值为1~m;
步骤3032、定义局部信息熵图谱LH()对应的图像熵为:
LH(i',j')=H(F(i',j')w)
其中,w为滑动可变窗口的大小,H(F(i',j')w)为图像F(i',j')w的熵函数,(i',j') 为图像F(i',j')w中每个像素的位置,i'为图像F(i',j')w的横向坐标,j'为图像F(i',j')w的纵向坐标,F(i',j')w为以(i',j')为中心滑动可变窗口内的子图像且:
F(i',j')w={X(x',y')|x∈[i'-w/2,i'+w/2-1],y'∈[j'-w/2,j'+w/2-1]};
步骤3033、定义所述人脸子图像矩阵Xij中的每个像素值Xij(x',y')的纹理贡 献度为:
其中,X(x'+(i-1)×m/p,y'+(j-1)×n/q)为将图像矩阵X进行p×q分块后第ij块 子图像中(x',y')处的像素值。
进一步地,步骤3031中所述m的取值为256。
进一步地,所述处理器为计算机。
与现有技术相比,本发明具有以下有益的技术效果:
1、本发明通过使用了Gabor滤波器变换的幅值部分和相位部分,其中的 相位部分包含了Gabor滤波结果中的方向信息,有一定的特征鉴别意义,充分 利用了Gabor滤波器组的滤波结果,提取了更加丰富的特征信息,便于后面识 别,并且针对目前对于图像分块的平均思想的缺陷,考虑到了每个子图像块对 整体图像的重要程度不同,结合纹理贡献度,能够更好地描述人脸特征,在性 能方面明显优于局部二进制模式(LBP)、局部Gabor二进制模式(LGBP)、 局部Gabor模式(LG)、局部主成分分析(LPCA)、局部三值模式(LTP) 和局部综合Gabor直方图模式(LCGH)等多种基于单训练样本的常见图像特 征提取算法,随着分块数目的合理增加,本发明识别率也随之增加甚至达到 90%以上;
2、本发明的人脸特征提取速度快,稳定性强,效果好,实用性强,能够 应用于人脸识别,实现人脸识别在视频监控、人机交互、身份认证等方面的应 用,能够适用于实际使用中复杂光照、不同角度和众多缺乏训练样本的人脸识 别场合,能够很好地满足实际应用的需求;
3、本发明的方法步骤简单,设计合理,实现方便且投入成本低,操作简 便;
综上所述,本发明设计合理、实现方便且投入成本低,操作简便,人脸特 征提取速度快、效果好,实用性强,解决了现有技术中的对于Gabor特征利用 不足以及图像子块的重要程度考虑不足等问题,实验证明了该算法的有效性。
进一步地,本发明通过采用8个不同的空间相位角,能够形成32个Gabor 滤波通道,利于提高算法的识别率。
附图说明
图1为本发明采用的人脸特征提取设备的电路原理框图。
图2为本发明人脸特征提取方法的方法流程框图。
图3为本发明与多种图像特征提取方法所得人脸识别结果的YALE人脸库 比较图。
图4为本发明与多种图像特征提取方法所得人脸识别结果的ORL人脸库 比较图。
其中:1—图像采集设;2—图像信号传输装置;3—处理器;4—显示器。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
如图1和图2所示,本发明的基于Gabor综合特征的图像特征描述方法, 包括以下步骤:
步骤一、人脸图像信号的采集及上传:图像采集设备1采集人脸图像信号 并将其实时所采集的人脸图像信号通过图像信号传输装置2上传给处理器3;
步骤二、人脸图像的分辨率调整及矩阵表示:首先,处理器3调用分辨率 差值调整模块将其所接收到的人脸图像信号的分辨率调整为m×n,得到人脸图 像G;然后,处理器3将所述人脸图像G表示为m×n维的图像矩阵X;其中, m×n能够设置为128×128;
步骤三、图像特征提取:处理器3对步骤二中所得到的图像矩阵X进行分 析处理,得到人脸图像G的特征向量C,其分析处理过程如下:
步骤301、对m×n维图像矩阵X进行多尺度图像分块:将图像矩阵X分为 p×q块,得到:
其中,p,q为自然数且取值为2、4、8或16,Xij为维的人脸子图像 矩阵,其中i=1,2,...,p;j=1,2,...,q;
步骤302、采用二维Gabor滤波器组对图像矩阵X进行滤波,具体过程如 下:
步骤3021、构建时域下的二维Gabor滤波器组:
时域下的多通道二维Gabor变换滤波器定义为:
其中代表奇对称Gabor滤波器,代表偶对称Gabor滤波器, X(x,y)为人脸子图像矩阵X中的像素值;小波变换简化计算模型定义为如下:
其中,φe(x,y,f,θ,σ)为偶对称的二维Gabor滤波器,φo(x,y,f,θ,σ)为奇对称 的二维Gabor滤波器,f为中心频率,x为时域下的横坐标变量,y为时域下 的纵坐标变量,θ为空间相位角,σ为空间常数,g(x,y,σ)为高斯函数且
本实施例中,步骤3021中所述σ的取值为1。
步骤3022、将时域下的二维Gabor滤波器组变换为频域下的二维Gabor 滤波器组:
其中,Φ1(u,v,f,θ,σ)=exp{-2π2σ2[(u-f cosθ)2+(v-f sinθ)2]}, Φ2(u,v,f,θ,σ)=exp{-2π2σ2[(u+f cosθ)2+(v+f sinθ)2]},Φe(u,v,f,θ,σ)为 φe(x,y,f,θ,σ)的Fourier变换,Φo(u,v,f,θ,σ)为φo(x,y,f,θ,σ)的Fourier变换,j为 虚数单位且u,v为频域下的空间频率变量;
和能通过快速傅里叶变换得到:
其中Z(u,v)是z(x,y)的傅里叶变换,z(x,y)代表图像z的像素值;
步骤3023、首先,将所述人脸子图像矩阵Xij(i=1,2,...,p;j=1,2,...,q)中的每个 像素值表示为Xij(x,y)(i=1,2,...,p;j=1,2,...,q);然后,采用频域下的二维Gabor滤 波器组对Xij(x,y)(i=1,2,...,p;j=1,2,...,q)进行滤波,得到滤波结果:
其中,为采用偶对称的二维Gabor滤波器对 Xij(x,y)(i=1,2,...,p;j=1,2,...,q)进行滤波的滤波结果,为采用奇对称的二 维Gabor滤波器对Xij(x,y)(i=1,2,...,p;j=1,2,...,q)进行滤波的滤波结果,Fs是第s个 中心频率f,θd是第d个空间相位角,s和d代表相应的尺度数和相位数。
和是复数,可以表示为:
其中,和代表的实部与虚部,和 代表的实部与虚部。因此,滤波结果可以表示为:
幅值和相位值分别表示为:
步骤3024、选择n1个不同的中心频率Fs,并对每个中心频率Fs,选择n2个不同的空间相位角θd,其中s和d分别取自然数且s≤n1,d≤n2,形成n1× n2个Gabor滤波通道,对每个Gabor滤波通道的滤波结果,提取其幅值和相位 值作为代表该Gabor滤波通道的特征;其中,采用偶对称的二维Gabor滤波器 对Xij(x,y)进行滤波的滤波结果的幅值为相位值为 采用奇对称的二维Gabor滤波器对Xij(x,y)进行滤波的滤波结果 的幅值为相位值为
本实施例中,步骤3024中n1的取值为4,4个不同的中心频率f,即F1~ F4的取值分别为2Hz、4Hz、8Hz、和16Hz、;步骤3024中n2的取值为8,8 个不同的空间相位角θ1~θ8的取值分别为0°,45°,90°,135°,180°,225°,270° 和315°;因此本实施例能够形成32个Gabor滤波通道;
步骤3025、对每个Gabor滤波通道的滤波结果和的幅 值和按行展开,形成一个行向量
步骤3026、将n1×n2个Gabor滤波通道的n1×n2×2个行向量依次连接, 形成Xij(x,y)(i=1,2,...,p;j=1,2,...,q)的二维Gabor滤波器组的特征C(i,j)=[A(i,j),θ(i,j)], (i=1,2,...,p;j=1,2,...,q);
本实施例中,行向量的数量为64个;
步骤303、求取所述人脸子图像矩阵Xij(i=1,2,...,p;j=1,2,...,q)中的每个像素 值Xij(x,y)(i=1,2,...,p;j=1,2,...,q)的纹理贡献度,具体过程如下:
步骤3031、定义人脸图像G的熵函数为:
其中,X(x',y')为图像矩阵X的像素值,x'为图像X(x',y')的横向坐标,y'为 图像X(x',y')的纵向坐标,m为人脸图像G的灰度级别总数,pa为第a个灰度级 别出现的概率,a为自然数且a的取值为1~m;
本实施例中,步骤3031中m的取值为256。
步骤3032、定义局部信息熵图谱LH()对应的图像熵为:
LH(i',j')=H(F(i',j')w)
其中,w为滑动可变窗口的大小,H(F(i',j')w)为图像F(i',j')w的熵函数,(i',j') 为图像F(i',j')w中每个像素的位置,i'为图像F(i',j')w的横向坐标,j'为图像F(i',j')w的纵向坐标,F(i',j')w为以(i',j')为中心滑动可变窗口内的子图像且:
F(i',j')w={X(x',y')|x∈[i'-w/2,i'+w/2-1],y'∈[j'-w/2,j'+w/2-1]};
步骤3033、定义所述人脸子图像矩阵Xi1(i=1,2,...,q)中的每个像素值 Xi1(x',y')(i=1,2,...,q)的纹理贡献度为:
其中,X(x'+(i-1)×m/p,y'+(j-1)×n/q)为将图像矩阵X进行p×q分块后第ij块 子图像中(x',y')处的像素值;
步骤304、根据公式C=[C(1,1)×CM11,C(1,2)×CM12,L C(p,q)×CMpq]求取人脸 图像G的特征向量C;
步骤四、处理结果同步输出:步骤三中进行图像特征提取过程中,处理器 3通过与其相接的显示器4对步骤三中的图像信号处理过程及图像特征提取结 果进行同步显示。
本实施例中,处理器3为计算机。
对于一张人脸图像,整体图像的图像熵可以表达整张人脸的信息量,但是 这对人脸特征的描述是没有意义的,而如果将一张人脸图像进行分块,每一块 子图像的信息熵可以表示该子图像的信息量,同时也表示该子图像的细节纹理 的丰富程度,纹理的丰富程度对人脸整体特征的描述有着重要的作用,所以可 以根据子图像的局部图像信息熵来构建每个子图像纹理对整副人脸信息的贡 献程度,能够很好地描述人脸特征。
为了验证本发明人脸特征提取方法的有效性和普适性,将本发明的人脸特 征提取方法与局部二进制模式(LBP)、局部Gabor二进制模式(LGBP)、 局部Gabor模式(LG)、局部主成分分析(LPCA)、局部三值模式(LTP) 和局部综合Gabor直方图模式(LCGH)的基于单训练样本的常见图像特征提 取算法进行了比较,具体如下:
(1)在MATLAB的仿真环境下,以Yale人脸库为实验对象进行测试, Yale人脸库包括了15个人每人11幅共165幅人脸图像,具备了睁眼闭眼、张 口闭口、以及非常丰富的面部表情的变化,选取每人1幅人脸图像为训练样本, 其余为测试样本,分别采用各种所要比较的人脸特征提取算法进行人脸特征提 取,并对每种算法提取到的人脸特征采用现有技术中的RBF神经网络分类识 别法进行分类识别,其分类识别比较结果如图3所示。
(2)在MATLAB的仿真环境下,以ORL人脸库为实验对象进行测试, ORL人脸库包括了40个不同的光照、表情、发型和有无眼镜等人脸图像,每 人10幅共400幅人脸,选取每人1幅人脸图像为训练样本,其余为测试样本, 分别采用各种所要比较的人脸特征提取算法进行人脸特征提取,并对每种算法 提取到的人脸特征采用现有技术中的RBF神经网络分类识别法进行分类识别, 其分类识别比较结果如图4所示。
从图3和图4可以看出,本发明的人脸特征提取方法对人脸识别的识别率 明显高于其它常见的基于单训练样本的常见图像特征提取算法,能够适用于实 际应用中众多缺乏训练样本的场景。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根 据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变 化,均仍属于本发明技术方案的保护范围内。
机译: 频率域中Gabor滤波器的纹理描述方法和基于纹理的图像检索方法
机译: 频率域中Gabor滤波器的纹理描述方法和基于纹理的图像检索方法
机译: 频率域中Gabor滤波器的纹理描述方法和基于纹理的图像检索方法