一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方法

摘要

本发明公开了一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方法，包括以下步骤：1)对原始图像进行灰度化处理，并利用双线性插值法，重设置图像大小；2)基于Gabor与双极滤波器F的filter?filter滤波器，检测目标图像方向边缘，获得边缘图像E；3)计算边缘图像E空间分辨率间距检测值，得到第一阶段输出图像S1；4)将第一阶段输出图像S1，再进行一次步骤二的方向边缘检测，与步骤三的空间分辨率间距检测，得到第二阶段的特征输出图像S2，得到不变属性特征，该方法模拟人类视觉感知机理，巧妙的结合仿生物视觉变换的RSTN不变属性特征，提高了图像识别的准确度，增强了对噪声的鲁棒性。

说明书

技术领域

本发明属于生物信息与机器视觉技术的交叉领域，尤其涉及一种基于仿生物视觉 变换的图像RSTN不变属性特征提取及识别方法。

背景技术

图像不变属性特征提取是提高目标识别率的重要手段。众所周知，人类视觉能准 确感知旋转、比例缩放、平移和加噪后的图像。然而，利用传统计算机视觉算法实现旋转、比 例缩放、平移和加噪图像的目标识别，是一项极具挑战性的工作。随着人类视觉大脑皮层响 应机制的不断揭示，Hubel曾在Nature中报道，生物视觉皮质细胞对某些长度或方向的线 条，响应非常强烈。受此生物视觉响应机制启发，若机器视觉能提取图像目标的不同长度和 不同方向的线条特征，并测量线条的空间分辨率，以模拟大脑视觉皮质细胞对线条响应的 强度，那么一种基于仿生物视觉感知机理的RSTN(Rotation,Scaling,Translationand Noise,RSTN)不变属性特征提取便成为了现实。

近几年，出现了求解旋转、比例缩放、平移或加噪图像的特征提取方法。但大多数 不变属性特征提取方法中利用了积分变换、Fourier变换(FT)、Fourier-Mellin(FM)变换、 Gabor滤波器、Fourier描述算子。虽FT变换能有效处理比例缩放图像的不变性，但旋转图像 将导致FT频域变换发生角度旋转。因为FT功率谱具有平移不变性，但FM却丢失很多空间位 置信息。然而，Gobor滤波器对于旋转与比例缩放图像具有不变属性，在保留图像本质特征 的同时消除噪声。为此，该方法具有噪声不变属性，但其滤波器方向角度与波长等参数，却 难以针对不同图像自适应调整。

上述均属于Bottom-Up数据驱动的不变属性特征提取方法，能有效处理图像识别 的某些问题，Top-Down目标任务驱动的不变属性特征提取方法，对处理同时具备旋转、比例 缩放、平移和加噪图像的不变属性特征提取具有明显效果。事实上，模拟生物特性的特征提 取方法已成为当下的热门研究方向，如卷积神经网络(convolutionalneuralnetworks, CNN)，模拟灵长目类动物视觉系统的递阶结构，卷积层完成了局部平均化和二次采样的工 作，为此，特征图具有小平移不变性。VisNet是一种针对不变属性目标识别的视觉通道模 型，但该模型需多次训练不同图像中各尺度的目标，否则难以实现加噪、旋转、比例缩放等 不变属性特征的提取。HMAX是另一种四层计算单元组合结构的递阶模型，C单元利用非线性 最大池操作，实现平移与比例缩放不变性。但由于随机选取图像块，使其对旋转图像非常敏 感。为此，严重影响了目标识别的效果。Sountsovetal.提出了一种递阶生物变换方法 (biologicallytransform,BT)，通过仿视觉神经元工作模式，实现输入图像的平移、比例 缩放与旋转不变属性的表达(载于FrontiersinComputationalNeuroscience,2011年, 第5卷)。但存在两方面不足，首先，该模型中采用了box滤波器，该滤波器是利用图像周围像 素点加权均值实现，与人类视觉感知机理并非一致，为此，对噪声特别敏感。其次，黑白滤波 器的边缘检测子对简单结构目标(例如字母I或数字1等)的识别，由于边缘特征少，加入噪 声后，鲁棒能力不足。

根据生物视觉感知机理，当视觉目标刺激出现时，人类视觉感知初始过程产生在 视网膜，视网膜内完成初始特征检测。而后，图像信号再由视神经激励传输。其中特征包括 边缘、方向、梯度等信息。为此，如何模拟生物视觉皮层，在不同功能阶段构建感知模型，并 客观描述大脑视觉皮质细胞对线条响应的强度，使该模型能有效提取图像RSTN的不变属性 特征，成为本发明亟待解决的问题。

发明内容

本发明所要解决的技术问题是，提供一种基于仿生物视觉变换的图像RSTN不变属 性特征提取及识别方法，减小图像目标识别过程中，受旋转、比例缩放、平移以及加噪 (Rotation,Scaling,TranslationandNoise,缩写为RSTN)图像的影响，以提升形变目标 的识别率与噪声的鲁棒性。

一种基于仿生物视觉变换的图像RSTN不变属性特征提取方法，包括以下步骤：

步骤一：初始化图像；

对原始图像进行灰度化处理，并对灰度处理后的图像进行大小重置，重置大小后 的图像长与宽大小相同，获得二维图像M(x,y)；

步骤二：对二维图像进行滤波处理后，进行方向边缘检测，获取边缘图像E；

利用Gabor滤波得到二维图像的中间响应G(x,y)，再采用水平-垂直方向双极滤波 器F与G(x,y)进行卷积获得方向边缘检测算子，利用方向边缘检测算子对二维图像提取图 像边缘：

$E(\theta ,I;M)=▿F\left(\theta \right)\otimes G\left(w\right)\otimes M$

其中，表示卷积，θ表示边缘方向角度，θ∈[0,180°]，Gabor滤波器宽度w＝0.1× I，I为二维图像中像素间距，取值范围为二维图像长度的10％-80％；E(θ,I；M)表示图像方 向边缘检测结果，表示微分算子；

利用不同方向的边缘检测，构建双极滤波器F。双极滤波器大小分别为1×3和3× 1，由余弦函数构成。图像方向边缘分别由此二滤波器与原始图像卷积获得。水平滤波器为1 ×3，此处利用余弦函数构建水平滤波器Hb(θ)：

Hb(θ)＝[-cos(θ)1-|cos(θ)|cos(θ)]

其中，水平滤波器虽确定，但当θ＝0°，Hb(θ)＝0，水平方向像素无法移动，这将使 水平边缘受到腐蚀。且滤波器Hb(θ)总和不等于1。为此，根据滤波器中每个元素的阶跃响应 进行加权。

$S\left(x\right)=\left(\begin{array}{c}1,x>0\\ 0,x\le 0\end{array}\right)$

根据权重因子设置阶跃函数，水平滤波器设置为Hb(θ)与S(Hb(θ))的点乘，如下式 所示。

$F_x\left(\theta \right)=Hb\left(\theta \right)·S\left(Hb\right(\theta \left)\right)={\left(\begin{array}{c}-cos\left(\theta \right)\times S(-cos(\theta \left)\right)\\ (1-|cos\left(\theta \right)\left|\right)\times S(1-|\cos \left(\theta \right)\left|\right)\\ cos\left(\theta \right)\times S\left(\cos \right(\theta \left)\right)\end{array}\right)}^T$

其中·表示点乘，由于1-|cos(θ)|≥0，滤波器能进一步表示为下式。

$F_x\left(\theta \right)={\left(\begin{array}{c}-cos\left(\theta \right)\times S(-cos(\theta \left)\right)\\ 1-\left|cos\left(\theta \right)\right|\\ cos\left(\theta \right)\times S\left(\cos \right(\theta \left)\right)\end{array}\right)}^T$

其中，当θ∈[0,180°]时，∑F_x(θ_,I)＝1。水平滤波器由余弦函数组成有两个优点。 首先，能增强水平方向边缘检测，而弱化垂直方向边缘。其次，在循环过程中，滤波器是垂直 对称。且在一个周期内，仅需关注[0,180°]，减少了计算代价。同理，利用正弦函数构建垂直 滤波器，大小为3×1，如下式所示。

$Vb\left(\theta \right)=\left(\begin{array}{c}-sin\left(\theta \right)\\ 1-\left|sin\left(\theta \right)\right|\\ \sin \left(\theta \right)\end{array}\right)$

利用阶跃函数构建垂直滤波器，为Vb(θ)与S(Vb(θ))点乘，如下式所示，其中，·表 示点乘。

$F_y\left(\theta \right)=Vb\left(\theta \right)·S\left(Vb\right(\theta \left)\right)=\left(\begin{array}{c}-sin\left(\theta \right)\times S(-sin(\theta \left)\right)\\ (1-|sin\left(\theta \right)\left|\right)\times S(1-|\sin \left(\theta \right)\left|\right)\\ sin\left(\theta \right)\times S\left(sin\right(\theta \left)\right)\end{array}\right)$

由于1-|sin(θ)|≥0，滤波器如下式形式：

$F_y\left(\theta \right)=\left(\begin{array}{c}-sin\left(\theta \right)\times S(-sin(\theta \left)\right)\\ 1-\left|\sin \left(\theta \right)\right|\\ sin\left(\theta \right)\times S\left(\sin \right(\theta \left)\right)\end{array}\right)$

其中∑F_y(θ)＝1,且θ∈[0,180°]，在一个循环过程中，滤波器水平对称。为此，一 个周期内仅需关注[0,180°]范围。由于F_y(θ)与F_x(θ)均为矢量，其卷积等价于F_y(θ)与F_x(θ) 乘积。因此，融合双极滤波器与Gabor滤波器的方向边缘检测滤波器，如下式所示。

$F\left(\theta \right)=F_x\left(\theta \right)\otimes F_y\left(\theta \right)=F_y\left(\theta \right)\times F_x\left(\theta \right)=\left(\begin{array}{ccc}{f}_{11}\left(\theta \right)& f_{12}\left(\theta \right)& f_{13}\left(\theta \right)\\ f_{21}\left(\theta \right)& f_{22}\left(\theta \right)& f_{23}\left(\theta \right)\\ f_{31}\left(\theta \right)& f_{32}\left(\theta \right)& f_{33}\left(\theta \right)\end{array}\right)$

其中，

在循环过程中，该组合滤波器是中心对称的，在[0,180°]范围内，足够检测所有方 向边缘。当时，方向边缘操作子是该组合滤波器的微分，如下式所示：

$▿F\left(\theta \right)=\left(\begin{array}{ccc}0& 0& 0\\ 0& \sin \left(\theta \right)-cos\left(\theta \right)+cos\left(2\theta \right)& -sin\left(\theta \right)-cos\left(2\theta \right)\\ 0& cos\left(\theta \right)-cos\left(2\theta \right)& \cos \left(2\theta \right)\end{array}\right)$

当时，方向边缘操作子为下式表示：

$▿F\left(\theta \right)=\left(\begin{array}{ccc}0& 0& 0\\ \sin \left(\theta \right)+\cos \left(2\theta \right)& -\sin \left(\theta \right)-\cos +\left|\cos \left(2\theta \right)\right|& 0\\ -\cos \left(2\theta \right)& \cos \left(\theta \right)-\left|\cos \left(2\theta \right)\right|& 0\end{array}\right)$

不同方向的边缘检测结果，如图3所示。

为此，由其 中E表示图像方向边缘检测结果，表示微分算子，可得到第一阶段边缘检测图像E。

步骤三：计算边缘图像E在不同边缘方向θ与不同间距I下空间分辨率间距检测值， 获取第一阶段输出图像S1；

步骤3.1，对边缘图像E，进行像素间距为I，角度为θ的错位处理，获得错位边缘图 像；

步骤3.2，获取错位边缘图像与边缘图像E的重叠区域，将重叠区域的每个像素点 的灰度值进行乘积求和处理；

步骤3.3，对步骤3.2的结果进行归一化处理，获得间距检测算子，采用半波整形函 数对间距检测算子进行整形处理，完成边缘图像E空间分辨率间距检测值的计算；

步骤3.4，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的间距检测 算子映射至第一阶段输出图像中对应像素点，得到第一阶段的输出图像S1；

像素间距I取值范围为输入图像的10％-80％，0％取长宽中的最小值，80％取长宽 中的最大值，由于输入图像M(x,y)大小为128×128，则I∈[13,102]。若M(x,y)为其他大小 图像，I₁取值范围成对应比例缩放。角度θ在[0,180°]内等分64份，间距I在其定义域范围内 (I∈[13,102])也等分64份。为此，第一阶段输出图像S1分辨率为64×64。

经过第一阶段处理，原图像M(x,y)的旋转变换，映射至第一阶段输出图像S1为左 右平移。M(x,y)比例缩放，映射至S1为上下平移。

步骤四：将第一阶段输出图像S1，按照步骤二的处理过程进行滤波处理后再进行 方向边缘检测，接着按照步骤三的处理过程进行空间分辨率间距检测计算，得到第二阶段 的特征输出图像S2；

对第一输出图像S1进行方向边缘检测时，像素间距的取值为第一阶段输出图像S1 长度的10％-90％；

第二阶段变换间距I₂取值范围为输入图像大小的10％-90％。由于输入图像S1为 64×64，则I∈[6,58]。若S1为其他大小图像，I取值范围成对应比例缩放。角度θ在[0,180°] 内等分64份，间距I在其定义域范围内(I∈[6,58])也等分64份。为此，第二阶段输出特征图 像S2分辨率也为64×64。第二阶段与第一阶段类似，输入图像在θ轴上具有周期性。

步骤五：将特征输出图像S2中各像素点的像素值按照图像从左至右、从上至下的 顺序排列成一维数组，以该数组作为图像的不变属性特征。

所述步骤一的具体过程如下：

(1a)利用加权平均法，对原始图像进行灰度化处理；

将R,G,B三个分量以不同的权值按照下式进行加权平均获得灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

其中，f(i,j)表示灰度图像，R(i,j)表示原始图像中坐标为(i,j)的像素点的红色 分量值，G(i,j)表示原始图像中坐标为(i,j)的像素点的绿色分量值，B(i,j)表示原始图像 中坐标为(i,j)的像素点的蓝色分量值；

(1b)将灰度图像中各像素点的灰度值按下式归一化至[0,1]之间：

f'(i,j)＝(f(i,j)-Min(f(i,j)))/(Max(f(i,j))-Min(f(i,j)))；

其中，f'(i,j)为灰度图像f(i,j)归一化结果，Min(f(i,j))为f(i,j)最大值，Min (f(i,j))为f(i,j)最小值；

(1c)利用双线性插值法，重设置图像f'(i,j)大小为128×128，获得二维图像M(x, y)。

所述步骤3.1中对边缘图像E，进行像素间距为I，角度为θ的错位处理，获得错位边 缘图像，具体是指对边缘图像E，实施间距I，角度θ的错位移动，得到错位边缘图像

其中，错位水平间距Δ_x＝I×cos(θ+90°)，垂直间距Δ_y＝I×sin(θ+90°)，其中θ∈ [0,180°]。

所述将错位边缘图像与边缘图像E的重叠区域的每个像素点的灰度值进行乘积求 和处理是指按以下公式确定：

$R(\theta ,I;E)=\frac{\underset{i}{\Sigma }\underset{j}{\Sigma }{E}_{ij}\times E_{i-{\Delta }_x,j-{\Delta }_y}}{{\left(\underset{i}{\Sigma }\underset{j}{\Sigma }{E}_{ij}\right)}^2}$

其中_，R为间距检测算子，E_ij为边缘图像上对应像素点，平移量Δ_x＝I×cos(θ+ 90°)，Δ_y＝I×sin(θ+90°),且θ∈[0,180°]。

保障了未叠加区域的输出为零。

所述步骤3.3中采用半波整形函数对间距检测算子进行整形处理中的半波整形函 数如下：

$T(\theta ,I;E)=\mathrm{Re}ct\left\{R(\theta ,I;E)\right\}=\left(\begin{array}{ccc}R(\theta ,I;E),& if& R(\theta ,I;E)>0\\ 0,& if& R(\theta ,I;E)\le 0\end{array}\right)$

其中，T(θ,I；E)表示利用半波整形函数对间距检测R(θ,I；E)进行整形处理，Rect {}表示半波整形函数。

当原图像发生旋转变化时，第一阶段输出图像S1水平方向平移，第二阶段特征输 出图像S2具有不变性；

当原图像发生比例缩放变化时，第一阶段输出图像S1垂直方向平移，第二阶段特 征输出图像S2具有不变性；

当原图像发生位置平移变化时，第一阶段输出图像S1不变，第二阶段特征输出图 像S2具有不变性；

当原图像加入噪声影响，第一阶段输出图像S1具有噪声鲁棒性，第二阶段特征输 出图像S2具有不变性；

当原图像同时受到旋转、比例缩放、平移以及加噪影响，第二阶段特征输出图像S2 具有不变性。

一种基于仿生物视觉变换的图像RSTN不变属性特征识别方法，采用权利要求1-5 任一项所述的方法对样本图像和待识别图像的RSTN不变属性特征提取，利用最近邻匹配算 法，计算待识别图像与各样本图像的不变属性特征之间的欧式距离，取最近距离训练模板 对应的样本图像的分类标签，作为图像识别的最终分类结果。

有益效果

本发明提供了一种基于仿生物视觉变换的图像RSTN不变属性特征提取及识别方 法，该方法对参数选取并不苛刻，对旋转、比例缩放、平移图像具有不变性，对加噪图像具有 强鲁棒性，且计算代价不高。其步骤主要包括两个阶段变换。在第一阶段中，将方向边缘检 测分为两个部分，其一，为类似V1响应的Gabor滤波器，不仅使图像特征具有噪声不变性，而 且能利用余弦函数表示图像空间分辨率。其二，模拟人类视觉感知的双极皮质细胞，利用水 平和垂直方向双极滤波器，与Gabor滤波器融合，构建filter-filter结构滤波器，检测各方 向边缘，并突显对应方向的边缘。在此基础上，利用空间分辨率间距检测，测量各方向、各间 距的空间频率，以模拟生物视觉中线条反馈的响应强度。在第二阶段，将第一阶段的输出结 果，再次输入至方向边缘检测与空间分辨率间距检测中。为此，原图像目标的平移，在第一 阶段输出结果就具有不变性。原图像目标的旋转与比例缩放，在第一阶段输出结果仅表现 为图像水平与垂直平移。第二阶段中，将第一阶段输出结果，再经过边缘检测子和间距检测 子的检测，使得第二阶段输出特征图，具有RSTN不变属性。

具体体现在以下几点：

1.模拟人类视觉感知机理，完善一种RSTN不变属性特征提取框架，该框架为多级 级联模型，使得本方法所提取的特征，不仅具有特征的不变性，而且还具有图像识别的选择 性。

2.根据生物视觉感知过程，水平与垂直方向线条响应响度最为强烈。提出的一种 水平和垂直方向的双极滤波器，与Gabor滤波器融合，实现filter-filter的方向边缘检测。 该框架结构利用Gabor滤波器与双极滤波器的各自优点，实现各方向与各间距的边缘检测。

3.为模拟大脑视觉皮质细胞对线条响应的强度，设计空间间距检测子，测量线条 的空间分辨率，以客观描述线条响应强度。

4.将仿生物视觉变换的RSTN不变属性特征提取方法，应用于交通标志牌识别过程 中，提高了图像识别的准确度，增强了对噪声的鲁棒性。

附图说明

图1为仿生物变换的不变属性特征提取过程框架图；

图2为不同参数的Gabor滤波器，其中，(a)λ＝5,θ＝0,γ＝0.5，(b)λ＝5,θ＝ 45,γ＝0.5，(c)λ＝5,θ＝0,γ＝0.5，(d)λ＝15,θ＝0,γ＝0.5；

图3为不同方向角的图像边缘检测结果，其中，θ＝0°，θ＝45°，θ＝90°，θ＝135°；

图4为第一阶段中I＝15,θ＝135°的间距检测过程示意图，其中，(a)为边缘图像及 其错位图像，(b)为(a)的重叠区域，(c)为第一阶段输出图；

图5为第二阶段中I＝15,θ＝45°的间距检测过程，其中，(a)为第一阶段输出图， (b)为(a)的边缘图像及其错位图像，(c)为(a)的重叠区域，(d)为第二阶段不变属性特征的 输出图；

图6为RSTN图像的分类结果可视图，其中，(a)为36个字符分类结果可视图，(b)为 字母ZJO的可分性，(c)为字母HC的可分性，(d)为数字9与6的可分性；

图7为对字母G进行RSTN不变属性特征提取效果图，其中，(a)为字母G原图像，(b) 为图(a)的第一阶段输出图，(c)为图(a)的第二阶段输出图；(d)为对图(a)逆时针旋转 135°，(e)为对图(d)的第一阶段输出图，(f)为对图(d)的第二阶段输出图；(g)为对图(a)缩 小0.7倍，(h)为对图(g)的第一阶段输出图，(i)为对图(g)的第二阶段输出图；(j)为对图 (a)放大1.5倍，(k)为图(j)的第一阶段输出图，(l)为图(j)的第二阶段输出图；(m)为对图 (a)进行平移(-150,150)，(n)为对图(m)的第一阶段输出图，(o)为对图(m)的第二阶段输出 图；(p)为对图(a)进行平移(150，200)，(q)为对图(p)的第一阶段输出图，(r)为对图(p)的 第二阶段输出图；(s)为对图(a)加入0.2倍噪声，(t)为对图(s)的第一阶段输出图，(u)为对 图(s)的第二阶段输出图；(v)为对图(a)加入0.5倍噪声，(w)为对图(v)的第一阶段输出图， (x)为对图(v)的第二阶段输出图；

图8为对字母F进行RSTN不变属性特征提取效果图，其中，(a)为字母F原图像，(b) 为图(a)的第一阶段输出图，(c)为图(a)的第二阶段输出图；(d)为对图(a)逆时针旋转 135°，(e)为对图(d)的第一阶段输出图，(f)为对图(d)的第二阶段输出图；(g)为对图(a)缩 小0.7倍，(h)为对图(g)的第一阶段输出图，(i)为对图(g)的第二阶段输出图；(j)为对图 (a)放大1.5倍，(k)为图(j)的第一阶段输出图，(l)为图(j)的第二阶段输出图；(m)为对图 (a)进行平移(-150,150)，(n)为对图(m)的第一阶段输出图，(o)为对图(m)的第二阶段输出 图；(p)为对图(a)进行平移(150，200)，(q)为对图(p)的第一阶段输出图，(r)为对图(p)的 第二阶段输出图；(s)为对图(a)加入0.2倍噪声，(t)为对图(s)的第一阶段输出图，(u)为对 图(s)的第二阶段输出图；(v)为对图(a)加入0.5倍噪声，(w)为对图(v)的第一阶段输出图， (x)为对图(v)的第二阶段输出图；

图9为单连通区域的交通标志牌不变属性特征提取过程示意图，其中，(a)为交通 标志牌原图像，(b)为目标图像，(c)为二值化图像，(d)为RSTN不变属性特征示意图；

图10为多连通区域的交通标志牌不变属性特征提取过程示意图；

图11为多连通区域的交通标志牌不变属性特征提取示意图，其中，(a)交通标志牌 原图像，(b)元素1不变属性特征示意图，(c)元素2不变属性特征示意图，(d)元素3不变属性 特征示意图。

具体实施方式

下面将结合附图和实施例对本发明所述的方法做进一步的说明。

实施例1：

本实施例针对26个字母与10个数字的图像，如图1所示，其不变属性特征提取过程 如下五个步骤进行：

步骤一：对原始图像进行灰度化处理，将其灰度值归一化至[0,1]之间。并利用双 线性插值法，重设置图像大小为128×128。

步骤二：经步骤一预处理获取二维图像M(x,y)，利用Gabor滤波得到中间响应G(x, y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积。即基于Gabor与双极滤波器F的 filter-filter滤波器，检测目标图像方向边缘，获得边缘图像E。

步骤三：针对边缘图像E，度量其不同边缘方向θ与不同间距I的图像线条空间分辨 率。首先，进行间距为I，角度为θ的错位处理，计算错位边缘图像的重叠区域。其次，将错位 图像与原图像的重叠区域进行乘积求和处理。最后，利用两幅边缘图像像素点总和的平方 进行归一化，并采用半波整形函数对其进行整形处理。为此，完成边缘图像E空间分辨率间 距检测的计算，得到第一阶段输出图像S1。

步骤四：将第一阶段输出图像S1，再进行一次步骤二的方向边缘检测，与步骤三的 空间分辨率间距检测，得到第二阶段的特征输出图像S2。其中，第二阶段变换间距I取值范 围为输入图像10％-90％。由于输入图像S1为64×64，则I∈[6,58]。若S1为其他大小图像，I 取值范围成对应比例缩放。角度θ在[0,180°]内等分64份，间距I在其定义域范围内(I∈[6, 58])也等分64份。为此，第二阶段输出特征图像S2分辨率也为64×64。第二阶段与第一阶段 类似，输入图像在θ轴上具有周期性。

步骤五：将该64×64的二维特征图像S2，转化为1×4096矢量矩阵。而后，利用最近 邻匹配算法，实现目标图像的识别。

所述步骤一具体包括以下步骤：

(1a)利用加权平均法，对原始图像进行灰度化处理。根据重要性指标，将R,G,B三 个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低。因此， 按下式对RGB三分量进行加权平均，得到较合理的灰度图像。

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)

其中，R(i,j)表示红色分量值，G(i,j)表示绿色分量值，B(i,j)表示蓝色分量值。

(1b)将其灰度值归一化至[0,1]之间，如下式所示。

f'(i,j)＝(f(i,j)-Min(f(i,j)))/(Max(f(i,j))-Min(f(i,j)))；

其中，f'(i,j)为灰度图像f(i,j)归一化结果，Min(f(i,j))为f(i,j)最大值，Min (f(i,j))为f(i,j)最小值。

(1c)利用双线性插值法，重设置图像大小为128×128。其中双线性插值法为：对于 一个目的像素点，设置通过大小重置坐标比例变换，得到的浮点坐标为(i+u,j+v)，其中i,j 均为非负整数，u,v为[0,1)区间的浮点数，则这个像素的值f(i+u,j+v)由原图像中坐标(i, j),(i+1,j),(i,j+1),(i+1,j+1)所对应的周围四个像素值决定，即：

f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1, j+1)

其中f(i,j)为原图像在(i,j)处的像素值。

所述步骤二具体包括以下步骤：

(2a)针对二维图像M(x,y)，利用Gabor滤波得到中间响应G(x,y)。该Gabor滤波器 的频率和方向表达与人类视觉感知类似，设计为如下式所示。

$G_{\sigma }=\frac{1}{2{\mathrm{\pi \sigma }}^2}{e}^{-\frac{(x^2+y^2)}{2{\sigma }^2}}$

其中，x,y表示像素点位置，σ表示(x,y)方向的高斯函数标准差。定义Gabor滤波器 为正弦函数与高斯函数乘积，该滤波器由实部和虚部组成，二者相互正交，其中Gabor函数 的实数部分定义为下式所示。

其中，x′＝xcosθ+ysinθ且y′＝-xsinθ+ycosθ，θ为Gabor滤波器并行条纹方 向。(x,y)是图像像素位置坐标，为相位偏移。γ为空间纵横比，决定Gabor函数形状的椭 圆率，当γ<1时，形状随着平行条纹方向而拉长，该值为0.5。λ为正弦函数波长，取值范围 [0,360°]。σ是高斯函数标准差，带宽越小，标准差越大，Gabor形状越大。

Gabor滤波器方向为θ，改变λ和σ能改变正弦函数的波长与频率，使滤波器响应不 同尺寸的条纹图像。图2中给出了不同参数的滤波器，其中，图2(a)为波长是5时Gabor滤波 器，大小均为30×30,方向为0，相位为0，纵横比为0.5。图2(b)参数设置为45°方向的Gabor 滤波器，波长为5，相位为0，纵横比为0.5。图2(c)参数为相位偏移等于45°，波长为5，方向为 0，纵横比为0.5。在选用Gabor滤波器时，σ随着滤波器带宽变化，在此为0.1倍间距I值，即w ＝0.1×I，波长λ＝2πσ。

(2b)利用水平-垂直方向双极滤波器F与G(x,y)进行卷积，设计基于Gabor与双极 滤波器F的filter-filter滤波器，检测目标图像方向边缘，获得边缘图像E。其中，双极滤波 器F分解为水平与垂直两个不同卷积滤波器，因为在人类视觉中水平与垂直方向非常重要， 显著方向边缘为水平与垂直方向的结合。为此，利用水平-垂直方向双极滤波器F与G(x,y) 进行卷积，由下式表示。

$D(\theta ,I)=F\left(\theta \right)\otimes G\left(w\right)=F_x\left(\theta \right)\otimes [F_y\left(\theta \right)\otimes G\left(w\right)]=[F_x\left(\theta \right)\otimes F_y\left(\theta \right)]\otimes G\left(w\right)$

其中，方向角θ∈[0,180°]，D(θ,I)是方向边缘滤波器，F_x(θ)和F_y(θ)为双极滤波 器，G(w)是Gabor滤波器。

根据以上分析，利用不同方向的边缘检测，构建双极滤波器F。双极滤波器大小分 别为1×3和3×1，由余弦函数构成。图像方向边缘分别由此二滤波器与原始图像卷积获得。 水平滤波器为1×3，此处利用余弦函数构建水平滤波器Hb(θ)：

Hb(θ)＝[-cos(θ)1-|cos(θ)|cos(θ)]

其中，水平滤波器虽确定，但当θ＝0°，Hb(θ)＝0，水平方向像素无法移动，这将使 水平边缘受到腐蚀。且滤波器Hb(θ)总和不等于1。为此，根据滤波器中每个元素的阶跃响应 进行加权。

$S\left(x\right)=\left(\begin{array}{c}1,x>0\\ 0,x\le 0\end{array}\right)$

根据权重因子设置阶跃函数，水平滤波器设置为Hb(θ)与S(Hb(θ))的点乘，如下式 所示。

$F_x\left(\theta \right)=Hb\left(\theta \right)·S\left(Hb\right(\theta \left)\right)={\left(\begin{array}{c}-cos\left(\theta \right)\times S(-cos(\theta \left)\right)\\ (1-|\cos \left(\theta \right)\left|\right)\times S(1-|\cos \left(\theta \right)\left|\right)\\ cos\left(\theta \right)\times S\left(\cos \right(\theta \left)\right)\end{array}\right)}^T$

其中·表示点乘，由于1-|cos(θ)|≥0，滤波器能进一步表示为下式。

$F_x\left(\theta \right)={\left(\begin{array}{c}-cos\left(\theta \right)\times S(-cos(\theta \left)\right)\\ 1-\left|cos\left(\theta \right)\right|\\ cos\left(\theta \right)\times S\left(\cos \right(\theta \left)\right)\end{array}\right)}^T$

其中，当θ∈[0,180°]时，∑F_x(θ,I)＝1。水平滤波器由余弦函数组成有两个优点。 首先，能增强水平方向边缘检测，而弱化垂直方向边缘。其次，在循环过程中，滤波器是垂直 对称。且在一个周期内，仅需关注[0,180°]，减少了计算代价。同理，利用正弦函数构建垂直 滤波器，大小为3×1，如下式所示。

$Vb\left(\theta \right)=\left(\begin{array}{c}-sin\left(\theta \right)\\ 1-\left|sin\left(\theta \right)\right|\\ \sin \left(\theta \right)\end{array}\right)$

利用阶跃函数构建垂直滤波器，为Vb(θ)与S(Vb(θ))点乘，如下式所示，其中，·表 示点乘。

$F_y\left(\theta \right)=Vb\left(\theta \right)·S\left(Vb\right(\theta \left)\right)=\left(\begin{array}{c}-sin\left(\theta \right)\times S(-sin(\theta \left)\right)\\ (1-|sin\left(\theta \right)\left|\right)\times S(1-|\sin \left(\theta \right)\left|\right)\\ sin\left(\theta \right)\times S\left(sin\right(\theta \left)\right)\end{array}\right)$

由于1-|sin(θ)|≥0，滤波器如下式形式。

$F_y\left(\theta \right)=\left(\begin{array}{c}-sin\left(\theta \right)\times S(-sin(\theta \left)\right)\\ 1-\left|\sin \left(\theta \right)\right|\\ sin\left(\theta \right)\times S\left(\sin \right(\theta \left)\right)\end{array}\right)$

其中∑F_y(θ)＝1,且θ∈[0,180°]。在一个循环过程中，滤波器水平对称。为此，一 个周期内仅需关注[0,180°]范围。由于F_y(θ)与F_x(θ)均为矢量，其卷积等价于F_y(θ)与F_x(θ) 乘积。因此，融合双极滤波器与Gabor滤波器的方向边缘检测滤波器，如下式所示。

$F\left(\theta \right)=F_x\left(\theta \right)\otimes F_y\left(\theta \right)=F_y\left(\theta \right)\times F_x\left(\theta \right)=\left(\begin{array}{ccc}{f}_{11}\left(\theta \right)& f_{12}\left(\theta \right)& f_{13}\left(\theta \right)\\ f_{21}\left(\theta \right)& f_{22}\left(\theta \right)& f_{23}\left(\theta \right)\\ f_{31}\left(\theta \right)& f_{32}\left(\theta \right)& f_{33}\left(\theta \right)\end{array}\right)$

其中，

在循环过程中，该组合滤波器是中心对称的，在[0,180°]范围内，足够检测所有方 向边缘。

当时，方向边缘操作子是该组合滤波器的微分，如下式所示。

$▿F\left(\theta \right)=\left(\begin{array}{ccc}0& 0& 0\\ 0& \sin \left(\theta \right)-cos\left(\theta \right)+cos\left(2\theta \right)& -sin\left(\theta \right)-cos\left(2\theta \right)\\ 0& cos\left(\theta \right)-cos\left(2\theta \right)& \cos \left(2\theta \right)\end{array}\right)$

当时，方向边缘操作子为下式表示。

$▿F\left(\theta \right)=\left(\begin{array}{ccc}0& 0& 0\\ \sin \left(\theta \right)+\cos \left(2\theta \right)& -\sin \left(\theta \right)-\cos +\left|\cos \left(2\theta \right)\right|& 0\\ -\cos \left(2\theta \right)& \cos \left(\theta \right)-\left|\cos \left(2\theta \right)\right|& 0\end{array}\right)$

不同方向的边缘检测结果，如图3所示。为此，由 其中E 表示图像方向边缘检测结果，表示微分算子，可得到第一阶段边缘检测图像E。

所述步骤三具体包括以下步骤：

(3a)针对边缘图像E，进行间距为I，角度为θ的错位处理，计算错位边缘图像的重 叠区域。设边缘图像E，实施间距I，角度θ的错位移动，得到边缘图像其中，错位水 平间距Δ_x＝I×cos(θ+90°)，垂直间距Δ_y＝I×sin(θ+90°)，其中θ∈[0,180°]。

(3b)将错位图像与原图像的重叠区域进行乘积求和处理，并利用两幅边缘图像像 素点总和的平方进行归一化，如下式所示。

$R(\theta ,I;E)=\frac{\underset{i}{\Sigma }\underset{j}{\Sigma }{E}_{ij}\times E_{i-{\Delta }_x,j-{\Delta }_y}}{{\left(\underset{i}{\Sigma }\underset{j}{\Sigma }{E}_{ij}\right)}^2}$

其中，R为间距检测算子。其中E_ij为边缘图像上对应像素点，平移量Δ_x＝I×cos(θ +90°)，Δ_y＝I×sin(θ+90°),且θ∈[0,180°]，如此保障了未叠加区域的输出为零。

(3c)采用半波整形函数对其进行整形处理，完成边缘图像E空间分辨率间距检测 的计算，得到第一阶段输出图像S1。

由于生物视觉皮质神经元输出不小于零，定义如下式的半波整形函数

$T(\theta ,I;E)=\mathrm{Re}ct\left\{R(\theta ,I;E)\right\}=\left(\begin{array}{ccc}R(\theta ,I;E),& if& R(\theta ,I;E)>0\\ 0,& if& R(\theta ,I;E)\le 0\end{array}\right)$

当R小于0时，该半波整形函数输出为0，当R大于0时，输出为R的原值。该图像变换 过程中，当存在像素点为非整数时，利用双线性插值法计算对应像素点坐标。

建立以方向θ和间距log(I)的坐标系，图4展示了间距检测过程。其中图4(a)为边 缘图像，与其I＝15，θ＝135°的错位图像的重叠部分。图4(b)为重叠边缘乘积的叠加图。在 该叠加图中，由于梯度方向原因，有些重合区域相乘为正，有些重合区域相乘为负。为此，利 用半波整形函数对其进行整形。而后，对叠加图像求其总和，并利用边缘图像像素点总和的 平方进行归一化。最后映射至第一阶段输出图像中一个像素点，如图4(c)所示。

所述步骤四具体包括以下步骤：

(4a)第一阶段间距检测结果将作为第二阶段边缘检测的输入，即将第一阶段输出 图像S1，再进行一次权利要求2的方向边缘检测得到E_s1。

(4b)将E_s1实施一次权利要求3的空间分辨率间距检测，得到第二阶段的特征输出 图像S2，大小为64×64。

与第一阶段的大间距值不同，第一阶段输入图像为128×128，则I∈[13,102]。第 二阶段间距检测中，若第二阶段输入图像大小为64×64，则I∈[6,58]。第二阶段方向角范 围与第一阶段一样，为[0,180°]。第二阶段的间距检测完成后，图像像素值归一化至[0,1] 之间。图5(b)为第二阶段间距检测中，边缘重叠错位图像，其中图像方向角为45°，间距值为 15。如图5(d)所示，第二阶段输出特征图为64×64，字母A转化为64×64大小的特征图像，深 色部分表示灰度值较高，深色区域表示图像的主特征。相反，浅色部分表示图像的低灰度 值，这部分特征信息并不丰富。

所述步骤五具体包括以下步骤：

(5a)将该64×64的二维特征图像S2，转化为1×4096矢量矩阵。具体操作为将第二 行的64个特征，放置第一行的64个特征后面；第三行的64个特征，放置第二行的64个特征后 面，以此类推；

(5b)利用最近邻匹配算法，实现目标图像的识别。具体操作为：首先，设定并存储 图像不变属性特征的训练模板及其分类标签，并提取测试图像的不变属性特征测试数据； 而后，计算测试样本与各训练模板间的欧式距离，取最近距离训练模板对应的分类标签，作 为图像识别的最终分类结果。

为了验证RSTN不变属性的分类能力，采用经典的欧氏距离的最近邻算法，实现图 像的分类识别，图像分类过程将贪婪的追求距离最短。在本实施过程中，将64×64特征图矩 阵转换为1×4096的特征矢量，建立由26个字母与10个数字组成的36个标准模板母图像。并 针对每幅母图像，随机生成10个旋转、比例缩放、平移或加噪的测试样本，以产生360个测试 数据。

为将图像识别结果可视化，利用非经典的多维尺度变换(non-classicalmulti- dimensionalscaling,MDS)方法，将36个母版与360个测试样本间的1×4096维欧式距离表 示为二维图像，如图6所示。该MDS方法利用成对样本间相似性，构建低维空间，使得样本在 此空间的距离，与在高维空间中样本间距离的相似性保持一致。MDS可视为一类优化问题， 设δ_i,j是第i个和第j个对象之间的距离，令

$\Delta :=\left(\begin{array}{cccc}{\delta }_{1,1}& {\delta }_{1,2}& \mathrm{...}& {\delta }_{1,II}\\ {\delta }_{2,1}& {\delta }_{2,2}& \mathrm{...}& {\delta }_{2,II}\\ .& .& & .\\ .& .& & .\\ .& .& & .\\ {\delta }_{II,1}& {\delta }_{II,2}& \mathrm{...}& {\delta }_{II,II}\end{array}\right)$

根据Δ，寻找II个向量x₁,...,x_II∈R^N，使得||x_i-x_j||≈δ_i,j，对于i,j属于II，寻找 (x₁,...,x_II)，使得目标函数最小化。

实际上，当识别结果为数字6或9时，需重新进入一轮识别，仅识别该图像的上半 部。每一幅母图像均有10个随机旋转、比例缩放、平移或加噪后的测试样本。本实施过程中， 设计旋转图像的旋转角度范围为[0,360°]，比例缩放范围为原图像的[0.6,1.2]倍，随机平 移范围为[0,200]个像素点，加噪幅度为0.6倍原图像灰度值以内。

36个母图像与360个测试图像间的距离，利用非经典的多维尺度变换方法，在二维 图像中可视化，如图6所示。其中，字符为36个母图像，点为360个测试样本。图6可视化为一 种模式分类器形式，各类测试图像几乎均接近于各自模板。为此，RSTN不变属性特征充分保 留了特征的选择性信息，使测试样本具有可区分度。从图6中发现，图像特征分布中有一些 重叠区域，如字母J,O和Z,字母C与H，还有数字6和9。但将此处特征分布区域放大后，发现这 些图像仍具有可分度，即本方法的RSTN不变属性特征保留了良好的选择性。

实施例2

为了验证提取图像特征的RSTN不变性，分别对G、F字母的原图像进行不同程度的 旋转、缩放、平移与加噪处理。为了结果可视化比较，将第一阶段与第二阶段输出结果以图 像形式可视化呈现。如图7和图8的(a)是原始图像，其中图7和图8的(b)是(a)第一阶段变换 输出结果，图7和图8的(c)是对(a)第二阶段输出特征图。而后，将图7和图8的(a)进行逆时 针旋转135°，如图7和图8的(d)所示，得第一阶段输出图7和图8(e)。较图7和图8的(b)而言， 相当于水平向右平移45°。然而，第二阶段特征图7和图8的(f)，相对于图7和图8的(c)而言， 几乎不变。为此，原图像即使发生了旋转，经过生物变换的两阶段处理后，提取的图像特征， 并没有发生变化，即所提图像特征具有旋转不变性。分析该现象可知，在第一阶段的间距检 测中，针对给定I，在θ∈[0,180°]范围内，间距检测子对重叠边缘进行求和。为此，第一阶段 输出图像，在纵轴I固定前提下，间距检测体现在横轴水平方向移动。这就是图像边缘发生 旋转时，第一阶段输出没有旋转，而保持水平周期性平移的根本原因。在第二阶段中，边缘 图像的平移，对间距检测几乎没有影响。为此，生物变换方法提取的图像特征，具有旋转不 变性。

图7和图8的(g)和(j)是经过比例缩放的图像，其中图7和图8的(g)缩小为原图的 0.7倍或0.5倍，图7和图8的(j)放大为原图的1.2倍。图7和图8的(h)和(k)分别展示了第一 阶段变换结果。当缩小为原图像的0.7倍时，第一阶段输出图整体下移，而放大为原图像的 1.2倍时，第一阶段输出图整体上移。图7和图8的(i)和(l)是第二阶段的输出特征图，该特 征图像表现非常稳定，图7和图8的(i)和(l)分别与图7和图8(c)几乎一样。其本质原因在 于：由于图像缩小或放大后，两错位边缘在空间频率计算中(即其间距检测过程中)，间距检 测子检测I所有值域范围内的重叠边缘，并将其求和。为此，第一阶段输出图像，仅体现在垂 直I轴方向的变化。即当边缘图像进行尺度变化时，第一阶段的变化结果仅是上下移动，而 非尺度变化。第二阶段中，对于上下平移的图像，其边缘检测同样变化，但其间距检测不受 影响。为此，第二阶段输出特征图，对于比例缩放仍具有不变性。

为了验证图像平移的不变性，将原图像向左上方向平移(-150,-150)，如图7和图8 的(m)所示。并将图像向右下方向平移(150,220)或(150,280)，如图7和图8(p)所示。图7和 图8(n)和图7与图8的(q)是第一阶段的输出图像，图7和图8(o)分别与图7和图8的(r)为第 二阶段输出特征图。可得经过仿生物特征提取后，各阶段输出与原图像第一阶段和第二阶 段输出类似。主要因为平移不变属性与旋转、比例缩放不变属性类似，在图像变换时，图像 重叠错位的边缘轮廓，并没有发生改变。即第一阶段中，间距检测子能检测各方向不同间距 的重叠边缘，重叠区域的总和，不会发生变化。因此，即使图像边缘发生移动，第一阶段输出 图像也不会变化。在第二阶段中，其输入图像几乎一样，为此，即便经过边缘检测与间距检 测，平移图像仍具有不变性。

图7、图8的(s)和图7、图8(v)为加噪后的图像，分别加入0.2倍与0.5倍的随机噪 声，经第一阶段变换后图像分别如图7、图8(t)和图7、图8(w)所示。随着噪声的增加，第一阶 段的输出图像带来了更多干扰。随之，这些干扰将被引入第二阶段的特征图输出中，如图7、 图8(u)与图7、图8(x)所示。较图7、图8(c)而言，图7、图8(u)与图7、图8(x)的特征区域较之 增强，其灰度值较高区域的轮廓非常相似，说明本方法对噪声也具有一定容错能力，即具有 加噪后特征不变性。

通过以上分析可知，即使图像经过旋转、比例缩放、平移与加噪处理，特征图轮廓 均保持了不变性。在此实施过程中，以不同字母作为案例分析。事实上，该实施过程统计了 26个字母与10个数字，所提取特征均具有RSTN不变性

实施例3

在自然场景的交通标志牌识别过程中，图像易受到光照、远近、摄像机角度等因素 的干扰。通常情况下，摄像机与交通标志牌间的距离无法准确获取，图像中交通标志大小也 难以统一确定。为此，导致交通标志牌特征提取的鲁棒性不足，约束了交通标志牌识别性 能。为此，将本方法应用于交通标志牌识别的特征提取中，提取交通标志牌识别过程中的不 变属性特征，对改善其识别率及鲁棒性有重要意义。

图9第一列展示了5种不同尺寸、旋转角度的交通标志，分别表示禁止左行、直行或 左行。这两类标志中圆环与箭头均为突出显著位置。且具有连通性，交通标志牌目标区域存 在强背景噪声干扰。本实施过程中，利用RGB颜色空间分割图像，提取红色与蓝色的连通区 域，实现背景与噪声的抑制。所提取的目标区域，如图9第二列所示。图9图像间存在一定比 例缩放，或目标旋转。图9第三列为第二列的二值图，图9第四列为本方法提取的不变属性特 征图。通过图9可得，即便是交通标志牌图像发生不确定旋转，或比例缩放，特征图高亮区域 轮廓始终保持一致。为此，本方法提取的交通标志牌特征具有不变性。

上述实施过程分析了单连通区域的交通标志牌不变属性特征提取，对于多连通区 域的交通标志牌，需分解成一系列的单连通区域进行分析。而后，再利用本方法分别分割目 标，实施不变属性特征提取。多连通区域的交通标志牌不变属性特征提取流程，如图10所 示。利用RGB颜色空间去除背景，完成图像的分割，生成目标区域。在此基础上，对目标区域 进行二值化处理。并利用四邻域算法对各连通区域添加标签。图10中，圆环、数字3和数字0 分别标注，分为三个不同的连通区域。利用仿生物视觉感知的不变属性特提取方法完成每 一区域分别提取。为此，各区域不变属性特征就组成了原图像的不变属性特征提取。

图11为多连通区域的交通标志牌不变属性特征提取结果，第一列为感兴趣区域内 限速40km/h与30km/h的交通标志牌。第二列为六个不同程度旋转或比例缩放限速标志中， 圆环的不变属性特征图，可得其轮廓几乎一致。第三列分别为数字4或数字3的特征图。最后 一列为数字0不变属性特征图。在未知比例缩放与未知角度旋转的前提下，特征图的高亮信 息区域，几乎保持不变。为此，本方法能提高交通标志牌识别的鲁棒性能。

需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领 域的技术人员能思及的变化，都应落入本发明的保护范围内。