一种基于确定学习理论的与视角无关的步态识别方法

摘要

本发明公开了一种基于确定学习理论的与视角无关的步态识别方法，属于模式识别技术领域。该方法包括以下步骤：预处理；特征提取；基于提取的步态特征，对训练集里不同视角下的步态系统动态进行神经网络建模、辨识；建立常值神经网络；构建动态估计器，利用不同视角下的步态模式之间在步态系统动力学上的差异，根据最小误差原则实现对测试模式的准确分类识别。本发明能够实现对不同视角下人体步态系统动态的局部准确建模和辨识，同时将不同视角下的步态模式组成一个统一的训练步态模式库，能够克服现有方法对于不同视角下的步态模式要分别构建对应训练集进行识别的问题，实现与视角无关的步态识别，具有更高的鲁棒性和实用性。

说明书

技术领域

本发明属于模式识别技术领域，具体涉及一种基于确定学习理论的与视角无关的步态 识别方法。

背景技术

人体步态识别作为一种新兴的生物特征识别技术，旨在从相同的行走行为中寻找和提 取个体之间的变化特征，以实现自动的身份识别。人体行走运动的关节角度变化包含着丰 富的个体识别信息，同时人体行走运动很大程度上依赖于身体外形轮廓随着时间的形状变 化。这种变化反映了个体独有的运动方式,能够有效进行身份识别。通过对步态的分析,我 们可以得到身份、性别、种族等多种有用信息。近年来,随着公共场所的安全形势越来越严 峻，大量的监控摄像头已经被广泛应用于银行、商场、办公楼、地铁站、机场、火车站等 场所。但是目前的监控系统一般只能用来记录发生的事件，很难起到预警和报警作用，因 此智能视觉监控越来越受到重视。理想的智能监控系统应该能够自动分析摄像机采集到的 视频图像数据,对数据进行理解。当发现具有异常行为的人时，系统能及时准确的发出警报。 这就要求监控系统不仅能判断监控场景中人的位置和行为,而且还需要分析获取这个人的 身份特征信息。在监控场景中对行人进行身份识别时，距离往往比较远，所以难以获取特 征。常用的生物特征如虹膜、指纹、手形、声音、签名等因为需要近距离或接触式获取， 因此无法用于监控场景进行人的身份识别。人脸虽然在一定程度上可以从远距离获取，但 是这个距离不能太远。由于步态是一种可以从远距离获取的难于隐藏和伪装的生物特征, 其识别技术已经成为计算机视觉与模式识别领域一个重要的研究方向。

在监控场景中进行步态识别时,最大的难点之一在于视角变化所带来的影响。由于监控 摄像头通常安装在固定的位置，而监控场景中被识别对象的行走方向是随机的，不可能按 照步态识别系统设计者规定的方向行走,视角问题是步态识别无法逃避的问题。视角变化 后，摄像机获取到的行人的外形轮廓会发生很大的变化。从目前的研究来看,很多步态识别 方法在固定视角下或者视角变化幅度不大时可以取得很好的识别性能,但在视角变化较大 时无法处理行人外形轮廓发生的较大变化，对视角变化的鲁棒性不足，很多已有方法的识 别性能会大大降低甚至失效。

发明内容

本发明的目的是克服上述已有方法对视角变化鲁棒性不足的缺点，为不同视角下的人 体步态提供一种更为简洁准确的，能够适应大幅度视角变化的基于确定学习理论的识别方 法。

步态识别本质上可以看作是一个动态模式的辨识与识别问题，而动态模式识别本身就 是模式识别领域的难题之一。在对径向基函数(RBF)神经网络的持续激励特性研究的基 础上，C.Wang等提出了确定学习理论，其中包括对非线性动力学系统产生的动态模式的 辨识、表达和快速识别方法，即通过确定学习获得动态模式内在系统动态的局部准确神经 网络建模，把随时间变化的动态模式以时不变且空间分布的方式有效地表达，进一步利用 动态模式内在的动力学拓扑相似给出动态模式之间的相似性定义，并提出了对动态模式进 行快速识别的一套新方法。

本发明将确定学习理论应用于对不同视角下获取到的人体步态系统动态进行局部准 确建模和辨识，所学习到的步态动力学知识以常值神经网络权值的形式存储，利用不同视 角下步态模式之间在步态动力学上的差异实现与视角无关的步态识别。

本发明的具体技术方案通过如下步骤实现：

步骤一、预处理；

(1)形态学处理：

对训练集和测试集里每一个人在不同视角下的行走视频图像，依次进行前景检测、背 景分离，对已经背景分离的人体运动目标图像进行形态学处理，以去除二值化图像存在的 空洞，获得更优的分割效果；

(2)轮廓提取：

利用8连通分量分析的方法来提取一个单连通的运动目标,即人的侧影,去除残余噪 声,从而获得更优的二值轮廓图；

(3)图像归一化：

根据人体轮廓坐标裁剪出标准的步态图像,得到尺寸归一化图像,其中,图像的大小统 一为64*64像素，提取每一个人在不同视角下的人体步态轮廓序列。

步骤二、特征提取；

(1)步态周期检测：

利用人体轮廓的高度和宽度随时间发生同步周期性改变的特性,通过人体轮廓的高 度与宽度比值的变化信号来划分步态周期；

(2)提取四个不同的人体轮廓宽度特征，构成一组步态特征变量。

将人体轮廓至上而下等分为第一子区域、第二子区域、第三子区域和第四子区域，提 取每一帧轮廓图像下肢区域中第三子区域的最大轮廓宽度值W_d¹、每一帧轮廓图像下肢区 域中第四子区域的最大轮廓宽度值W_d²以及整体轮廓的平均轮廓宽度值W_d³和中间轮廓 宽度值W_d⁴等四个特征，构成一个特征变量x＝[W_d¹,W_d²,W_d³,W_d⁴]^T。

步骤三、非线性步态系统动态的建模和神经网络辨识；

根据步骤二提取出来的步态轮廓宽度特征对非线性步态系统动态建模，设计RBF神经 网络辨识器实现对步态系统未知动态的局部准确逼近。

步态系统动态的建模如下：

$\stackrel{·}{x}=F(x;p)+v(x;p),$

其中，x＝[x₁,…,x_n]^T∈Rⁿ是获取到的步态轮廓特征，p是系统常参数值。

F(x；p)＝[f₁(x；p),…,f_n(x；p)]^T是光滑且未知的非线性动态变量，代表了不同人在不同视角 下的步态系统动态，v(x；p)＝[v₁(x；p),…,v_n(x；p)]^T是建模不确定项，由于建模不确定项 v(x；p)和步态系统动态F(x；p)无法互相解耦，因此，将二者合并为一项：

并定义为一般非线性步态系统动态。步骤三中的神经网络辨识 器用于辨识

神经网络辨识器的形式如下：

$\stackrel{·}{\hat{x}}=-A(\hat{x}-x)+{\hat{W}}^{T}S\left(x\right),$

其中，是神经网络辨识器的状态；A＝diag[a₁,…,a_n]是对角矩阵，a_i是 设计的常数，满足0<|a_i|<1；是动态RBF神经网络，用 来逼近未知的一般非线性步态系统动态S(x)＝[S₁(||X-ξ₁||,…,S_N(||X-ξ_n||]^T是高斯 型径向基函数；N>1是神经网络结点数目；ξ_i是神经元中心点；RBF神经网络权值的调 节律如下：

${\stackrel{·}{\hat{W}}}_i=-{\Gamma }_{i}S\left(x\right){\tilde{x}}_i-{\sigma }_i{\Gamma }_i{\hat{W}}_i,i=1,···,n,$

其中：是状态误差，Γ_i＝Γ_i^T＞0，σ_i＞0是调节律的调节参数，动态RBF神 经网络的权值的初始值

RBF神经网络权值的调节律是根据李雅普洛夫稳定性定理和确定学习理论来设计， 使状态误差与权值估计都有界并指数收敛，其中RBF神经网络的权值收敛有两种情况： 沿步态特征数据回归轨迹的RBF神经网络的神经元满足持续激励条件，其权值收敛到最 优值的小邻域内；远离步态特征数据回归轨迹的RBF神经网络的神经元不受激励而不被 调节，其权值近似为零。

对一般非线性步态系统动态局部准确建模可由如下公式表示：

其中，ε_i1是逼近误差。这里的局部准确建模是通过RBF神经网络对沿步态特征数据 的内在系统动态轨迹的逼近，而远离轨迹的内部动态则不被逼近。

步骤四、常值神经网络的建立；

根据确定学习理论,沿步态系统特征轨迹的RBF神经网络的神经元满足持续激励条件, 其权值收敛到最优值,取权值收敛后的一段时间内各权值的均值作为学习训练结果,并利 用这些结果建立常值神经网络，所学到的动态知识以常值神经网络权值的形式存储。将不 同人在不同视角下的步态模式组成一个统一的训练模式库。

获取相应的神经网络常值权值由如下式子表征：

${\bar{W}}_i={\mathrm{mean}}_{t\in [t_a,t_b]}{\hat{W}}_i,$

其中，[t_a,t_b]代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间 段。这样使得可以由常值神经网络进行局部准确逼近：

其中，ε_i2是逼近误差。

步骤五、分类识别；

利用常值神经网络构建一组动态估计器，把步骤三和步骤四学习到的每一个人在不同 视角下的步态模式所对应的非线性步态系统动力学知识嵌入到估计器中，把测试模式与这 组估计器做差，形成一组识别误差，根据最小误差原则把测试模式准确识别出来。其具体 步骤如下：

(1)根据步骤四所获取的统一的训练模式库中每个人在不同视角下一般非线性步态 系统动态的RBF神经网络辨识结果，即常值神经网络权值构造一组动态估计器，表 述如下：

${\bar{\chi }}_i^k=-b_i({\bar{\chi }}_i^k-x_{\mathrm{ti}})+{\bar{W}}_i^{k}S\left(x_{\mathrm{ti}}\right),i=1,···,n,k=1,···,M,$

其中，χ_i为动态估计器的状态，b_i为动态估计器参数，x_ti为测试集中测试模式的特 征数据，M为统一训练模式库中模式的数量。

(2)将测试集中测试模式的特征数据x_ti与这组估计器做差，得到如下的识别误差系 统：

其中，是状态估计误差，计算的平均L₁范数如下：

${\left|\right|{\tilde{\chi }}_i^k\left(t\right)\left|\right|}_1=\frac{1}{T_c}{\int }_{t-T_c}^t\left|{\tilde{\chi }}_i^k\left(\tau \right)\right|\mathrm{d\tau },t\ge T_c,$

其中，T_c表示步态周期，由步骤二获取。

(3)如果测试集中待识别的某个人出现在某一包含于统一的训练模式库里的视角下 的步态模式相似于训练步态模式s(s∈{1,…,k})，则嵌入动态估计器s中的常值RBF神经 网络能够快速回忆起学过的知识并提供对步态动力学的准确逼近。因此，相对应 的误差在所有误差中变得最小。基于最小误差原则，这一出现的待识别人 能被快速分类识别出来。识别策略如下：

如果存在一个有限时间t^s，s∈{1,…,k}和某一i∈{1,…,n}，使得对所 有t>t^s成立，则出现的测试步态模式可以被分类识别出来。

本发明与现有技术相比，具有如下优点和有益效果：

1、将不同视角下获取的步态模式组成一个统一的训练模式库，能够克服现有方法对于 不同视角下的步态模式要分别构建对应训练集的问题，具有更高的鲁棒性和实用性，能够 实现大幅度视角变化下的步态识别；

2、提取的四个轮廓宽度特征，能够准确地反映视角变化对人体步态系统动力学的影响， 减少用于识别步态的特征维数；

3、与传统的步态识别方法相比，本发明对不同视角下的非线性步态系统动态局部准 确建模，所学习到的步态动力学知识以常值神经网络权值的形式存储，利用不同视角下步 态模式之间在步态动力学上的差异实现与视角无关的步态识别。

附图说明

图1是本发明提出的一种基于确定学习理论的与视角无关的步态识别方法的流程图。

图2是实施例中步态特征提取示意图，图中，将人体轮廓自上而下等分为第一子区域、 第二子区域、第三子区域和第四子区域这四个子区域，A1表示第一子区域，A2表示第二 子区域，A3表示第三子区，A4表示第四子区域。

图3是实施例中采用的RBF神经网络的拓扑结构示意图。

图4是实施例中神经网络权值的收敛情况。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于 此。

实施例

如图1所示，一种基于确定学习理论的与视角无关的步态识别方法，包括以下步骤：

步骤一：预处理过程如下：

本发明采用的步态数据库是中国科学院自动化研究所的CASIA Dataset B数据库。该 数据库共包含124个人，每个人分别有11个不同的视角(0°，18°，36°，54°，72°， 90°，108°，126°，144°，162°，180°),每个视角分别拍摄6个正常行走的序列， 共有124×11×6＝8184个序列，选取其中三个序列作为训练模式，剩下的三个序列作为测 试模式。原始视频尺寸为320×240像素，采样频率是30Hz。该数据库已经将背景分离， 本发明要做的工作是在这基础上进行预处理,从而进行步态周期检测以及轮廓宽度特征的 提取。

(1)形态学处理；

对训练集和测试集里每一个人在不同视角下的行走视频，依次进行前景检测、背景分 离，对已经背景分离的人体运动目标图像进行形态学处理，以去除二值化图像存在的空洞， 获得更优的分割效果；

由于天气、光照、影子等其它外界因素的影响,背景分离后的图像中难免会存在噪声, 因此还需要对图像做进一步处理,以获得最佳的分割效果。本发明使用形态学滤波来消除 二值图像中的噪声并填补运动目标的缺失。作为一种常用的图像滤噪方法,形态学用于图 像滤波的最基本运算是膨胀与腐蚀,由膨胀与腐蚀的相互结合又派生出另外两种运算：开 运算和闭运算。开运算可平滑对象的凸轮廓,断开狭窄的连接,去掉细小的突起部分；闭运 算可平滑对象的凹轮廓,将狭长的缺口连接成细小的弯口，利用这个性质可以实现滤波和 填充空洞的目的。

(2)轮廓提取；

经形态学处理后,仍可能存在部分杂散噪声形成大小不一的块,而真正的运动目标往 往是这些块中最大的。因此对图像进一步进行连通域分析,即利用8连通分量分析的方法 来提取一个单连通的运动目标,目的在于仅保留图像中的运动目标,从而获得更优的二值 轮廓图。

(3)图像归一化；

根据人体轮廓坐标裁剪出标准的步态图像,得到尺寸归一化图像,其中,图像的大小统 一为64*64像素，提取每一个人各个视角下的人体步态轮廓序列。

步骤二：特征提取

(1)步态周期检测；

利用人体轮廓的高度和宽度随时间发生同步周期性改变的特性,通过人体轮廓的高 度与宽度比值的变化信号来划分步态周期；

(2)提取四个不同的人体轮廓宽度特征，构成一组步态特征变量；

如图2所示，将人体轮廓至上而下等分为第一子区域A1、第二子区域A2、第三子区 域A3和第四子区域A4这四个子区域；提取每一帧轮廓图像下肢区域第三子区域A3和第 四子区域A4的最大轮廓宽度值W_d¹,W_d²以及整体轮廓的平均轮廓宽度值W_d³和中间轮廓宽 度值W_d⁴等四个特征，构成一个特征变量x＝[W_d¹,W_d²,W_d³,W_d⁴]^T,步态轮廓特征的提取 如图2所示，其计算如下所示：

${W_d}^1=\underset{Y\in [\frac{2}{4}H,\frac{3}{4}H]}{\max }(X_Y^2-X_Y^1),$

${W_d}^2=\underset{Y\in [\frac{3}{4}H,H]}{\max }(X_Y^2-X_Y^1),$

${W_d}^3=\underset{Y\in [0,H]}{\mathrm{mean}}(X_Y^2-X_Y^1),$

${W_d}^4=\underset{Y\in [0,H]}{\mathrm{median}}(X_Y^2-X_Y^1),$

其中：H为人体轮廓高度，Y为纵轴坐标，X为横轴坐标，如图2所示，表示人 体轮廓最左侧的像素点坐标，表示人体轮廓最右侧的像素点坐标。

步骤三：非线性步态系统动态的建模和神经网络辨识；

(1)设计神经网络辨识器；

采用动态RBF神经网络构造神经网络辨识器，对非线性步态系统动态进行学习的拓扑 结构图如图3所示，动态RBF神经网络辨识器形式如下：

$\stackrel{·}{\hat{x}}=-A(\hat{x}-x)+{\hat{W}}^{T}S\left(x\right),$

其中，是神经网络辨识器的状态；A＝diag[0.8,…,0.8]是对角矩阵， a_i＝0.8是设计的常数；是动态RBF神经网络，用来逼近 未知的一般非线性步态系统动态S(x)＝[S₁(||X-ξ₁||,…,S_N(||X-ξ_n||]^T是高斯型径向 基函数；N＝83521是神经网络结点数目；ξ_i是神经元中心点；神经元均匀分布在区域 [-1,1]×[-1,1]×[-1,1]×[-1,1]之内，且宽度取0.15。RBF神经网络权值的调节律如下：

${\stackrel{·}{\hat{W}}}_i=-{\Gamma }_{i}S\left(x\right){\tilde{x}}_i-{\sigma }_i{\Gamma }_i{\hat{W}}_i,i=1,···,n,$

其中：是状态误差，Γ_i＝15,σ_i＝0.3是调节律的调节参数，动态RBF神经 网络的权值的初始值

对一般非线性步态系统动态局部准确建模可由如下公式表示：

其中，ε_i1是逼近误差，这里的局部准确建模是通过RBF神经网络对沿步态特征数据 的内在系统动态轨迹的逼近，而远离轨迹的内部动态则不被逼近，在一段时间内权值收敛 至常值(最优值)，其学习阶段神经网络权值的收敛情况如图4所示，靠近系统轨迹的神 经元的权值满足部分持续激励条件，从而收敛到其最优值；而远离系统轨迹的神经元受激 励的程度很小而几乎不被调节，基本上保持在零的小邻域内。

步骤四：常值神经网络的建立；

可以由常值神经网络进行局部准确逼近：

其中，ε_i2是逼近误差。

步骤五：分类识别；

利用常值神经网络构建一组动态估计器，把从步骤三和步骤四中学习到的训练步态系 统动力学知识嵌入到估计器中，把测试模式与这组估计器做差，形成一组识别误差，根据 最小误差原则把测试模式准确识别出来，其具体步骤如下：

(1)根据步骤四所获取的统一的训练模式库中每个人在不同视角下一般非线性步态 系统动态的RBF神经网络辨识结果，即常值神经网络权值构造一组动态估计器，表 述如下：

${\bar{\chi }}_i^k=-b_i({\bar{\chi }}_i^k-x_{\mathrm{ti}})+{\bar{W}}_i^{k}S\left(x_{\mathrm{ti}}\right),i=1,···,n,k=1,···,M,$

其中，χ_i为动态估计器的状态，b_i＝-30为动态估计器参数，x_ti为测试集中测试模式 的特征数据，M为统一训练模式库中模式的数量，M＝124×11×3＝4092。

(2)将测试集中测试模式的特征数据x_ti与这组估计器做差，得到如下的识别误差系 统：

其中，是状态估计误差，计算的平均L₁范数如下：

${\left|\right|{\tilde{\chi }}_i^k\left(t\right)\left|\right|}_1=\frac{1}{T_c}{\int }_{t-T_c}^t\left|{\tilde{\chi }}_i^k\left(\tau \right)\right|\mathrm{d\tau },t\ge T_c,$

其中，T_c表示步态周期。

(3)如果测试集中某个人出现在某一视角下的步态模式相似于训练步态模式 s(s∈{1,…,k})，则嵌入动态估计器s中的常值RBF神经网络能够快速回忆起学 过的知识并提供对步态动力学的准确逼近。因此，相对应的误差在所有误差 中变得最小。基于最小误差原则，这一出现的人能被快速分类识别出来。

如表1所示，是本发明中进行识别实验的识别率表格，采用CASIA Dataset B数据库， 建立的统一的训练模式库中包含所有124个人在11个视角下的行走模式，对测试集中所 有124个人的11个视角逐一进行识别实验。

     表1

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限 制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。