基于Gaussian过程的指节图像偏移特征识别方法

摘要

本发明公开了一种基于Gaussian过程的指节图像偏移特征识别方法，具体按照以下步骤进行：步骤1，在类别信息无关联的假设的基础上，将中层偏移测度特征的学习转化为对随机量的学习；步骤2，分析二值多分类高斯场上的后验计算，基于Laplace逼近Gaussian过程的多分类高斯过程学习；步骤3，构造中层随机信息的正定核函数；步骤4，基于Laplace的多分类高斯过程预测；步骤5，利用中层数据的分布学习与预测算法进行指节图像训练学习和固定阈值的图像识别。本发明依据从非参数密度核估计的结果中抽取出的图像灰度位置数据，对图像域上从属于固定阈值区间下偏移集的概率测度进行学习。

说明书

技术领域

本发明属于智能制造技术领域，具体涉及一种基于Gaussian过程的指节图像偏移特征识别方法。

背景技术

随着复杂机电装备集成化、精密化与智能化程度的不断提升，生产过程中的制造系统需进一步提高其敏捷性、适应性与可重复性，高柔性装配技术对高效研发与精密制造有着重要意义。在智能机器人技术的快速发展及其在制造系统中日益广泛地应用这一背景下，智能化的人机协调装配技术被认为是提高装配系统柔性的有效方法。基于机器视觉的人机交互协调装配技术，将图像分析获得的人体装配姿态、动作和意图作为装配机器人任务规划的输入信息，通过协作实现高效高柔性的装配。手部图像及其关联包含手部装配姿态的总体信息，因此图像特征检测手部生物结构是装配操作意图推断的基础。

手势识别主要有两个研究方向，一是使用传感器和探测器等外设工具实现手势识别，此类方法通过传感器进行精确的手部位姿提取，实现较为精准的手势识别，但不够便捷，需要外部设备的支持。另一研究方向是使用拍摄图像进行无标记的手势识别，精确度不够高，鲁棒性与稳定性依然不足，需要进一步研究手部图像特征检测技术以提高其精确度与准确提取手部位姿的能力。

目前在图像特征检测领域涌现出许多新的识别技术，不同领域所使用的方法与其侧重点各有不同，有些侧重于特征提取技术，如Ding利用双重局部二值模式DLBP检测视频中的帧峰值。Yao给出了一种基于LLE的基于过滤器的特征选择方法。在模型建立方面，Wang将一个动作类别作为灵活的身体部分的空间配置数目进行建模，开发了一种层次化的空间SPN方法，模拟子图像内各部分之间的空间关系，并通过SPN的附加层对子图像的相关性进行建模。Priyadarshini Panda提出了特征驱动选择分类算法(FALCON)，优化了机器学习分类器的能量效率。对于特征聚类的研究有助于图像特征分类。H.Li等在解决监控应用中的自动异常检测问题中使用以无监督主成分分析(PCA)为基础的特征聚类算法实现自动选择最优数目的聚类。Jiang提出了一种基于模糊相似度的自组织特征聚类算法用以提取文本特征，该方法运行速度快，可以比其他方法更好的提取特征。Rahmani等提出了一种使用无监督特征学习(UFL)的谱聚类方法。

高斯过程(GP)学习作为一种被普遍使用的特征识别方法，近几年来得到众多学者的广泛研究。由于高斯过程模型易于实现的特点，可以用来优化识别效果，Myung-Ok Shin等提出了一个三维点云的实时分割算法，采用高斯过程提高了分割准确性，以减少过分割效应。高斯过程同样被用来排除异常与模糊的数据。Michele Xiloyanni运用了新颖的高斯过程自回归框架，以学习手关节和肌肉活动的连续映射来计算预期的手部运动。XinweiJiang等将监督潜在线性高斯过程潜变量模型(SLLGPLVM)用于特征提取，对高光谱图像(HSI)分类。

基于肤色模型的图像分割可初步解决手部的图像定位问题，而如指形姿态、指节位置等表征手部生物结构的重要图像特征仍需进一步识别。在手部半握及全握姿态下，对应于手部关节位置处的骨节结构，指节图像的灰度分布在手指局部位置附近呈现不规则凸包结构，可将该非确定性不规则凸包作为指节图像的一种随机隐结构。

随机偏移集自身的分布复杂性，不同偏移参数区间所对应偏移特征间的差异比较大，且偏移参数越远离标准值，其对应特征就越复杂。

发明内容

本发明的目的是提供一种基于Gaussian过程的指节图像偏移特征识别方法，解决了手部指节位置特征识别不准确的问题。

本发明所采用的技术方案是，基于Gaussian过程的指节图像偏移特征识别方法，具体按照以下步骤进行：

步骤1，在类别信息无关联的假设的基础上，将中层偏移测度特征的学习转化为对随机量的学习；

步骤2，分析二值多分类高斯场上的后验计算，基于Laplace逼近Gaussian过程的多分类高斯过程学习；

步骤3，构造中层随机信息的正定核函数；

步骤4，基于Laplace的多分类高斯过程预测；

步骤5，利用中层数据的分布学习与预测算法进行指节图像训练学习和固定阈值的图像识别。

本发明的特点还在于，

步骤1中：

利用高斯过程模型，以观测数据作为训练样本集X，选用Bernoulli分布表示图像固定位置处对单类别标签的概率，以随机场上类别标签y的概率结果作为训练输出；假设不同图像位置间的不同标记类无关，而同类标签的联合分布具有Gaussian特点，并利用Gaussian场函数f表示同类别间的标记关联：

其中，位置i处标签取值为{0,1}，f的向量形式为且具有先验形式K为对应的协方差函数，n为训练数据量。对中层偏移测度特征的学习转化为了对随机量f的学习。

步骤2中：

由于Gaussian场f_i＝f(·|x_i)为高斯类函数，其后验形式也保持高斯格式：

隐函数f的最大后验估计定义为

后验模型似然值的对数形式可表示为：

其中，K为协方差矩阵，Π是Gibbs分布π对应cn*n规模的列分块阵。

步骤3中：

多分类学习算法使用的协方差矩阵考虑了高层数据学习的结果，将高层数据模型信息代入到中层数据学习的协方差矩阵中，使用的3分类学习过程；

K(x,x')＝diag{k₁,k₂,k₃}

并设计参数阵p＝[1,0.5,0.25；0.5,1,0.5；0.25,0.5,1]；其中子对角阵k₁对应图像中层数据集中75％～85％密度估计水平的图像观测数据位置，而在子对角阵k₂的设计中，对应于图像中层数据集中60％～75％密度估计水平的图像数据，k₃在底层数据，即图像中层数据集中50％～65％密度估计水平范围。

步骤4中：

测试数据x_*的标记预测的隐向量函数f_*服从逼近分布：

f_*～q(f_*|X,y,x_*)

在Bayesian条件分布下，训练数据集X中测试位置x_*的预测表示为积分形式：

q(f_*|X,y,x_*)＝∫p(f_*|X,x_*,f)q(f|X,y)df

由于上式中p(f_*|X,x_*,f)与q(f|X,y)均为高斯型分布，测试数据x_*的c类标记预测均值为：

其中k_c(x_*)为测试数据x_*与所有训练集数据X间的c类标记协方差向量。

步骤1具体为：依据从非参数密度核估计的结果中抽取出的图像灰度位置数据，对图像域上从属于固定阈值偏移集的概率测度进行学习；利用高斯过程(GaussianProcess)模型，选用Bernoulli分布表示图像固定位置处对单类别标签的概率，实现随机场上类别标签分类。

步骤2具体为：通过分析二值多分类高斯场上的后验计算，得到了训练数据的后验模型的似然值计算描述形式；

步骤3具体为：多分类学习算法使用的协方差矩阵考虑了高层数据学习的结果，将高层数据模型信息代入到中层数据学习的协方差矩阵中。

步骤4具体为：采用蒙特卡洛方法对预测均值与预测协方差矩阵进行采样，获取采样均值作为后验预测，得到基于Laplace的多分类高斯过程预测算法及流程。

步骤5具体为：利用前述的中层分布学习与预测算法，利用远指节、中指节图像样本库，对每幅图像的中层数据多分类模型进行学习，将训练图像库上模型预测结果的均值统计作为最终的预测结果，利用该分类模型结果对指节图像库进行固定阈值目标识别验证。

本发明的有益效果是，

依据从非参数密度核估计的结果中抽取出的图像灰度位置数据，对图像域上从属于固定阈值区间下偏移集的概率测度进行学习；

通过对偏移集分布的学习与建模，实现灰度粒子随机模型的双侧估计；

利用指节图像的聚类特征，细化了手部生物结构的描述，检测结果稳定可靠，计算效率高。

无需操作者穿戴其他设备与仪器，即可通过机器视觉检测指关节，为描述细化手部姿态和行为识别提供了便利，减轻了穿戴设备及仪器对操作者的身体负担，消除了由此带来的操作笨拙不灵敏问题；

在对指节图像高层数据提取的基础上，检测识别中层数据，补充高层数据的识别中的不足，以实现基于手部图像的指节识别。

附图说明

图1(a)、图1(b)、图1(c)分别是本发明基于Gaussian过程的指节图像偏移特征识别方法的手部关节中层数据第1类、第2类和第3类的标签观测图；

图2是本发明基于Gaussian过程的指节图像偏移特征识别方法的基于Laplace的多分类高斯流程图；

图3(a)、图3(b)分别是远指节图像中层数据学习协方差矩阵图和中指节图像中层数据学习协方差矩阵图；

图4(a)、图4(b)、图4(c)分别是本发明的远指节图像中层数据学习分类标签学习结果的第1、2、3类隐标记图；

图5(a)、图5(b)、图5(c)分别是本发明的中指节图像中层数据学习分类标签学习结果的第1、2、3类隐标记图；

图6(a)、图6(b)、图6(c)分别是本发明的远指节图像中层数据隐标签Gaussian过程学习结果的第1、2、3类隐标记图；

图7(a)、图7(b)、图7(c)分别是本发明的中指节图像中层数据隐标签Gaussian过程学习结果的第1、2、3类隐标记图；

图8(a)、图8(b)分别是本发明的远指节图像库的ROC曲线图和中指节图像库的ROC曲线图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于Gaussian过程的指节图像偏移特征识别方法，具体按照以下步骤进行：

步骤1，在类别信息无关联的假设的基础上，将中层偏移测度特征的学习转化为对随机量的学习；

由于中层数据中分布形式较为复杂，为获得特征相对明显且具有一定分辨力的中层偏移密度分布模型，依据非参数密度核估计结果，取所选区间段内偏移参数对应的图像灰度位置数据作为随机图像双侧偏移集的观测，在偏移参数区间[0.50,0.85]，将中层数据依所属密度水平值的高低进一步分为对应于3类标签的多层结构，如图1所示。图1(a)对应0.70～0.85区间段的观测值，图1(b)对应0.60～0.75区间段，而图1(c)则对应为0.50～0.65。随着偏移参数的减小，图1(a)中的分布模式具有一定的曲线回归特点，进而在图1(b)中显示出了一定的聚类趋势，而图1(c)则体现出了扩散特点。对比图1(a)、图1(b)、图1(c)中各图间的过渡方式，可看出中层数据分布并不明显具有高层数据分布中所隐含的聚类模式或趋势，反而体现出了随机场特点，即中层数据的总体分布具有从聚类到不规则扩散的过渡特征。在上述对中层数据分布特征的判断下，可采用随机场多分类建模方法对上述“聚类-扩散”分类模式中三个参数段的典型分布状态进行学习，获取式图像灰度估计中偏移测度在平面域上的估计结果。

针对随机场上的多分类问题，考虑到不同的标签值对应不同的水平参数区间，且标记类别值在有限离散空间上进行取值，同时图像位置处对应多类别标签间的关系并不是完全确定的，因此对所有类别标签的随机分布需进行统一建模与表示才能较好地恢复中层数据分布的整体特征。

本发明利用高斯过程(Gaussian Process)模型，以观测数据作为训练样本集X，选用Bernoulli分布表示图像固定位置处对单类别标签的概率，以随机场上类别标签y的概率结果作为训练输出。而三类标签间的分布模式进一步包含有两类信息，其一为同一位置处状态标签的激活与转换，其二是不同位置多状态间的分布关系。针对前者，利用Gibbs形式表示标签对应多项式分布中的参数关联；考虑到学习过程复杂性的限制，假设不同图像位置间的不同标记类无关，而同类标签的联合分布具有Gaussian特点，并利用Gaussian场函数f表示同类别间的标记关联:

其中，位置i处标签取值为{0,1}，f的向量形式为且具有先验形式K为对应的协方差函数，n为训练数据量。在类别信息无关联的假设下，K具有对角阵的形式K＝diag{k₁,k₂,...,k_c}，其中k_c表示每一类标签数据间的信任度关联。因此，对中层偏移测度特征的学习转化为了对随机量f的学习。

步骤2，分析二值多分类高斯场上的后验计算，基于Laplace逼近Gaussian过程的多分类高斯过程学习；

由于Gaussian场f_i＝f(·|x_i)为高斯类函数，因此其后验形式也保持高斯格式：

隐函数f的最大后验估计定义为在Bayesian框架下：

p(f|X,y)＝p(y|f)p(f|X)/p(y|X) (4)

由于测试数据集X的分类标记y与f不直接相关，即p(y|X)不显含f，则f的后验最大化解对应的对数似然：

后验解即对应为的零点，对上式进行微分后获得：

该式的零点即为隐函数f变量的预测解

进一步利用以下微分关系：

即：

其中Π是Gibbs分布π对应cn*n规模的列分块阵。利用Newton迭代格式获得隐函数更新：

由于矩阵K为规模较大的cn*cn对角分块阵，带宽较大，为提高求逆的精度与速度，需对其进行以下分解：

其中E＝(K+D^-1)^-1＝D^1/2(I+D^1/2KD^1/2)^-1D^1/2。

对以上迭代过程的收敛监测由训练数据的似然值表示：

p(y|X)＝∫p(y|f)p(f|X)df＝∫exp(Ψ(f))df (12)

在Laplace逼近下，式(12)在Ψ(·)局部近似下的形式为：

训练数据对后验模型的似然值可近似为：

而式(14)中的积分项可简化为：

似然值的对数形式可表示为：

由此获得基于整体训练数据集的隐函数后验更新，算法如图2所示。具体流程如下：

①输入观测量标记y，协方差矩阵_K，概率标记函数初始化f:＝0

②计算当前观测变量标记分布律：

其中

③对每一类隐标签c＝1,2,…,C,计算：

z_c:＝∑_ilogL_ii；

④计算过渡参数：

M:＝Cholesky(∑_iE_i)

b:＝(D-ΠΠ^T)f+y-π，c:＝EKb

a:＝b-c+ERM^T(M(R^Tc))f:＝Ka

⑤计算目标函数，判断其是否收敛，如果没有收敛，则返回②。

⑥计算边缘似然预测以及隐标记分布边缘预测：

步骤3，构造中层随机信息的正定核函数；

不同系统下方差矩阵的设计包含对训练数据集的不同理解，为进一步提高GP模型的学习效果，一方面考虑到图像数据间的提取过程与其物理意义间的关联，另一方面考虑到实际图像数据在抽取过程中靠近高层数据分布这一特点，本发明多分类学习算法使用的协方差矩阵考虑了高层数据学习的结果，将高层数据模型信息代入到中层数据学习的协方差矩阵中。针对本发明使用的3分类学习过程，

K(x,x')＝diag{k₁,k₂,k₃}>

并设计参数阵p＝[1,0.5,0.25；0.5,1,0.5；0.25,0.5,1]。

其中子对角阵k₁对应图像中层数据集中75％～85％密度估计水平的图像观测数据位置，经过测试发现，该类别数据集的聚集程度虽然弱于前述高层数据模型，但仍具有一定的聚类趋势，因此该类别数据间的关联信用可设计为指数聚类形式，寻找观测数据对应最为接近的1个聚类组份，x与x'间聚类趋势的最终关联结果利用各向同性的指数函数进行判别，其中参数阵p_ij的设计表示对两观测数据各自所属最佳高层聚类组份的标号进行进一步确认，即当两个图像中层数据同属于一个高层模型中的聚类组份时，互相具有较高的信任度。

而在子对角阵k₂的设计中，对应于图像中层数据集中60％～75％密度估计水平的图像数据，其分布已不再具有聚类趋势，而是环绕在各聚类中心周围，聚类中心对该类别数据既具有一定的吸引性同时也有较强的排斥性，因此考虑在该类别图像观测位置对应的高层模型似然值基础上加入一定的经验偏置△，本发明中该偏置取为经验值0.7。在底层数据，即图像中层数据集中50％～65％密度估计水平范围中，其位置分布基本已同聚类无关，仅使用距离形式。

k₃(x,x')＝exp{-||x-x'||/l}>

图3(a)和图3(b)给出了远指节图像与中指节图像中层数据多分类模型学习过程中的协方差矩阵示例，其中协方差规模为3n*3n，n为训练图像中层密度观测集的数据量。可看出不同对角分块阵对类别位置信任度存在一定差异，仅使用距离形式的子阵k₃对同类别的灰度粒子位置有更强的相容关联，而考虑聚类形式的子阵k₁携带的数据关联度最小，从侧面说明了中层数据的整体扩散趋势较强而聚类趋势相对较弱。

步骤4，基于Laplace的多分类高斯过程预测；

测试数据x_*的标记预测的隐向量函数f_*服从逼近分布：

f_*～q(f_*|X,y,x_*)>

在Bayesian条件分布下，训练数据集X中测试位置x_*的预测表示为积分形式：

q(f_*|X,y,x_*)＝∫p(f_*|X,x_*,f)q(f|X,y)df>

由于上式中p(f_*|X,x_*,f)与q(f|X,y)均为高斯型分布，测试数据x_*的c类标记预测均值为：

其中k_c(x_*)为测试数据x_*与所有训练集数据X间的c类标记协方差向量。预测协方差矩阵：

其中Σ为C×C矩阵，子对角阵形式为本发明采用蒙特卡洛方法对以上预测均值与预测协方差矩阵进行采样并获取采样均值作为后验预测。随机场上基于训练集的预测流程为：

①输入后验边缘预测协方差矩阵K，检测量x；

②计算当前观测变量标记分布律Π：

其中

③对每一类隐标签c＝1,2,…,C,计算：

M:＝Cholesky(∑_iE_i)

c:＝E_c(R(M^T(M(R^Tb))))

④对每一类隐标签c'＝1,2,…,C,计算：

⑤初始化蒙特卡洛后验采样：π_*:＝0

⑥采样测试位置标记的后验分布：

⑦计算正则化估计向量：

⑧计算标记类别预测向量：

步骤5，利用中层数据的分布学习与预测算法进行指节图像训练学习和固定阈值的图像识别。

利用本发明的中层分布学习与预测算法，分别在51幅远指节图像正样本库与51幅中指节图像正样本库中，对每幅图像的中层数据多分类模型进行学习，如图4和图5所示，并将训练图像库上模型预测结果的均值统计作为最终的预测结果，如图6所示。图4(a)、图4(b)、图4(c)和图5(a)、图5(b)、图5(c)和图6(a)、图6(b)、图6(c)从左至右依次为第1、2、3类隐标记。

据图6和图7中的预测结果可以看出，手指图像中层数据的3分类标签学习结果能够较明显地显示模型的设计目标，学习预测的标记结果也符合指节图中层数据分布的假设。

利用学习获得的图像中层分类模型结果分别在1202幅远指节图像库、2936幅中指节图像库中进行固定阈值目标识别，每个图像库中正负样本量各占50％，测试识别结果的工作特性曲线(ROC)曲线如图8所示。图8中，图8(a)图为远指节图像库的ROC曲线，图8(b)图为中指节图像库的ROC曲线。工作特性曲线上的曲线下面积(AUC)总体衡量了识别器的识别能力，根据图6所示的识别结果可以看出，图8(a)和图8(b)中两个图像库上的曲线下面积均达到0.7以上，分别为0.7101和0.8310，表明中层模型学习结果具有一定的识别能力。

本发明针对图像随机模型单侧偏移密度的学习问题，利用基于Laplace逼近Gaussian过程模型，依据从非参数密度核估计的结果中抽取出的图像灰度位置数据，对图像域上从属于固定阈值区间下偏移集的概率测度进行识别。通过对偏移集分布的学习与建模，实现灰度粒子随机模型的双侧估计。经过对样本集训练得到固定阈值，进行固定阈值图像识别，结果表明相应算法具有可行性。