人机协调装配的手部生物特征图像识别

摘要

随着智能机器人技术的快速发展与在制造系统中的广泛应用，要求使用智能化的人机协调装配技术以应对复杂机电产品装配系统的高柔性需求。在人机交互协调的机械装配系统中，为有效实现机器人对操作人员手部装配动作的识别，需对手部装配图像进行生物结构的特征检测。本文通对装配图像中手部多生物特征的深入分析、提取与识别，实现了基于结构化特征的装配手形拟合。
　　在肤色建模的基础上，利用图像肤色分割解决手部位置的图像定位问题，为手部的位姿估计提供了基础。基于聚类学习方法在RGB色彩空间上建立了肤色混合高斯模型，通过期望最大化算法实现了对肤色非线性分布的离线训练。结合YCrCb色彩空问上的稀疏化高斯模型，借助在线快速学习方式提高了肤色模型对具体装配测试场景下光照的适应性，实现了基于多色彩空间上不同肤色模型的手部图像定位。
　　深入分析了指节灰度图像随机特征的建立、观测与学习方法。在Poisson Gaussian随机场模型中，将超参数场上偏移测度对应的统计分布作为图像的隐特征。依据Bayesian方法构建了随机偏移特征的条件形式，给出了基于偏移测度多信息融合的图像特征表示。
　　分别对指节图像上两类偏移特征进行学习，利用分类融合思想对特征信息进行了综合，实现了指节位置的图像检测。将指节灰度图像中单侧偏移集与双侧偏集的分布作为随机场上的两种偏移特征，利用有限混合分布、Dirichlet过程混合模型两种随机聚类方法与Gaussian场多分类模型对以上两类图像特征进行了学习。将两类特征的融合结果作为指节图像检测的依据，提高了检测识别率。
　　在考虑生物结构特征约束的基础上，对手部图像中的多生物特征进行关联与综合，实现了手部结构化的特征检测。依据肤色模板轮廓链的几何信息对指根、指尖特征进行检测以实现指形位置的初步识别，结合指节图像的检测结果丰富指形区域内的局部特征信息。同时利用手部姿态约束对腕关节位置进行推断，实现了手部图像多生物特征的有效检测与识别。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景与意义

1.2 手部图像生物特征结构化检测的国内外研究进展

1.3 本文的主要研究工作

2 手部图像肤色特征识别及在线学习

2.1 期望最大化算法与肤色的混合高斯模型

2.2 基于稀疏化高斯模型的在线快速学习

2.3 基于多模型的肤色识别算法

2.4 本章小结

3 指节图像的随机场建模及其偏移特征

3.1基于Poisson Gaussian随机场的图像建模

3.2 图像随机场上的偏移集特征

3.3 偏移密度特征分布的Bayesian估计

3.4 图像的特征增强与扩散滤波演化

3.5 基于偏移测度特征的手部关节图像建模与学习

3.6 本章小结

4手部指节图像偏移密度分布模型的学习

4.1 指节图像高层数据模型

4.2 指节图像中层数据模型

4.3 基于两层观测数据学习结果的指节图像识别

4.4 本章小结

5 手部图像的指形检测与生物特征综合

5.1 手部轮廓信息计算

5.2 基于轮廓链信息的指尖、指根检测与腕部位置推断

5.3 手部图像生物特征融合

5.4 本章小结

6 总结与展望

6.1 全文总结

6.2 研究展望

致谢

参考文献

附录A 肤色与非肤色训练的样本集

附录B图像的Poisson Gaussian随机场表示

附录C 随机场上的偏移集