人体动作流形特征提取与建模识别研究

摘要

人体动作识别广泛应用于视频检索、视频监控和人机交互等多个方面。近年来，随着视觉认知理论的发展，基于时空数据的流形表征与建模识别人体动作受到了越来越多的研究者关注。然而人体动作时空数据的多样性、空间拓扑结构的复杂性、时间拓扑结构的动态性、不同个体执行的多变性、以及人体动作因环境因素的影响等，给人体动作识别和人体行为理解带来巨大的挑战。如何使计算机具备人类的视觉感知和理解认知，进一步识别和理解人体动作，是计算机视觉、模式识别和图像处理领域内研究的热点和难点。本文以此问题为中心展开研究工作，主要的研究成果有:
　　(1)人体动作高维数据具有低维流形的本质特性，而在高维数据中基于欧氏距离构建的局部流形拓扑结构可能置乱本质的局部流形拓扑结构。针对此问题提出Grassmann流形的多聚类特征选择算法，算法通过局部主成分分析方法逼近数据点的切空间，获取局部数据的主要变化方向，滤除由欧氏距离度量造成拓扑结构置乱点的影响。然后由切空间构造出Grassmann流形，通过Grassmann流形测地距保留局部数据的流形拓扑结构，以L1范数优化逼近流形拓扑，最终选择出低维的原本数据特征。在多个数据库中证实了算法的有效性，为进一步获取人体动作低维本质的流形表征提供了可行的理论方法。
　　(2)针对视频图像中人体目标与背景相似难以分割的实际问题，提出了基于分层引导的视频人体目标轮廓提取算法。算法以贝叶斯理论为基础，描述人体轮廓相关的帧内空间信息、形状先验信息和帧间时间信息之间复杂关系和理论模型。基于马尔科夫理论建立帧内空间随机场模型，基于高斯分布理论建立帧间信息分布模型，以分层引导的思想实践理论模型，从而获得较完整的人体轮廓。在实际的监控数据中证实算法的有效性，为进一步获取人体动作表征提供了数据支持。
　　(3)针对数据特征结构在不同观测中描述缺失或不完整的问题，在流形学习的基础理论上，提出三种异构特征融合算法。第一种算法根据数据局部结构融合，提出了基于局部保留映射的流形结构融合算法;第二种算法根据数据局部近邻关系结构融合，提出了基于最近邻近保留嵌入的流形结构融合算法;第三种算法根据子空间局部结构融合，提出基于张量子空间的流形结构融合算法。这些算法主要包含两个方面内容，一方面描述向量特征结构的度量方法和向量空间的度量方法，另一方面揭示出不同特征流形结构融合的机理。在轮廓数据中验证了异构融合方法的有效性，为进一步人体动作异构特征融合提供了可行的理论方法。
　　(4)从两个方面对人体动作建模进行研究。一方面，从动态数据特性建模的角度，提出了基于随机谱回归的人体动作建模方法，首先根据人体动作数据在流形上的均匀分布和人体动作分类标签构建权值矩阵，克服流形学习算法的邻域参数选择问题;然后通过谱回归的方法，在相同和不同人体动作图像帧中逼近基于帧的空间流形，获得对未标记样本的流形映射;最后对空间特征序列提取动态特征，使用高斯过程建模对人体动作特征进行分类。另一方面，从建立动态模型的角度，提出基于异构特征空间分布特征的ARMA建模研究方法。在方法中，利用相对极坐标划分特征（轮廓和光流）的空间区域，在局部区域统计非零信息点的数目，形成空间分布特征描述表面特征。然后利用自回归滑动平均动态模型(ARMA)建模空间特征序列，形成模型参数特征描述动态时间结构特征。最后通过各参数特征的相似矩阵线性关系假设，优化求解结构融合参数，结构融合表面特征和动态运动特征，形成表面特征和动态特征的统一性描述特征。在公用的数据库中得到无监督学习情况下更好的识别率。

目录

声明

摘要

1 绪论

1．1 研究背景及意义

1．1．1 人体动作识别的挑战性

1．1．2 人体动作识别的应用

1．2 人体动作特征提取方法研究进展

1．2．1 轮廓及扩展表征研究进展

1．2．2 光流及扩展表征研究进展

1．2．3 梯度及扩展表征研究进展

1．2．4 兴趣点及扩展表征研究进展

1．3 人体动作建模识别方法研究进展

1．3．1 概率图模型的人体动作识别方法研究进展

1．3．2 线性回归模型的人体动作识别方法研究进展

1．3．3 非线性动力学模型的人体动作识别方法研究进展

1．4 本文主要研究内容

1．4．1 人体动作完整轮廓特征提取的理论方法的研究

1．4．2 人体动作多特征的结构融合的理论方法的研究

1．4．3 人体动作建模识别的理论方法的研究

1．5 本文的组织结构

2 多聚类特征选择

2．1 问题描述

2．2 方法思想概述

2．3 流形和Grassmann流形

2．3．1 流形的相关定义

2．3．2 流形之间的关系

2．4 基于Grassmann流形的多聚类特征选择方法

2．4．1 GMCFS算法

2．4．2 GFS算法

2．4．3 FGFS算法

2．5 实验分析与讨论

2．5．1 聚类结果的评价指标

2．5．2 聚类测试比较实验结果分析

2．5．3 聚类参数影响

2．5．4 算法的计算复杂度分析

2．5．5 人体动作图像多聚类特征选择实验

2．6 本章小结

3 人体轮廓特征提取

3．1 问题描述及方法思想概述

3．2 最大后验概率的估计框架

3．3 相邻帧间差异模型

3．4 帧内空间马尔科夫随机场模型

3．5 基于分层引导视频人体目标轮廓提取算法

3．5．1 预处理

3．5．2 初始分割标记的能量函数构建与求解

3．5．3 修补分割标记的能量函数构建与求解

3．5．4 先验引导分割标记的能量函数构建与求解

3．5．5 融合分割标记并后处理

3．6 实验分析与讨论

3．6．1 检测结果比对

3．6．2 分割结果比对

3．6．3 实验结果分析

3．6．4 人体动作轮廓提取实验

3．7 本章小结

4 异构特征的流形结构融合

4．1 问题描述

4．2 研究现状

4．3 方法思想概述

4．4 异构特征描述

4．5 结构的度量

4．5．1 向量的测度

4．5．2 向量空间的测度

4．6 流形结构融合

4．6．1 基于局部保留映射的流形结构融合

4．6．2 基于最近邻保留嵌入的流形结构融合

4．6．3 基于张量子空间的流形结构融合

4．7 实验分析与讨论

4．7．1 结构融合特征聚类比对

4．7．2 结构融合特征分类比对

4．7．3 结构融合特征的几何变换实验

4．7．4 结构融合特征的非线性变换实验

4．7．5 结构融合特征和现有方法的比对

4．8 本章小结

5 人体动作动态数据特性建模

5．1 问题描述

5．2 研究现状

5．3 方法思想概述

5．4 基于随机谱回归的流形学习算法

5．5 数据动态特性计算

5．5．1 趋势和季节性

5．5．2 自相关性

5．5．3 非线性测度参数

5．5．4 偏态和峰态

5．5．5 自相似性

5．5．6 混沌性

5．5．7 周期性

5．6 高斯过程建模分类

5．6．1 高斯过程建模与训练

5．6．2 laplace逼近法求p(f／u,v)的估计值q(f／u,v)

5．6．3 对u*无标记样本的分类概率估计

5．7 实验分析与讨论

5．7．1 人体动作识别性能测试

5．7．2 算法比较分析

5．7．3 算法鲁棒性测试

5．8 本章小结

6 人体动作建立动态模型

6．1 问题描述

6．2 研究现状

6．3 方法思想概述

6．4 异构特征空间分布结构描述

6．5 ARMA动态建模方法

6．5．1 建立人体动作特征序列从ARMA模型

6．5．2 C估计值求解

6．5．3 A估计值求解

6．5．4 人体动作观测矩阵的生成

6．6 特征结构融合

6．7 实验分析与讨论

6．7．1 在Weizmann数据库中评估

6．7．2 在KTH数据库中评估

6．8 本章小结

7 总结与展望

7．1 全文总结

7．2 研究展望

致谢

参考文献

攻读博士期间的主要研究成果