基于视觉认知的人体行为特征提取模型研究

摘要

人体行为识别(HAR)是一个非常活跃的研究领域,在智能监控、人机交互和基于内容的视频检索等方面具有广阔的应用前景。提取人体行为的运动学特征是实现HAR的关键一步。好的运动特征不仅可以对不同的行为类型具有良好的“区分性”描述,还能在各种复杂的条件下对同一种行为具有良好的“不变性”描述。然而,目前主流的HAR方法都没能超越计算机视觉的范畴,仍然停留在传统的信号处理加模式识别的结构上,很难实现上述“区分性”和“不变性”的统一。
　　 灵长动物具有最合理的视觉模式识别功能。1981年诺贝尔生理学或医学奖得主Hubel和wiesel提出了视神经细胞感受野综合的假设。他们认为,视神经细胞在视觉通路中按等级分布,当前层次的神经细胞感受野由上一层次综合而成,层次越高对应的感受野区域就越大,能够认知的视觉刺激也就越复杂。将这种神经生理学和认知心理学的实验证据应用于计算机视觉领域,是解决上述难题的有益尝试。本文以视觉认知过程中人体行为特征的有效提取为重点,从对灵长动物视觉特征提取机制的建模、提取人体行为的显著时-空关联特性、以及改进简单视神经细胞感受野模型三个方面展开了研究。通过融合这三方面的研究成果,提出了新的特征提取模型,并根据实验验证了该模型的有效性。
　　 在人体行为的描述上,针对目前基于表观的特征提取算法缺乏对运动对象同时具有“区分性”和“不变性”描述的问题,本文对灵长动物视觉皮层各级神经元的工作机制进行了研究。根据神经细胞感受野综合的假设,对各层次之间的突触连接推导出了统一的数学模型,提出了具有“前向带权多层次结构”的视觉特征提取模型。该模型与传统的人工神经网络具有相似的拓扑结构,其不同层次交替实现两类功能:1.反映神经细胞感受野的最佳偏好,对具有“区分性”的视觉特征的提取;2.使神经细胞对输入信息进行选择,通过“尺度竞争”和“位置竞争”,对具有“不变性”的视觉特征的选择。该模型随着层级的加深,对视觉信息的认知不断抽象,最终在语意层次实现了视觉特征的描述。
　　 目前基于分析运动对象“时空体”的HAR模型缺乏对显著运动区域的关注。本文将人体行为的时-空关联性作为研究重点之一,通过提取人体局部显著运动部位,减少了运动特征提取模型对冗余信息的使用。在人体行为的预处理阶段,从两个不同的角度提出运动显著区域(MSR)的提取算法:距离计算法和局部运动能量算法。前者利用图像的几何特征,通过求泊松方程离散近似解得到;后者则根据运动本身的特点,通过比较运动对象“时空体”在不同方向上的局部能量得到。实验证明,上述两个算法较准确的提取出了具有显著局部运动特性的人体部位。作为生物视觉特征提取模型的输入,这两种MSR算法在提高人体运动特征描述的有效性方面做出了较大的贡献。
　　 二维Gabor小波常被用于拟合哺乳动物简单视神经细胞感受野的响应特性。针对二维Gaobr函数包含直流(DC)分量和缺少高频响应这两方面的缺陷,本文最后着重研究了灵长动物对底层视觉特征的感知方式,改进了目前的简单神经细胞数学模型,建立了更加紧凑的底层特征描述方式。作者提出了多尺度、多朝向条件下,能够使用较少的滤波器覆盖更广阔的空间-频率范围的二维Log-Gabor滤波器库。根据实验,本文为该滤波器库求得了最佳的,能够覆盖简单细胞感受野频域响应范围的参数组合。将该滤波器库应用到视觉特征提取模型,不但可以对底层运动特征进行更准确的描述,还减少了特征提取模型的参数量,提高了模型的运算效率。
　　 图62幅,表15个,参考文献134篇。

目录

文摘

英文文摘

致谢

1 绪论

1.1 课题的提出

1.2 国内外研究现状

1.3 生物视觉系统模型

1.3.1 Cognitron模型

1.3.2 前馈等级模型

1.3.3 SEEMORE模型

1.3.4 反馈模型

1.4 论文的研究内容及成果

1.4.1 论文的研究内容

1.4.2 论文的研究成果

1.5 论文的主要内容与结构安排

2 灵长动物视觉通路概述

2.1 灵长动物视觉皮层

2.2 视觉通路的功能与特性

2.2.1 视觉通路具有串行性

2.2.2 视觉通路具有并行性

2.3 视觉皮层感受野综合的假设

2.3.1 视神经细胞感受野

2.3.2 感受野综合的假设

2.4 本章小结

3 视皮层腹侧流计算模型

3.1 问题描述

3.2 相关工作介绍

3.2.1 简单细胞的数学模型

3.2.2 视觉通路分层机制

3.2.3 总结分析

3.3 通用神经元连接模型的数学推导

3.3.1 单一神经元基本模型

3.3.2 欧氏距离匹配的近似

3.3.3 高斯函数的近似

3.3.4 神经元连接模型

3.4 灵长动物腹侧流通路模型

3.4.1 模型概述

3.4.2 简单细胞模型

3.4.3 复杂细胞模型

3.4.4 超复杂细胞模型

3.4.5 更高层次细胞感受野模型

3.5 使用FHM进行人体行为识别

3.5.1 人体行为的时空描述

3.5.2 对视觉皮层特征的分类

3.6 实验结果与分析

3.6.1 人体行为数据库及其使用

3.6.2 FHM模型的实现及系统环境

3.6.3 基准模型介绍

3.6.4 VCF特征中参数n的选择

3.6.5 VCF特征的不变性

3.6.6 实验比较

3.7 本章小结

4 运动对象时空显著区域的提取

4.1 问题描述与主要内容

4.2 相关工作介绍与分析

4.2.1 视觉显著图的概念

4.2.2 提取人体MSR的动态显著性算法

4.3 时空体显著运动区域的提取

4.3.1 使用距离计算法求MSR

4.3.2 使用局部运动能量法求MSR

4.4 实验结果与分析

4.4.1 阈值的选择

4.4.2 运动对象的MSR图对VCF特征维数的影响

4.4.3 MSR图在提高FHM方法识别效率上的贡献

4.5 本章小结

5 简单细胞感受野的二维Log-Gabor函数建模

5.1 问题描述与主要内容

5.2 相关工作介绍与分析

5.3 二维Log-Gabor函数对简单细胞的建模

5.3.1 简单细胞感受野响应的空域和频域特性

5.3.2 Log-Gabor函数较Gabor函数的优势

5.3.3 二维Log-Gabor函数的构造

5.3.4 使用二维Log-Gabor滤波器库对简单细胞建模

5.4 实验结果与分析

5.4.1 二维Log-Gabor滤波器库参数组的选择

5.4.2 与Gabor滤波器库的比较

5.5 本章小结

6 论文工作总结与展望

6.1 论文工作总结

6.2 进一步的工作

6.3 展望

参考文献

作者简历

攻读博士学位期间发表的学术论文(第一作者)

学位论文数据集