人与物交互行为识别方法研究

目录

声明

1 绪论

1.1 研究背景和意义

1.2 国内外研究现状

1.2.1 基于RGB的行为识别方法

1.2.2 基于3D骨骼的行为识别方法

1.3 主要研究内容

1.4 论文结构安排

2 行为识别理论与研究框架

2.1 神经网络

2.1.1 卷积神经网络

2.1.2 图卷积网络

2.2 行为数据表示

2.2.1 骨骼数据结构

2.2.2 特征表示与编码

2.3 时空图卷积网络

2.3.1 模型拓扑结构

2.3.2 时空网络模型

2.4 交互行为识别框架

2.5 数据集及性能评价标准

2.5.1 数据集介绍

2.5.2 性能评价标准

2.6 本章小结

3 人与物交互行为检测判断

3.1 交互判断网络的构建

3.1.1 物体位置特征与表示

3.1.2 颜色编码矩阵

3.2 时空位置特征学习

3.2.1 网络结构与参数

3.2.2 数据处理与标定

3.3 实验结果与分析

3.3.1 实验参数

3.3.2 结果与分析

3.4 本章小结

4 多模态深度融合的交互行为识别

4.1 图卷积与像素卷积网络

4.1.1 自适应GCN网络

4.1.2 RGB信息提取网络

4.1.3 模型训练及评估

4.2 人与物时空关系网络

4.2.1 HOI-ST行为模型构建

4.2.2 多模态融合策略

4.2.3 实验结果与性能分析

4.3 实验结果与分析

4.3.1 数据集与实验参数

4.3.2 实验结果与方法对比

4.4 本章小结

5 总结与展望

5.1 主要工作与成果

5.2 展望

致谢

参考文献

攻读学位期间主要研究成果