声明
摘要
第1章绪论
1．1研究背景和意义
1．2国内外研究现状
1．2．1手势识别的国内外研究现状
1．2．2基于RGB-D图像的识别研究现状
1．3本文的研究内容
第2章多模态多层次识别框架与特征提取方法
2．1手势图像的获取
2．1．1 RGB-D图像与Kinect
2．1．2基于Kinect手势样本的获取
2．1．3手势样本的预处理
2．2多模态融合手势识别框架的设计
2．2．1 Single Shot MultiBox Detector网络
2．2．2多模态融合的手势识别框架的设计
2．3双流卷积神经网络特征提取
2．3．1多模态特征提取的卷积操作
2．3．2多模态特征提取的池化操作
2．3．3多模态特征提取网络的激活函数
2．3．4多模态特征提取网络损失函数
2．3．5多模态特征提取网络的优化算法
2．4多模态多层级特征提取方法设计
2．4．1 ResNet网络
2．4．2特征提取方法设计
2．4．3多模态多层级特征提取网络损失函数设计
2．5本章小结
第3章多模态多层次特征自适应融合与分类模型
3．1多模态多层级特征权重自适应融合方法
3．1．1多模态融合框架设计
3．1．2自适应权重网络目标函数设计与优化
3．2 LSTM网络
3．3手势融合特征分类模型设计
3．4本章小结
第4章多模态融合的手势识别仿真实验
4．1其他手势数据库和实验配置
4．1．1 ASL数据库
4．1．2仿真实验环境与参数配置
4．2多模态融合的手势识别模型评价指标
4．2．1手势识别模型的混淆矩阵评价
4．2．2模型混淆矩阵的指标
4．3．1自建手势数据库实验结果分析
4．3．2 ASL手势数据库实验结果分析
4．4本章小结
第5章多模态手势识别系统
5．1多模态的手势识别系统静态-动态界面设计
5．2多模态的手势识别系统交互
5．3本章小结
第6章全文总结与展望
6．1全文总结
6．2展望
致谢
参考文献
附录
