声明
第一章 绪 论
1.1 课题的研究背景与意义
1.2 国内外研究现状
1.2.1 基于AR教学实验平台的研究
1.2.2 基于多模态识别方法的研究
1.2.3 基于多模态融合自然交互的研究
1.3 主要研究内容
1.4 拟解决的关键科学问题
1.5 本文组织结构
第二章 智能设备的结构设计和交互方法
2.1 智能设备的结构设计
2.1.1 智能烧杯的结构设计
2.1.2 智能指环的结构设计
2.2 智能设备的底层交互方法
2.2.1 智能设备的硬件传输方法
2.2.2 智能设备的软件处理方法
2.3 实验结果及分析
2.3.1 实验环境
2.3.2 统计实验
2.4 本章小结
第三章 多模态识别方法
3.1 多模态识别的总体框架
3.2 基于深度学习的手势识别
3.2.1 手势数据的采集和预处理
3.2.2 基于深度学习的手势识别算法
3.2.3 实验结果及分析
3.3 基于AR的手势识别与交互算法
3.3.1 ARG算法
3.3.2 实验结果及分析
3.4 语音识别与交互
3.4.1 语音识别过程
3.4.2 语音关键词交互
3.5 本章小结
第四章 多模态融合交互方法
4.1 引言
4.2 多模态融合交互的总体框架
4.3 数据集建立
4.3.1 听觉信息数据集
4.3.2 触觉信息数据集
4.3.3 视觉信息数据集
4.3.4 多模态信息数据集
4.4 多模态交互意图分析
4.5 多模态融合智能导航交互方法
4.5.1 多模态信息融合方法
4.5.2 多模态信息融合策略
4.5.3 基于多模态意图理解的智能导航交互模式
4.6 算法分析
4.7 实验结果及分析
4.7.1 统计实验
4.7.2 比较实验
4.8 本章小结
第五章 基于增强现实下多模态融合交互的智能化学实验系统的设计与实现
5.1 系统总体设计思路
5.1.1 面向智能设备的虚拟实验
5.1.2 面向多模态融合交互的虚拟实验
5.2 系统总体架构
5.3 两个典型应用实验案例的设计
5.3.1 虚拟浓硫酸稀释实验的设计与流程
5.3.2 虚拟钠和水反应实验的设计与流程
5.4 系统应用功能展示
5.4.1 系统开发平台
5.4.2 虚拟浓硫酸稀释实验功能展示
5.4.3 虚拟钠和水反应实验功能展示
5.5 系统测试
5.5.1 测试方法与测试用例
5.5.2 测试步骤与测试结果
5.6 系统用户评价
5.7 应用示范和用户体验
5.8 本章小结
第六章 总结与展望
6.1 全文总结
6.2 工作展望
参考文献
致 谢
附 录
济南大学;
