一种具有多模态信息处理功能的虚拟实验平台

摘要

本发明提出了一种具有多模态信息处理功能的虚拟实验平台，包括信息输入与交互识别模块、意图融合模块和交互应用模块；其中信息输入与交互识别模块完成胶头滴管传感器信息、语音信息和手势的输入及交互识别。意图融合模块将语音信息、胶头滴管传感器和手势得到三个意图集合进行组合，得到意图组合，不同的意图产生不同的行为定义行为的集合，得到行为集合，并且将意图组合和行为集合建立映射关系；交互应用模块用于通过视觉呈现和语音指引完成虚拟融合的实验。本发明平台采用三维场景和手势直接操作实验器材的方式，提供更加具有真实感的操作体验和实验现象，同时融合传感器信息和语音信息，构建一个处理多模态信息的平台系统。