在web3D环境融入视觉问答的人机交互系统

摘要

本发明涉及VR教育领域，其公开了一种在web3D环境融入视觉问答的人机交互系统，解决传统多媒体教学存在的交互模式单一，交互性不强，缺乏趣味性的问题。该系统包括：web端和服务器端，所述web端与服务器端通过Socket建立连接；所述web端利用WebGL技术，通过模型加载器导入建模工具制作的教育场景模型，通过渲染器渲染场景，从而在浏览器中展示3D教育场景，通过获取用户的问题和图片输入信息传输给服务器端，获取服务器端的反馈答案在所述3D教育场景中结合交互动画进行答案展示；所述服务器端中设置有用于教育系统的视觉问答模型，在收到web端传入的问题和图片输入信息后，利用视觉问答模型获取相应答案，并反馈给web端。