基于深度学习和多模态数值推理的几何题解答方法及模型

摘要

本发明公开了一种基于深度学习和多模态数值推理的几何题解答方法及文本和图像双模态联合的神经网络模型，所述方法包括：分别获取关于题目内容的文本信息与图像信息；将所述文本信息编码成对应的文本隐藏状态得到文本语义，以及将所述图像信息编码成对应的图像隐藏状态得到视觉语义；融合与对齐所述文本语义和所述视觉语义得到解答程序；按照所述解答程序的运算方式计算解答结果。本发明不但可以增加解答准确率，又可以提高处理的效率，以实现一种具有良好正确率、实用性强、且能通过深度学习自主生成答案的代码序列的技术。