一种融合双向视觉注意力机制的数学公式识别方法及装置

摘要

本发明公开了一种融合双向视觉注意力机制的数学公式识别方法及装置。该方法包括：接收输入的数学公式图像，提取数学符号区域并获取每个所述数学符号区域的特征作为自下而上信息；构建标记语言的条件语言模型，预测每个输出数学符号的条件概率分布，获取所述条件语言模型的时刻状态，将所述条件语言模型的时刻状态联合已输出的数学符号共同组成了自上而下信息；构建融合双向视觉注意力机制的注意力模型，融合自下而上和自上而下的双向信息预测注意力分布。本发明可以有效利用多粒度视觉信息的问题，从而提高数学公式识别的准确率。