基于语义强化编码器解码器框架的场景文字识别方法及系统

摘要

本发明提供一种基于语义强化编码器解码器框架的场景文字识别方法及系统，将目标图像上的任意形状的文本矫正为水平文本，得到矫正后的图像；将矫正后的图像输入到卷积神经网络中提取视觉特征，利用循环神经网络从该视觉特征中提取序列信息；根据序列信息预测全局语义信息；利用上述全局语义信息初始化一基于注意力机制的门控循环单元GRU的状态，根据上述视觉特征与GRU每一个解码时间的隐状态计算注意力权重，根据该注意力权重对上述视觉特征进行加权，预测出图像上的每一个字符。能够有效地利用全局信息填补现有方法使用局部信息的不足，同时减小视觉信息与语义信息之间的鸿沟，从而使模型能够更好地处理低质量的图像。