趋向于端到端的场景文字检测与识别方法以及系统

摘要

本公开提供了一种趋向于端到端的场景文字检测与识别方法及系统，分别采集已标注有物体类别的图片，构建训练数据集及测试数据集，对数据集进行预处理，用以训练特征提取网络；采集已标注有文字位置的图片，构建训练数据集及测试数据集，对数据集进行预处理，用以训练文字检测部分的网络；采集同时标注有文字位置以及文字内容的图片，构建训练数据集及测试数据集并且进行相应的图片预处理，用以训练文字识别部分的神经网络。将图片输入进卷积神经网络，经过特征提取网络提取出共享卷积特征图谱，文字检测部分利用该共享卷积特征图谱，将预测出的文字位置坐标映射到共享卷积特征图谱上，裁剪下图像中文字部分所对应的特征图谱块并将其转换为特征序列，最后将特征序列解码成可读的字符序列。由于只计算一次卷积特征图谱，避免了中间的冗余过程，提高了整个场景文字检测与识别系统的速度。