一种语境标注的双语平行语料库构建系统

摘要

本发明公开了一种语境标注的双语平行语料库构建系统，该系统由上位机与并行的语境标注数据生成单元组成。通过上位机进行双语语料的前置处理，再将语料分词发送至并行标注数据生成单元。在生成单元的主控模块控制下由单元内各节点模块生成语境标注数据并将数据存储在模块外接的FLASH芯片中。当双语平行语料库达到一定规模后，由上位机读取存储在各节点模块中词共句关系的统计数据实现对语料库中双语语料的语境标识。本构建系统充分利用了并行处理的架构优势，能快速处理较大规模的语料库语境标注数据的生成。并基于标注数据标注出语料库中语料的语境，实现语境标注的双语平行语料库。