基于规则和统计模型的中文地址复合分词技术

摘要

本发明公开了一种基于规则和统计模型的中文地址复合分词技术，其综合运用条件随机场模型和经过规则优化的最大匹配算法对地址进行分词处理；运用条件随机场模型需要抽取地址信息内部的关联特征，用预处理阶段创建的训练数据集对模型进行训练，使其具备自动切分地址信息和识别地址要素的能力。条件随机场模型具有强大的模式识别能力，能够成功识别数据库遗漏的小区，同时具有良好的歧义地址辨别能力，有助于成功区分地址要素。MMSEG算法在有良好的字典数据支持的情况下具有速度快、精度高等特点。本发明将两种算法结合使用能够使其互相补充，互相验证，有效提高地址匹配准确率，在保证效率的前提下提高分词准确性。