N-Gram模型的建立方法

摘要

本发明公开了一种N‑Gram模型的建立方法，包括获取原始语料；对原始语料进行分词；对分词结果进行单词统计；对N‑Gram模型进行平滑处理，得到最终的N‑Gram模型。本发明方法通过建立Witten‑Bell平滑对N‑Gram模型进行平滑，同时采用分布式平台计算建模过程中的参数，并采用Hbase数据库对计算的参数进行存储和读取，因此本发明方法在应对海量训练语料的情况下，其拓展性非常好，而且方法的建模速度和查询速度均较快。