一种基于机器学习的中文商业文本预处理方法

摘要

本发明公开了一种基于机器学习的中文商业文本预处理方法，对输入的中文商业文本采用以下步骤进行处理：（1）对中文商业文本进行分句和分词；（2）利用决策树对分好的词语进行词性标注；（3）基于贝叶斯分类器利用条件概率进行词义消歧；（4）利用One‑Hot编码与Skip‑Gram模型结合的混合模型表示词向量；（5）利用TF‑IDF调整词语权重，确定多义词在当前语境下对应的词义；（6）输出基于机器学习预处理后的中文商业文本。本发明能够有效的解决中文商业问答系统由于文本预处理不足导致系统答非所问，应答情景有限的问题，提高计算机理解文本的准确性，使得机器翻译、智能问答等延伸工作具有可实施性。