一种针对中文社交网络中中英文混合文本的规范方法

摘要

本发明属于机器翻译技术领域，具体为一种针对中文社交网络中中英文混合文本的规范方法。其包括三个步骤：识别非规范词；利用隐藏话题翻译模型为英文词生成翻译替换词；结合用户历史信息相关的神经网络语言模型对翻译替换词进行重新排序，实现非规范词对应规范词的选择。本发明的有益效果在于：本发明针对网络文本进行预处理，从而使得网络文本可以适应多数自然语言处理工作；同时由于我们使用了非社交网络语义空间的双语对齐训练语料，通过话题的映射来对应到社交网络语义空间上，本发明方法具有很好的扩展性。也使得翻译正确率具有保障。