一种基于频次分布校正的低维词表征学习方法

摘要

本发明公开了一种基于频次分布校正的低维词表征学习方法，对给定的语料，统计出设定窗口内词对的共现频次，通过对共现频次的对数值进行适当的幂次变换，根据语料自适应地优选幂次变换中的幂指数参数值，先将词对共现频次的分布校正为Zipf分布，再通过GloVe模型学习得到低维的词表征向量，实验证明得到的词表征有更高的精度，同时训练速度也更快。通过本发明，可以生成精度更高的低维词表征。