一种科技论文文本建模方法

摘要

传统的TF‑IDF权重计算方法对特征词的词性、所处文章位置、词在类间分布等特点考虑不足。本发明认为在考虑特征词的不同特点如词性、位置等时候，应当使用不同加权方法对TF‑IDF进行改进。因此首先对科技论文的不同结构进行分类，区分出随着文本长度增加而同比例增加的结构，如摘要、前言、正文、结语等结构和随着文本长度增加而长度不变的结构，如标题、关键字、段落标题等结构。然后对前者使用乘法进行加权，对后者使用加法进行加权，最终得到基于科技论文结构的改进TF‑IDF权重计算公式。在传统TF‑IDF权重计算过程中合理使用位置影响参数来进行两类结构不同方式的加权，解决了传统方法中未考虑特征词的位置信息这一缺点。