一种基于层次多维变压器模型的文档摘要计算方法

摘要

本发明提出一种基于层次多维变压器模型的文档摘要计算方法，属于自然语言处理领域和机器学习领域。该方法在段落拆分与识别阶段，通过文档主题特征词预处理，将文档划分成多个段落，保留以特征词开头的段落，舍弃无关键特征的非重点段落，提高了计算效率；在重点句识别阶段，利用海量语料预训练多层变压器语言模型，在标注句语料上，训练句子权重判断模型，实现了识别段落中重点句，舍弃一般语句的目的；在重点字词识别阶段，利用重点字词标注语料，基于无长度限制的海量语料预训练多层变压器语言模型，训练字词序列到序列的权重模型，根据字词评分保留阈值内高评分，舍弃其他字词，提高了摘要计算精度。