学术文献中理论的自动识别方法

摘要

从学术文献中抽取其涉及的理论可视为一类命名实体识别(NER)问题.现有的命名实体抽取方法存在训练语料依赖、方法难以迁移等问题.本研究总结了现有的命名实体识别的常用方法,分析命名实体抽取的过程和评判依据,对识别过程中常用的特征进行了归纳.本研究提出了一个基于语义泛化思想的命名实体识别模型.实验选取了词性、知网义原等外部知识,采用CRF(条件随机场)作为语言模型.实验表明,识别准确率最高达到95.38％,但召回率较低;训练语料规模对性能影响较大,较多的语义资源能够小幅提高性能,但导致召回率下降.外部知识能够提高识别效果,但是选取最适用的外部知识、以及外部知识使用中的匹配、词语的语义消歧则成为新问题.