针对特定任务的方法实体评估研究

摘要

[目的/意义]在科学的发展中,研究方法扮演着重要角色.收集并分析特定学科的方法实体,能够帮助学者更好地了解该领域的研究方法,并找到适合其自身研究的方法.目前已有针对方法抽取和评价的相关研究,但尚未针对特定任务开展知识实体抽取与评估研究.[方法/过程]本文以命名实体识别(Named Entity Recognition,NER)任务为例,从ACL Anthology网站中收集相关论文,利用内容分析法对论文中作者使用的方法实体进行标注.本文从426篇学术论文中标注出904种方法实体.并基于使用次数和使用年代两个维度来评估方法实体影响力.[结果/结论]条件随机场是NER任务中影响力最大的算法,神经网络算法在近五年发展迅猛;学者倾向于使用算法而不是现成的工具进行实体识别;在数据选择方面,经典数据集是学者的首选;F值、正确率和召回率是影响力最大的评价指标.本文的标注结果能够帮助学者更好地理解该任务,提高科研的效率.实体评估的结果能够为初学者在选择具体研究方法时提供参考.