基于层次分析法的科技项目同行评议专家综合评价体系构建研究

摘要

同行评议广泛应用于科研项目的评审,是科研项目评审的生命线。随着各类科研项目申请数量的增加及学科体系的细化,同行评议方法的局限性逐渐凸显。评议专家是同行评议的基石,对评议专家进行反评估可实现对专家的有效监督,进一步保证评议结果的公正客观。针对省级科技计划项目的特点,利用层次分析法构建同行评议专家综合评价体系对专家基本能力(个人资历、科研能力)和评审绩效(评审离散率、评审有效率、评审态度)进行评价,可实现对专家的定量反评估。借鉴国外成熟的申请者反馈机制,在所构建的评价体系中增设了申请者反馈情况指标;同时,将评审有效率指标中的成功率指标与项目验收评价等级关联,构建了验收评价打分指标体系。基于收集的评审实例数据,对评价体系进行了实证分析。经验证,该评价体系可有效评估同行评议专家的评审质量,可为后续针对评议专家的监督约束、信誉积累和循证问责等提供数据支撑,亦可为专家数据库的动态管理提供决策参考。