基于主题模型的众包任务复杂度测量研究

摘要

在竞赛型众包活动中，任务复杂度是影响众包参与规模和绩效的重要因素之一。现有研究主要通过参与者行为等信息间接测量任务复杂度，考虑较多主观因素，干扰任务复杂度测量的效度，产生一定的测量误差和不一致的结论。本文以Topcoder平台的3205个竞赛型程序设计任务为样本，通过主题模型（latent dirichlet allocation,LDA）分析任务描述，提取38个主题模块信息，进而从模块复杂度、协调复杂度和动态复杂度三个维度构建任务复杂度指标。通过探索性因子分析和回归分析，本文发现技术模块数、可读性指标、模块集中度和动态复杂度四个客观任务复杂度指标具有良好的区分效度，对于参与规模的影响表现出良好的预测效度。此外，这四个客观任务复杂度指标与人工评估的结果具有较强的一致性。本文有助于解决客观任务复杂度测量这一具有现实意义和挑战性问题，进一步推动众包任务设计、参与行为和绩效等方面研究，对于平台管理者多角度分析任务复杂度、有效匹配任务复杂度与其他任务设定因素也具有一定的借鉴意义。