通用众包标注系统的设计与实现

摘要

大数据时代的到来，为以深度学习为代表的机器学习领域带来了重大的机遇和挑战。越来越多的海量数据，意味着我们需要越来越多的人力物力对这些数据进行标注。众包(Crowdsourcing)将原来由企业专职雇员负责处理的工作，化整为零分配给了广大互联网用户，不仅大大减少了企业的成本，其可扩展的特点也使得大数据时代的海量数据标注成为了可能。众包因其独特的优势吸引了科研社区的极大兴趣，为此世界各地的研究者们提出了一系列众包平台设计方案。然而现在已有的众包平台系统，要么面向特定的应用场景，要么封闭不可扩展，没有开放出来供所有研究者学术研究使用。
　　为了解决这一问题，本文设计并实现了一个通用的开放性众包系统。其作为一个通用的平台，在提供科研所需要的众包系统服务的同时，也可以作为实现和实验各种众包相关算法的框架基础。在系统设计上，模块化的设计提高了系统的可扩展性，使得我们的系统可以支持各类众包任务。我们针对“图像分类”这一标注任务设计了独特的标注交互界面，并通过一系列标注实验，验证了我们设计的交互界面对标注效率的提升效果。此外，为了解决众包标注者标注质量不稳定的问题，我们实现并实验了一系列算法以评价、控制和提高众包的标注质量。