一种基于任务难度与标注者能力的众包标注数据整合方法

摘要

本发明公开了一种基于任务难度与标注者能力的众包标注数据整合方法，其根据以下两种现象：(1)能力较高的标注者对大多数任务的标注结果与其他的标注者相同；(2)难度越低的任务，标注者们对它的标注结果的一致度越高；提出了新的任务难度的评估方法以及标注者能力的评估方法，并构建了基于二者的众包标注数据的整合方法，利用迭代的方式进行快速求解，使得标注者的能力评估更加客观准确，可以非常方便地对各种众包标注任务进行有效地难度评定；同时本发明对各种类型的众包标注数据均适用，包括但不限于：图像、文本、视频等任务的二值标注、多值标注等。