众包质量控制策略及评估算法研究

摘要

随着Internet技术的快速发展,众包服务作为一种灵活、有效的解决方式,开始受到人们越来越多的关注。最近几年,众包领域的各方面研究都取得了很大的进展,提出了许多采用众包手段的新型应用,出现了不少具体的处理方法,得到了不错的工作效果。由于众包应用产生在复杂的在线网络交易平台的背景中,开始出现了众包应用的质量控制问题,因此研究如何有效地提高任务完成的质量,并将恶意工作者识别出来,成为了目前众包研究工作中一个急需解决的问题,而且众包平台中工作者的匿名性质,导致它和传统外包任务的处理方式有很大的不同,准确并高效解决众包质量问题具有重要意义。
　　本文首先详细介绍了众包应用的产生原因及其特点,比较了它和外包任务的不同之处。之后对目前的众包工作模式及其在科研方向的应用进行了总结,并指出众包应用中产生质量问题的原因,进而介绍了现有的众包质量控制策略和处理方法,指出这些策略存在的问题,以及现有方法的优缺点。随后针对现有的策略和方法做了仔细研究,发现目前主要研究思路是对众包任务的质量控制采取反恶意策略。因此本文尝试更换处理角度,从工作者所提交数据的方向出发,通过收集评估任务的提交结果,对众包工作参与者进行了验证分析。
　　本文主要是对相关性评估任务的众包结果进行质量分析,提出一种新的众包质量识别模型。通过此模型的质量评估方法,实现控制众包任务质量的目的,实验结果表明本文提出的模型所应用的方法能够更好的满足任务需要者对于众包提交结果的期望,识别的工作者类型更加准确。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 引言

1.2 研究背景及意义

1.3 论文工作

1.4 论文的组织及内容安排

第2章 众包应用及质量控制策略

2.1 众包的模式

2.2 众包在科研领域的应用

2.3 现有的众包质量控制策略

2.4 本章小结

第3章 众包质量控制策略及评估算法

3.1 众包实验平台设计

3.2 相关性评估任务系统模型

3.3 众包结果的质量评估算法

3.4 相互间标注一致性检测方法

3.5 期望最大值算法（EM算法）估计工作者的误差率

3.6 本章小结

第4章 实验与结果分析

4.1 实验环境

4.2 实验工具介绍

4.3 实验数据

4.4 实验结果

4.5 本章小结

结论

参考文献

附录

攻读硕士学位期间发表的论文和取得的科研成果

致谢