基于用户主题精确感知大数据群体计算任务分配算法

摘要

针对大数据任务中海量数据分析需求、复杂认知推理挑战和传统计算中随机分配任务算法的低效性以及互联网用户的虚拟性、不确定性等问题,提出了一种基于用户主题精准感知的迭代式任务分配算法.首先,通过基于自适应模糊聚类与主题提取模型相结合的方法提取已发布群体任务的主题,然后构建特定任务模型和用户模型计算各关联度,再利用已提交高质量答案的历史任务迭代地检测新用户的真实主题并计算初始准确率;其次,通过逻辑回归(LR)方法预测用户能参与到某类任务的可能性并得到参与用户候选序列,在充分了解用户真实主题和对应主题上的准确率以及用户诚信度的情况下进行精准分配.通过与随机算法在模拟实验中对准确率进行比较,实验结果表明所提算法准确率比随机算法高20个百分点以上,并随着训练数据量的增加而提高,在相似任务上的准确率更是接近100％.实验验证所提算法更精准、尤其适用于大数据环境,并一定程度上节约了随机算法需多次重复分配确保准确率的花销.