提高众包标注数据质量的可视分析系统及方法

摘要

本发明公开了一种提高众包标注数据质量的可视分析系统及方法，其中，该系统包括：混淆矩阵可视化模块，展示不同类别之间的混淆程度，以根据所述混淆程度选择分析的易混淆类别；实例可视化模块，通过有约束的t‑SNE降维展示每个实例的不确定类标和实例之间的相互影响信息；标注者行为可视化模块，通过散点图展示每个标注者在所选定类别上的标注准确率与无效标注程度评分，以确定无效标注者；交互递进式确认模块，将用户对实例的类标和标注者可靠度的确认信息进行传播，以推荐另外需要标注的实例和标注者。该系统的四个模块与众包学习模型紧密结合，从而帮助用户以交互递进形式确认不确定实例以及不可靠标注者，提高数据标注质量。