Annotated corpora enable supervised machine learning and data analysis. To reduce the cost of manual annotation, tasks are often assigned to internet workers whose judgments are reconciled by crowdsourcing models. We approach the problem of crowdsourcing using a framework for learning from rich prior knowledge, and we identify a family of crowdsourcing models with the novel ability to combine annotations with differing structures: e.g.. document labels and word labels. Annotator judgments are given in the form of the predicted expected value of measurement functions computed over annotations and the data, unifying annotation models. Our model, a specific instance of this framework, compares favorably with previous work. Furthermore, it enables active sample selection, jointly selecting annotator, data item, and annotation structure to reduce annotation effort. Annotierte Korpora ermoeglichen ueberwachtes maschinelles Lernen und Datenanalyse. Um die Kosten fuer manuelle Annotationen zu vermeiden. werden Aufgaben haufig Intemetarbeitern zugewiesen, deren Urteile durch Crowdsourcing-Modelle abgeglichen werden. Wir nahern uns dem Problem des Crowdsourcings, indem wir einen Rahmen fur das Lernen aus reichem Vor-wissen vorschlagen, und wir bestimmen eine Familie von Crowdsourcing-Modellen mit der Fahigkeit, Annotationen mit unterschiedlichen Strukturen zu kombinieren: z.B., Dokument-bezeichnungen und Wortbezeichnungen. Bewertungen werden in Form des vorhergesagten erwarteten Werts von Messfunktionen (measurement functions) gegeben, die iiber Annotationen und die Daten berechnet werden. Darin werden die vorherige Annotationsmodelle verein-heitlicht. Unser Modell, eine spezifische Instanz dieses Rahmens, schneidet im Vergleich zu fruheren Arbeiten positiv ab. Dariiber hinaus ermoglicht es die aktive Stichprobenauswahl, indem Kommentator, Datenelement, und Annotationsstruktur gemeinsam ausgewahlt werden, um den Annotationskosten zu reduzieren.
展开▼
机译：注释的Corpora启用监督机器学习和数据分析。为了降低手动注释的成本，任务通常被分配到互联网工作人员，其判决通过众包和解模型和解。我们利用富有的先验知识学习框架方法涉及众所周心的问题，我们识别一个众包模型，具有与不同结构的注释组合的新功能：例如，文档标签和单词标签。注释器判断以预测的函数的预测预期值的形式给出，以通过注释和数据计算，统一注释模型。我们的模型是本框架的特定实例，对以前的工作有利地比较。此外，它能够激活采样选择，共同选择注释器，数据项和注释结构，以减少注释工作。 Annotierte Korpora Ermoeglichen Ueberwachtes Maschinelles Lernen und Datenanalyse。 UM Die Kosten Fuer Manuelle Annotationen Zu Vermeiden。 Werden Aufgaben Haufig Intemetarbeitern Zugewiesen，Deren Urteile Durch Crowdsourcing-Models Abgeglichen Werden。世界投资报告nahern UNS DEM问题DES Crowdsourcings，indem世界投资报告einen拉赫曼毛皮DAS Lernen AUS reichem涡WISSEN vorschlagen，UND世界投资报告bestimmen EINE FAMILIE冯众包，Modellen麻省理工学院DER Fahigkeit，Annotationen MIT unterschiedlichen Strukturen祖kombinieren：z.B.，库门，bezeichnungen UND Wortbezeichnungen。 Bewertungen Werden in Des Vorergesagten erwarteten Werts von Messfunktionen（测量功能）Gegeben，Die Iber Annotationen und Die Daten Berechnet Werden。 Darin Werden Die Vorherize AnnotationsModelle Verein-Heitlicht。不当Modell，Eine Spezifische Instanz Dieses Rahmens，Schneidet Im Vergleich Zu Fruheren Arbeiten Positiv AB。 Dariiber Hinaus ermoglicht es die aktive stichprobenauswahl，Indem Kommentator，DateneLement，undennationsstruktur Gemeinsam Ausgewahlt Werden，Um Den Annotationskosten Zu Reduzieren。
展开▼
