ZASTOSOWANIE WSPó?CZYNNIKA KONKORDANCJI W POMIARZE ZGODNO?CI OCEN EKSPERTóW

摘要

In this article the problem of the measurement of agreement among experts is discussed. There are several tools to verify whether opinions expressed by an ordinal scale are reliable. If the objects are ranked, one of correlation coefficients is chosen. At the beginning, the case of m > 2 experts ranking n objects is presented; first, using untied ranks and second, tied ranks. To this end Kendall's coefficient of concordance is applied. The method of examination of the statistical significance is also presented. Additionally the issue of the interpretation of the concordance coefficient in reference to the average of Spearman's p coefficients is raised. The paper provides an example of using concordance coefficient when ranks are tied and discusses limitations of using rank correlation methods as a tool for evaluating the degree of agreement among experts' opinions.%Celem artyku?u jest przedstawienie zagadnienia pomiaru zgodno?ci ocen wyra?onych na skali porz?dkowej. Istnieje szereg sposobów sprawdzenia stopnia zgodno?ci opinii ekspertów. Z regu?y do tego celu stosuje si? wspó?czynniki korelacji rang. W artykule skoncentrowano si? na przypadku gdzie m > 2 ekspertów ocenia n obiektów, z dopuszczeniem rang wi?zanych. Dla tak sformu?owanego problemu jako miar? zgodno?ci przyj??o si? stosowa? wspó?czynnik konkordancji W Kendalla. W artykule zaproponowano uogólnion? wersj? obliczania tego wspó?czynnika, która upraszcza obliczenia w przypadku wyst?powania rang wi?zanych. Oprócz przedstawienia procedury badania istotno?ci statystycznej, podniesiono tak?e problem interpretacji otrzymywanych warto?ci wspó?czynnika konkordancji. W nawi?zaniu do zaprezentowanego przypadku podj?to równie? dyskusj? na temat ograniczeń zastosowań wspó?czynników korelacji w ocenie zgodno?ci ekspertów.