OPTYMALNY PODZIAŁ ROZKŁADU EMPIRYCZNEGO (I KILKA PROBLEMÓW Z TYM ZWIĄZANYCH)

摘要

Praca zajmuje się podziałem empirycznego rozkładu wielkości x,-, gdzie i jest indeksem jednostki, dla której obserwujemy tę wielkość (np. x_i to PKB na mieszkańca w kraju i-tym). Wartości x, uporządkowano niemalejąco. Analizujemy dystrybuantę rozkładu, tj. wartości z_i = ∑_(i'=1,...,i)x_i, które tworzą ciąg wypukły. Chcemy otrzymać taki podział dystrybuanty na podzbiory, by przybliżyć kształt rozkładu {z,} z możliwie małym błędem przy pomocy odcinków linii prostej, odpowiadających podzbiorom, a zarazem - by tych odcinków byto możliwie mało. Odpowiada to kategoryzacji podobnych rozkładów (np. kraje „rozwinięte", „rozwijające się", ...), gdzie zwykle nie stosuje się metod statystycznych, tylko przesłanki „merytoryczne", bądź stosowanie metod statystycznych ogranicza się do ustalenia, np., kwantyli rozkładu, bez uwzględniania kształtu i innych przesłanek dla rozwiązania, optymalizującego wspomniane kryterium. Zaproponowano ogólną metodykę optymalizacji podziału takich rozkładów w duchu wspomnianego kryterium, funkcję celu i jej konkretną realizację, wraz z algorytmami. Na podstawie przykładów konkretnych rozkładów, zarysowano także problemy, wynikające z faktu, że rozkłady empiryczne mają często charakter, stawiający pod znakiem zapytania podstawy przyjętej metodyki i w ogóle sens podobnych zadań. Przeanalizowano możliwe pochodzenie tych rozkładów oraz skutki dla ewentualnej kategoryzacji. Zaproponowana metodyka daje podstawy do kategoryzacji empirycznych dystrybuant i narzędzie do oceny racjonalności sposobu ich otrzymywania.%We consider division of an empirical distribution of x_i, i being the index of a unit, for which we observe x_i (e.g., province i, for which x_i is the GDP per capita). Values x, are ordered non-decreasingly. We analyse the cumulative distribution, z_i = ∑_(i'=1,...,i)x_i. The sequence z_i is convex. We want to divide the distribution of z_i into subsets of i, with the shape of the distribution {z_i} possibly well approximated by the segments of the straight line, determined for the subsets, forming a piecewise linear contour, the number of segments being possibly small. This corresponds to the frequently used categorisations for similar distributions (e.g., "developed", "developing",... countries). For such categorisations, usually no formal methods are applied but "substantive" prerequisites, or the methods applied are limited to establishing quantiles of the distribution, without considering its shape and the objective premises for determination of a different number of segments, including optimisation of the criterion mentioned before. A general approach is proposed for optimising division of such distribution conform to the criterion mentioned. A general objective function is proposed and its concrete realisation, as well as algorithms. The methodology proposed allows for obtaining the optimum divisions into categories for arbitrary distributions. Yet, on the basis of concrete empirical distributions, problems are outlined, due to the fact that the distributions obtained often display the features, leading to questioning of the foundations of the methodology proposed, and of the very sense of such categorisations. Examples of distributions of this kind, and consequences for the potential categorisations, are discussed. In summary, the methodology proposed, including the criterion function, constitutes a basis for the categorisation with respect to the cumulative distribution, and a tool for evaluating the rationality of the way, in which the distributions are obtained.