61SPA. Funciones de Similitud sobre Cadenas de Texto: Una Comparacion Basada en la Naturaleza de los Datos

摘要

La deteccion de duplicados hace referencia al conflicto que se presenta en los datos cuando una misma entidad del mundo real aparece representada dos o mas veces a traves de una o varias bases de datos, en registros o tuplas con igual estructura pero sin un identificador unico y presentan diferencias en sus valores. Multiples funciones de similitud han sido desarrolladas para detectar cuales cadenas son similares mas no identicas, es decir, cuales se refieren a una misma entidad. En el presente articulo se compara, mediante una metrica de evaluacion llamada discernibilidad, la eficacia de nueve de estas funciones de similitud sobre cadenas de texto (Levenshtein, Brecha Afin, Smith-Waterman, Jaro, Jaro-Winkler, Bi-grams, Tri-grams, Monge-Elkan y SoftTF-IDF) usando para ello seis situaciones problematicas (introduccion de errores ortograficos, uso de abreviaturas, palabras faltantes, introduccion de prefijos/sufijos sin valor semantico, reordenamiento de palabras y eliminacion/adicion de espacios en blanco). Los resultados muestran que algunas funciones de similitud tienen a fallar en ciertas situaciones problematicas y que ninguna es superior al resto en todas ellas.