Detección y corrección de defectos en el plug-in de Eclipse Besouro: impacto en la investigación experimental que utiliza este plug-in

摘要

Contexto: Besouro es un pluginudde Eclipse. Se trata de una reimplementaciónudde la herramienta Zorro,udpero sin la complejidad asociadaudal mecanismo de captura de datosudHackystat. Esto lo hace atractivo paraudla investigación experimental acerca deudTest-Driven Development (TDD), yaudque la instrumentación es mucho másudsencilla. Besouro ha sido utilizado enudmultitud de experimentos y sus datosudson fundamentales para el estudio deludcomportamiento de los programadores.udProblema: En ciertas ocasiones,udBesouro identifica incorrectamente eludcomportamiento de los programadores.udEstudios previos realizados apuntanuda problemas con la implementación:udel plug-in no detecta las actividadesudde edición de código fuente cuandoudse producen, sino más tarde, duranteudel grabado de los ficheros. Esto produceudque los análisis basados en los datosudde comportamiento sean incorrectos, yudpor tanto las conclusiones de la investigaciónudexperimental en ellos basada.udMetodología: (1) Diagnóstico:udAnálisis de los problemas asociadosuda Besouro, lo que permitiría la identificaciónudde estos fallos. (2) Análisisudde la Herramienta: Identificación deudlos conectores asociados a Besouro, audtravés de los cuales es posible la detecciónudde eventos en Eclipse. Ademásudse analizarán las reglas de Jess, lasudcuales permiten la clasificación de episodios.ud(3) Planteamiento de PosibleudSolución: En base al diagnóstico realizado,udy al análisis de la herramienta,udse planteará una posible solución. (4)udRe-implementación de los conectoresudde Eclipse: Basados en el análisis deudlos problemas asociados a Besouro, loudque permitiría corregir los errores encontradosuden el plugin. (5) Pruebasudautomatizadas: Una vez corregidos losudproblemas, es necesario verificar queudla re-implementación de conectores oudde las reglas de Jess, ha sido realizadoudde manera correcta. (6) Comprobaciónudde errores corregidos en Besouro:udEs necesario demostrar que las reimplementacionesudrealizadas en Besouro,udcorrigen los problemas detectados.ud(7) Impacto de los Problemas: Se realizaráudun análsis del impacto que tienenudlos problemas encontrados en Besouroudsobre los experimentos realizados anteriormenteudcon este plugin. (8) Correcciónuddel conjunto de datos experimentales:udSe actualizarán los datos de losudexperimentos realizados anteriormenteudcon este plugin.udResultados: (1) Se han corregidouderrores en los conectores de Eclipse, conudlo cual el plugin clasifica correctamenteudlos episodios Test-First 4 y Test-Lastud1. Se han re-implementado las pruebasudautomatizadas y han sido exitosas. (2)udLa evaluación del conjunto de datos experimentalesudde la empresa PTE, indicanudque el total de errores encontradosudes del 1.03% del total de episodios, loudque representa el 2.66% de errores deudtipo Test-First y a su vez correspondenudal 41.18% de reglas Test-First 4.---ABSTRACT---Context: Besouro is an Eclipseudplug-in. This is a re-implementation ofudthe Zorro tool, but without the complexityudassociated with the Hackystatuddata capture mechanism. This makesudit attractive for experimental researchudon Test-Driven Development (TDD),udsince the instrumentation is much simpler.udBesouro has been used in manyudexperiments and its data are fundamentaludfor the study of the programmers’udbehavior.udProblem: In some instances, Besouroudincorrectly identifies the programmers’udbehavior. Previous studiesudhave pointed to a problem with theudimplementation for Eclipse: the pluginuddoes not detect source code editingudactivities at the time they occur, butudlater, during the recording of the files.udThis produces that analyses based onudthe behavioral data being incorrect,udand therefore the conclusions of the experimentaludresearch based on them.udMethodology: (1) Diagnosis:udAnalysis of the problems associatedudwith Besouro, which would allow theudidentification of these failures. (2)udTool Analysis: Identification of connectorsudassociated with Besouro, throughudwhich it is possible to detect eventsudin Eclipse. In addition, the rules ofudJess will be analyzed, which allow theudclassification of episodes. (3) Possibleudsolution approach: Based on theuddiagnosis, and the tool analysis, a possibleudsolution will be proposed. (4)udRe-implementation of Eclipse connectors:udBased on the analysis of the problemsudassociated with Besouro, whichudwould allow to find connectors errorsudin the plugin. (5) Automated tests:udOnce problems have been corrected,udit is necessary to verify that the reimplementationudof connectors or Jessudrules has been done correctly. (6) Verificationudof bugs corrected in Besouro:udIt is necessary to demonstrate that theudre-implementations made in Besouro,udcorrect the detected problems. (7)udProblems’ Impact: An analysis will beudmade of the problems’ impact found inudBesouro on previous experiments performedudwith this plugin. (8) Correctionudof experimental data set: The dataudfrom previous experiments performedudwith this plugin will be updated.udResults: (1) Errors in Eclipse connectorsudhave been corrected, so the pluginudcorrectly classifies the Test-First 4udand Test-Last 1 episodes. Automatedudtests has been re-implemented and successful.ud(2) The evaluation of the experimentaluddata set of PTE company, indicatesudthat the total errors found is 1.03% ofudthe total episodes, representing 2.66%udof errors of type Test-First and in turnudcorrespond to 41.18% of Test-First 4udrules.