Por qué los desarrolladores siguen eligiendo las técnicas de prueba incorrectas

:::info Autores:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

Tabla de Enlaces

Resumen

1 Introducción

2 Estudio Original: Preguntas de Investigación y Metodología

3 Estudio Original: Amenazas a la Validez

4 Estudio Original: Resultados

5 Estudio Replicado: Preguntas de Investigación y Metodología

6 Estudio Replicado: Amenazas a la Validez

7 Estudio Replicado: Resultados

8 Discusión

9 Trabajos Relacionados

10 Conclusiones y Referencias

Resumen

Un problema recurrente en el desarrollo de software es la toma incorrecta de decisiones sobre las técnicas, métodos y herramientas a utilizar. En su mayoría, estas decisiones se basan en las percepciones de los desarrolladores sobre ellos. Un factor que influye en las percepciones de las personas es la experiencia pasada, pero no es el único. En esta investigación, nuestro objetivo es descubrir qué tan bien las percepciones sobre la efectividad en la detección de defectos de diferentes técnicas coinciden con su efectividad real en ausencia de experiencia previa.

\ Para hacer esto, realizamos un estudio empírico más una replicación. Durante el estudio original, realizamos un experimento controlado con estudiantes aplicando dos técnicas de prueba y una técnica de revisión de código. Al final del experimento, realizan una encuesta para averiguar qué técnica perciben como más efectiva. Los resultados muestran que las percepciones de los participantes son erróneas y que este desajuste es costoso en términos de calidad.

\ Para obtener una mayor comprensión de los resultados, replicamos el experimento controlado y ampliamos la encuesta para incluir preguntas sobre las opiniones de los participantes sobre las técnicas y los programas. Los resultados del estudio replicado confirman los hallazgos del estudio original y sugieren que las percepciones de los participantes podrían basarse no en sus opiniones sobre la complejidad o preferencias por las técnicas, sino en qué tan bien creen que han aplicado las técnicas.

1. Introducción

Una práctica cada vez más popular hoy en día es que las empresas de desarrollo de software permitan a los desarrolladores elegir su propio entorno tecnológico. Esto significa que diferentes desarrolladores pueden usar diferentes herramientas de productividad (lenguaje de programación, IDE, etc.). Sin embargo, la ingeniería de software (IS) es una disciplina intensiva en recursos humanos donde las decisiones incorrectas pueden potencialmente comprometer la calidad del software resultante. En IS, las decisiones sobre qué métodos, técnicas y herramientas utilizar en el desarrollo de software se basan típicamente en las percepciones y/u opiniones de los desarrolladores en lugar de en evidencias, como sugieren Dyb˚a et al. [19] y Zelkowitz et al. [55].

\ Sin embargo, la evidencia empírica podría no estar disponible, ya que ciertos métodos, técnicas o herramientas pueden no haber sido estudiados dentro de un entorno particular o incluso en absoluto. Alternativamente, los desarrolladores simplemente pueden no estar familiarizados con tales estudios, según Vegas & Basili [49]. En este terreno, es importante descubrir qué tan bien las percepciones de los desarrolladores (creencias) coinciden con la realidad y, si no lo hacen, averiguar qué hay detrás de este desajuste, como señalan Devanbu et al.[14]. Según la Psicología, la experiencia juega un papel en las percepciones de las personas. Esto también ha sido observado por Devanbu et al. [14] en IS.

\ Sin embargo, esta investigación se propone descubrir qué tan bien coinciden las percepciones con la realidad en ausencia de experiencia previa en la tecnología que se está utilizando. Esto tiene sentido por varias razones: 1) la experiencia no es el único factor que afecta las percepciones de los desarrolladores; 2) los equipos de desarrollo suelen estar compuestos por una mezcla de personas con y sin experiencia; y 3) no está claro qué tipo de experiencia influye en las percepciones. Por ejemplo, Dieste et al. [17] concluyen que la experiencia académica en lugar de la profesional podría estar afectando la calidad externa del código generado por los desarrolladores al aplicar el Desarrollo Dirigido por Pruebas.

\ Nuestro objetivo es estudiar si las percepciones sobre la efectividad de tres técnicas de detección de defectos coinciden con la realidad, y si no, qué hay detrás de estas percepciones. Hasta donde sabemos, este es el primer artículo que evalúa empíricamente este tema. Para este fin, realizamos un estudio empírico más una replicación con estudiantes. Durante el estudio original medimos (como parte de un experimento controlado) la efectividad de dos técnicas de prueba y una técnica de revisión de código cuando fueron aplicadas por los participantes. Luego verificamos la técnica percibida como más efectiva (recopilada mediante una encuesta) contra la real.

\ Adicionalmente, analizamos el costo del desajuste entre percepciones y realidad en términos de pérdida de efectividad. Los principales hallazgos incluyen:

– Diferentes personas perciben diferentes técnicas como más efectivas. Ninguna técnica es percibida como más efectiva que las otras. – Las percepciones del 50% de los participantes (11 de 23) son erróneas.

– La percepción errónea de las técnicas puede reducir la efectividad en 31pp (puntos porcentuales) en promedio.

\ Estos hallazgos nos llevaron a ampliar el objetivo del estudio en una replicación para investigar qué podría estar detrás de las percepciones de los participantes. Para hacer esto, examinamos sus opiniones sobre las técnicas que aplicaron y los programas que probaron en una replicación del experimento controlado. Los principales hallazgos incluyen:

– Los resultados de la replicación confirman los hallazgos del estudio original.

– Los participantes piensan que la efectividad de la técnica depende exclusivamente de su desempeño y no de posibles debilidades de la técnica en sí. – Las opiniones sobre la complejidad de la técnica y las preferencias por las técnicas no parecen jugar un papel en la efectividad percibida. Estos resultados son útiles para desarrolladores e investigadores. Sugieren:

– Los desarrolladores deberían tomar conciencia de las limitaciones de su juicio.

– Se deberían diseñar herramientas que proporcionen retroalimentación a los desarrolladores sobre qué tan efectivas son las técnicas.

– Se debería determinar la mejor combinación de técnicas a aplicar que sea al mismo tiempo fácilmente aplicable y efectiva. – Se deberían desarrollar instrumentos para hacer que los resultados empíricos estén disponibles para los desarrolladores.

\ El material asociado a los estudios presentados aquí se puede encontrar en https://github.com/GRISE-UPM/Misperceptions. El artículo está organizado de la siguiente manera. La Sección 2 describe el estudio original. La Sección 3 presenta sus amenazas a la validez. La Sección 4 discute los resultados. La Sección 5 describe el estudio replicado basado en las modificaciones realizadas al estudio original. La Sección 6 presenta sus amenazas a la validez. La Sección 7 informa los resultados de este estudio replicado. La Sección 8 discute nuestros hallazgos y sus implicaciones. La Sección 9 muestra trabajos relacionados. Finalmente, la Sección 10 esboza las conclusiones de este trabajo.

\ \

:::info Este artículo está disponible en arxiv bajo licencia CC BY-NC-ND 4.0.

:::

\