Mejorar la legibilidad de los reportes de prueba
El objetivo de Allure es ayudarte a hacer que los reportes de prueba sean lo más fáciles de entender posible. Idealmente, cuando tu colega vea un fallo de prueba en el reporte, queremos que entienda rápidamente el contexto: cuán grave puede ser el problema, qué características se ven afectadas por él y quién puede ayudarles a investigarlo más a fondo y eventualmente solucionarlo.
Aunque a veces la existencia del fallo en sí misma es suficiente para sacar algunas conclusiones, no siempre es el caso. Y aunque el contexto parezca obvio en el momento de escribir la prueba, los detalles pueden olvidarse cuando falle después de algunos años de trabajo estable.
Por esa razón, es una buena práctica llenar las pruebas con información adicional, describiendo todo lo que un futuro lector pueda necesitar.
Con la integración de Allure para tu framework de prueba, puedes:
- proporcionar descripción, enlaces y otros metadatos;
- describir parámetros utilizados al ejecutar pruebas parametrizadas;
- proporcionar información del entorno para todo el reporte de prueba.
Algunas integraciones de Allure pueden soportar características adicionales, consulta su documentación respectiva.
Descripción, enlaces y otros metadatos
Puedes asignar algunos campos que ayudarán al lector a entender lo que hace una prueba.
Título
Un título legible por humanos de la prueba.
Si no se proporciona, se usa el nombre de la función en su lugar.
Descripción
Un texto arbitrario que describe la prueba con más detalles de lo que el título podría contener.
Si no se proporciona, algunas integraciones de Allure pueden extraer automáticamente la descripción de los comentarios de documentación nativos del lenguaje de programación. Consulta la documentación específica de la integración de Allure para más detalles.
La descripción se tratará como un texto en Markdown, por lo que puedes usar algo de formato básico en ella. No se permiten etiquetas HTML en este tipo de texto y se eliminarán al generar el reporte.
INFO
Allure Report tiene soporte interno para descripciones en formato HTML, y algunas integraciones pueden proporcionar funciones para usarlo. Pero hay que recordar que hacerlo no es seguro y puede romper el diseño del reporte de prueba o incluso crear un vector de ataque XSS para tu organización.
Tags
Cualquier número de términos cortos relacionados con la prueba. Por lo general, es una buena idea enumerar las características relevantes que se están probando. Los tags se pueden utilizar luego para filtrar.
Severidad
Un valor que indica cuán importante es la prueba. Esto puede dar una idea al futuro lector sobre cómo priorizar las investigaciones de diferentes fallos de prueba.
Los valores permitidos son: "trivial", "minor", "normal", "critical", y "blocker".
Propietario
El miembro del equipo responsable de la estabilidad de la prueba. Por ejemplo, esto puede ser el autor de la prueba, el desarrollador principal de la característica que se está probando, etc.
Enlaces
Lista de enlaces a páginas web que pueden ser útiles para un lector que investigue un fallo en la prueba. Puedes proporcionar tantos enlaces como sea necesario.
Existen tres tipos de enlaces:
- un enlace web estándar, por ejemplo, un enlace a la descripción de la característica que se está probando;
- un enlace a un problema en el rastreador de problemas del producto;
- un enlace a la descripción de la prueba en un sistema de gestión de pruebas (TMS).
Se recomienda configurar la integración Allure de manera que acepte identificadores cortos de problemas y enlaces de TMS, y use plantillas de URL para generar URLs completas. Por ejemplo, un identificador BUG-123 puede convertirse automáticamente en https://bugs.example.com/BUG-123. Puedes definir tus propios tipos de enlaces con sus propias plantillas de URL. Consulta la documentación específica de la integración Allure para más detalles.
ID
Identificador único de la prueba.
El ID puede ser utilizado por herramientas adicionales como Allure TestOps.
Otras etiquetas
Otros pares clave-valor.
Las etiquetas pueden ser utilizadas por herramientas adicionales como Allure TestOps.
Pruebas parametrizadas
A veces quieres ejecutar la misma prueba múltiples veces, cada una con un conjunto diferente de valores. Por ejemplo, puedes querer asegurarte de que el comportamiento del sistema no cambie si una cadena de caracteres está vacía o no. El patrón para escribir pruebas con lógica común pero valores diferentes se llama pruebas parametrizadas.
La forma recomendada de implementar este patrón depende del framework de prueba.
Allure recopila y muestra datos sobre los parámetros cuando es posible, y también proporciona funciones para que puedas sobrescribir manualmente los nombres y valores de los parámetros para el reporte. Esto tiene múltiples beneficios para la legibilidad del reporte:
Puedes personalizar cómo Allure muestra los parámetros en el reporte — por ejemplo, hacer que uno de los parámetros esté oculto.
Si un parámetro de prueba es un objeto complejo que no se muestra correctamente, puedes personalizar el valor para el reporte específicamente.
Si dos pruebas son muy similares entre sí, aunque sus implementaciones sean independientes, puedes asignarles títulos idénticos y diferentes parámetros para ayudar al lector a comprender tanto las similitudes como las diferencias de los dos casos.
Sin embargo, ten en cuenta que cuando las implementaciones de las pruebas difieren significativamente, generalmente es mejor organizarlas en conjuntos, comportamientos o paquetes en su lugar.
Información del entorno
Para la página principal del reporte, puedes recopilar diversas informaciones sobre el entorno en el que se ejecutaron las pruebas.
Por ejemplo, es una buena idea usar esto para recordar la versión del sistema operativo, la versión del lenguaje de programación, etc. Esto puede ayudar a un lector futuro a investigar errores que solo se reproducen en algunos entornos.
Para proporcionar esta información, coloca un archivo de entorno especial en el directorio de resultados de la prueba después de ejecutar las pruebas. El archivo será utilizado al construir el reporte por el comando allure. Algunas integraciones de Allure pueden generar este archivo automáticamente según su configuración. Consulta la documentación de la integración específica para más detalles.
Ten en cuenta que esta función debe ser utilizada para propiedades que no cambian para todas las pruebas en el reporte. Si tienes propiedades que pueden ser diferentes para distintas pruebas, considera usar Pruebas parametrizadas.