Análisis visual
Un informe de pruebas generado por Allure muestra algunos datos en forma de gráficos. Cuando alguien está familiarizado con tu proyecto y revisa sus informes de pruebas regularmente, puede obtener una idea general del estado actual del proyecto con solo echar un vistazo al último informe de pruebas.
Aquí hay algunos de los trucos que un lector puede adoptar en un proyecto bien organizado:
- Cuanto más verde haya en los gráficos, mejor: consulta el gráfico de Estatus de las pruebas, el gráfico de Suites y Características por historias, y el gráfico de Categorías.
- Cuanto menos críticos sean los valores de gravedad para las pruebas fallidas, mejor: consulta el gráfico de Gravedad.
- Cuanto más rápido se ejecuten la mayoría de las pruebas, mejor: consulta los gráficos de Duración y Tendencia de duración.
- Cuantos menos reintentos tenga que hacer el ejecutor para completar todas las pruebas, mejor: consulta el gráfico de Tendencia de reintentos.
- A menos que las pruebas hayan sido reescritas, no debería haber cambios significativos en el gráfico de Tendencia de categorías.
Dónde ver los gráficos
- En Allure Report 3, haz clic en Report en la esquina superior izquierda de la página de inicio. O configura un reporte de solo gráficos con el plugin Dashboard.
- En Allure Report 2, los gráficos están divididos entre las pestañas Visión General y Gráficos.
Gráfico de estatus de las pruebas
El gráfico de estados de pruebas es un diagrama de sectores que muestra cuántas pruebas obtuvieron cada estatus.
El número en el centro del gráfico de sectores indica el porcentaje de casos de prueba que pasaron con éxito.
Pasa el puntero del ratón sobre una sección del gráfico de sectores para ver tanto el porcentaje como el número absoluto de pruebas con el estatus correspondiente.
Suites y Características por historias {#suites-and-features-by-stories} Allure 2
La pestaña Resumen en Allure Report 2 contiene los bloques de Suites y Características por historias, que presentan grupos de pruebas de la jerarquía basada en suites y la jerarquía basada en comportamientos, respectivamente.
Cada grupo (una suite o una característica) se muestra como una línea horizontal, dividida en secciones de diferentes colores. Las secciones representan el número de pruebas con un determinado estatus, con los colores teniendo los mismos significados que en el gráfico de estatus de las pruebas. El número en una sección indica cuántas pruebas en el grupo terminaron con el estatus correspondiente.
En cada bloque, solo se muestran los diez grupos más demandantes de atención (suites o características). Para elegir qué grupos mostrar, Allure los clasifica por el número de pruebas fallidas, luego por el número de pruebas rotas.
Haz clic en una suite o una historia para abrirla en la pestaña de Suites o Comportamientos. Haz clic en Mostrar todo para abrir la pestaña de Suites o Comportamientos y explorar toda la jerarquía.
Gráficos de tendencia
Los gráficos de tendencia muestran cómo cambió un cierto valor a lo largo del tiempo. Cada línea vertical corresponde a una versión determinada del informe de pruebas, con la última línea a la derecha correspondiente a la versión actual.
Existen diferentes gráficos de tendencia en Allure Report.
- El gráfico de Tendencia muestra cuántas pruebas tuvieron ciertos estatus. Los colores que indican pruebas con cada estatus son los mismos que en el gráfico de estatus de las pruebas.
- El gráfico de Tendencia de duración muestra cuánto tiempo tomó ejecutar todas las pruebas. Consulta también: Gráfico de duración.
- El gráfico de Tendencia de reintentos muestra el número total de reintentos que el ejecutor de pruebas realizó para todas las pruebas.
- El gráfico de Tendencia de categorías muestra el número de defectos de prueba y defectos del producto. Consulta también: Gráfico de categorías.
Haz clic en una línea vertical para abrir una versión anterior del informe de pruebas.
INFO
Consulta Historial de pruebas para aprender cómo construir informes de pruebas con los gráficos de tendencia habilitados.
Gráfico de gravedad
El gráfico de severidad agrupa las pruebas tanto por sus estados como por su severidad.
La lógica de asignación para pruebas sin un nivel de Severidad especificado explícitamente varía entre las versiones de Allure:
- En Allure 3 la prueba se agrega al conteo "Sin severidad" y se coloca en la sección más a la derecha.
- En Allure 2 la prueba se trata como si tuviera el nivel de severidad "normal" y se muestra en la sección del medio, mientras que las pruebas con otros niveles de severidad se colocan a la izquierda o derecha de esta.
El gráfico utiliza una escala logarítmica para facilitar la distinción de las columnas que representan valores similares.
En algunos proyectos, puede considerarse aceptable tener algunas fallas de prueba "normales", "menores" o "triviales", pero no es aceptable tener fallas de prueba "críticas" o "bloqueadoras". Para entender de manera aproximada la estabilidad actual en tal proyecto, un lector puede simplemente verificar cómo se distribuyen los diferentes estatus de las pruebas en el gráfico. Como regla general, cuanto más hacia la izquierda se ubique una barra roja, más atención necesita.
Los colores de los estatus de las pruebas tienen los mismos significados que en el gráfico de estatus de las pruebas.
Pasa el puntero del mouse sobre una columna para ver los conteos de las pruebas con el estado y severidad correspondientes.
Gráfico de duración
El gráfico principal de duración divide todas las pruebas en grupos según cuánto tiempo tomó completarlas.
El gráfico utiliza una escala logarítmica para facilitar la distinción de las columnas que representan valores similares.
Si tu proyecto no tiene pruebas que tomen mucho tiempo por diseño, este gráfico a menudo muestra los grupos de pruebas más grandes a la izquierda. Si una prueba toma más tiempo que otras y, por lo tanto, se coloca en los grupos de la derecha, esto puede ser un indicador de un problema dentro de la prueba o incluso de la característica del producto con la que trabaja: por ejemplo, un intento de cargar un recurso desde un servidor lento. Además, una duración larga de una prueba puede ser causada por un gran número de reintentos.
Sin embargo, ten en cuenta que a veces la duración de una prueba puede verse afectada por varios factores externos, como la cantidad de memoria operativa libre en la máquina. Por lo general, es una buena idea ejecutar las pruebas nuevamente, si es posible, para confirmar que la larga duración de una prueba es un problema persistente.
Pasa el puntero del ratón sobre una columna para ver tanto los nombres de las pruebas con duraciones en el intervalo correspondiente.
Gráfico de categorías {#categories-graph} Allure 2
La pestaña Resumen contiene el bloque de Categorías que presenta categorías de pruebas. Esto incluye las categorías personalizadas, así como las categorías predefinidas "Defectos del producto" y "Defectos de prueba", asignadas según los estatus de las pruebas.
Cada categoría se muestra como una línea horizontal, dividida en secciones de diferentes colores. Las secciones representan el número de pruebas con un determinado estatus, y los colores tienen los mismos significados que en el gráfico de estatus de las pruebas. El número en una sección indica cuántas pruebas en la categoría terminaron con el estatus correspondiente.
La línea que corresponde a las categorías predefinidas no se divide en secciones, ya que cada prueba en dicha categoría tiene el mismo estatus.
Haz clic en una categoría para verla en la pestaña Categorías. Haz clic en Mostrar todo para abrir la pestaña Categorías y explorar toda la jerarquía.