Contar casos de prueba ejecutados no dice nada sobre la calidad del producto. Estas métricas sí ayudan a tomar decisiones de negocio.
| Métrica | Qué responde | Cómo se mide |
|---|---|---|
| Defectos escapados | ¿Qué se nos pasa? | Bugs encontrados en producción por release, por severidad |
| Change failure rate | ¿Qué tan riesgoso es desplegar? | % de despliegues que requieren hotfix o rollback (DORA) |
| Lead time de cambios | ¿Qué tan rápido entregamos? | Tiempo desde commit hasta producción (DORA) |
| Tiempo de recuperación | ¿Qué tan rápido nos recuperamos? | Tiempo medio para restaurar el servicio (DORA) |
| Tasa de flakiness | ¿Confiamos en las pruebas? | % de ejecuciones que fallan sin cambio de código |
| Cobertura de riesgos | ¿Probamos lo importante? | % de riesgos identificados con pruebas asociadas |
Métricas que conviene evitar como objetivo
- Número de casos de prueba: incentiva casos triviales.
- Número de bugs reportados por tester: incentiva duplicados y divide al equipo.
- Cobertura de código como meta absoluta: se alcanza con pruebas que no verifican nada.