Pruebas secuenciales
También llamado: Always-valid inference
Las pruebas secuenciales permiten monitorear los resultados continuamente y detenerse temprano sin inflar los falsos positivos, usando intervalos de confianza siempre válidos en lugar de una única verificación de horizonte fijo. Formaliza el 'peeking' que los equipos ya hacen.
Por qué es importante para el ARPU
Es lo que hace que el decisioning continuo sea estadísticamente legítimo: las decisiones se pueden tomar tan pronto como la evidencia las respalda, no solo en una fecha programada para la lectura de resultados.
Términos relacionados
A/B testUn A/B test asigna aleatoriamente a los clientes a dos o más variantes y compara una métrica predeclarada entre ellas.Potencia estadísticaLa potencia estadística es la probabilidad de que una prueba detecte un efecto de un tamaño dado cuando ese efecto es real.Bandido multi-brazoUn multi-armed bandit asigna el tráfico de forma adaptativa hacia las variantes que están funcionando bien mientras continúa muestreando las otras.ExperimentoUn experimento es un lanzamiento controlado de una acción candidata frente a un holdout aleatorizado, dimensionado de antemano para que el resultado pueda distinguir un efecto real del ruido.