Potencia estadística
La potencia estadística es la probabilidad de que una prueba detecte un efecto de un tamaño dado cuando ese efecto es real. Se fija antes del lanzamiento por el tamaño de la muestra, la varianza de referencia y el efecto mínimo detectable, y una prueba con poca potencia produce principalmente una ambigüedad costosa.
Cómo se calcula
Potencia = 1 - P(falso negativo). Convención: 80 % con un nivel de significancia del 5 %.
Decide primero el efecto mínimo detectable. Elegirlo después de ver los datos invalida el A/B test.
Por qué es importante para el ARPU
La mayoría de los A/B test de growth enterprise son insuficientes, por lo que los efectos reales se archivan como no concluyentes y la organización poco a poco deja de creer en la evidencia.
Términos relacionados
A/B testUn A/B test asigna aleatoriamente a los clientes a dos o más variantes y compara una métrica predeclarada entre ellas.Pruebas secuencialesLas pruebas secuenciales permiten monitorear los resultados continuamente y detenerse temprano sin inflar los falsos positivos, usando intervalos de confianza siempre válidos en lugar de una única verificación de horizonte fijo.ExperimentoUn experimento es un lanzamiento controlado de una acción candidata frente a un holdout aleatorizado, dimensionado de antemano para que el resultado pueda distinguir un efecto real del ruido.Métrica de salvaguardiaUna guardrail metric es una medida que un experimento no debe dañar, incluso si la métrica principal mejora: tasa de cancelación de suscripción, volumen de quejas, margen, contactos de soporte, desinstalaciones de aplicaciones.