A/B test
También llamado: Split test, Randomised controlled trial
Un A/B test asigna aleatoriamente a los clientes a dos o más variantes y compara una métrica predeclarada entre ellas. La aleatorización es lo que permite una afirmación causal: cualquier diferencia preexistente entre grupos se distribuye por azar en lugar de por selección.
Por qué es importante para el ARPU
Sigue siendo el instrumento más barato para establecer que una acción de growth funcionó, y la métrica predefinida es lo que impide que un resultado nulo se reinterprete como un éxito.
Términos relacionados
Grupo holdoutUn holdout es un conjunto de clientes seleccionados aleatoriamente y deliberadamente excluidos de una acción, mantenidos como el contrafactual.Potencia estadísticaLa potencia estadística es la probabilidad de que una prueba detecte un efecto de un tamaño dado cuando ese efecto es real.Pruebas secuencialesLas pruebas secuenciales permiten monitorear los resultados continuamente y detenerse temprano sin inflar los falsos positivos, usando intervalos de confianza siempre válidos en lugar de una única verificación de horizonte fijo.Métrica de salvaguardiaUna guardrail metric es una medida que un experimento no debe dañar, incluso si la métrica principal mejora: tasa de cancelación de suscripción, volumen de quejas, margen, contactos de soporte, desinstalaciones de aplicaciones.