Experimento
Un experimento es un lanzamiento controlado de una acción candidata frente a un holdout aleatorizado, dimensionado de antemano para que el resultado pueda distinguir un efecto real del ruido. Tiene una métrica pre-registrada, una regla de parada y guardrails, y produce una estimación de ingresos incrementales en lugar de una tasa.
Por qué es importante para el ARPU
El uplift reportado que nunca fue holdout suele ser estacionalidad o selección. Los Experimentos son el único mecanismo que convierte la actividad en crecimiento de ARPU defendible.
Términos relacionados
Grupo holdoutUn holdout es un conjunto de clientes seleccionados aleatoriamente y deliberadamente excluidos de una acción, mantenidos como el contrafactual.IncrementalidadIncrementality es la parte de un resultado que no habría ocurrido sin la acción.Potencia estadísticaLa potencia estadística es la probabilidad de que una prueba detecte un efecto de un tamaño dado cuando ese efecto es real.Métrica de salvaguardiaUna guardrail metric es una medida que un experimento no debe dañar, incluso si la métrica principal mejora: tasa de cancelación de suscripción, volumen de quejas, margen, contactos de soporte, desinstalaciones de aplicaciones.