Diseñar un holdout que realmente pueda detectar un lift de ARPU

1. 014.6%Derivado en este informeCitar

   Con un coeficiente de variación de 2,2, una base de 200.000 clientes con un holdout del 10 % tiene un efecto mínimo detectable del 4,6 %. Un uplift real del 2 % se encuentra el 25,1 % de las veces.

   Este es el resultado central y es incómodo, porque del 2 % al 3 % es exactamente el rango al que apuntan la mayoría de los programas de Next Best Action, y 200.000 clientes parece una base grande. El diseño no es marginal, le falta un factor de cinco: un uplift del 2 % necesita aproximadamente un millón de clientes con el mismo CV y holdout share. Los equipos leen un valor p de 0,4 como evidencia de que el programa no hizo nada, cuando es evidencia de que el experimento no pudo haber visto nada.

   Haz estoCalcula el MDE antes del lanzamiento, no el p-value después. Si el uplift esperado está por debajo del MDE, rediseña el experimento o agrupa la ventana en lugar de ejecutarlo.

2. 0226.8%Derivado en este informeCitar

   Veinte inspecciones provisionales elevan la tasa de falsos positivos del 4,9 % al 26,8 % bajo una hipótesis nula verdadera. Cuatro inspecciones ya la llevan al 13,6 %.

   Simulado ejecutando el mismo experimento nulo con análisis intermedios espaciados uniformemente y deteniéndose en el primer p inferior a 0.05. El daño comienza inmediatamente: dos miradas cuestan el 7,5 %, cuatro cuestan el 13,6 %. En una cultura de dashboard donde cualquiera puede abrir el experimento diariamente, el número efectivo de miradas no es una elección de diseño que nadie haya hecho. Los remedios están bien establecidos, una única lectura pre-registrada, un límite de gasto alfa, o una secuencia de confianza siempre válida, y todos ellos requieren decidir antes del lanzamiento.

   Haz estoEscribe la fecha de lectura en el informe del experimento y respétala o cambia a un procedimiento secuencial. No dejes un número de significancia en vivo en un panel de control.

3. 032.05%Derivado en este informeCitar

   Los retornos del holdout se aplanan rápidamente. En una base de un millón de clientes con un CV de 2,2, pasar del 2 % al 10 % de holdout mejora el MDE del 4,40 % al 2,05 %; pasar del 20 % al 50 % lo mejora solo del 1,54 % al 1,23 %.

   La precisión proviene del brazo más pequeño, por lo que privar al control es el ahorro más caro disponible. El coste del holdout también es menor de lo que parece: con 12 USD de ARPU, un margen del 70 % y un uplift del 3 %, un holdout del 10 % en un millón de clientes renuncia aproximadamente a 75.600 USD de margen durante tres meses, frente al coste de escalar un programa que no hace nada en toda la base. El diez por ciento es el valor predeterminado correcto, el veinte donde la base lo permite, y por debajo del cinco solo cuando la base es muy grande.

   Haz estoPor defecto, un holdout del 10 %. Ponle precio explícitamente con la fórmula en el bloque del modelo para que la conversación sea sobre un número en lugar de sobre un principio.

4. 041.96xDerivado en este informeCitar

   CUPED ofrece más potencia que cualquier aumento de muestra disponible para la mayoría de los equipos: con una correlación preperíodo de 0,7, la muestra efectiva se duplica aproximadamente.

   Las razones de varianza simuladas siguen de cerca 1 / (1 - rho^2): 1,10x con rho 0.3, 1,33x con 0.5, 1,96x con 0.7 y 5,29x con 0.9. Los negocios de suscripción con revenue mensual estable se encuentran en el extremo superior, que es precisamente donde el problema de medición de ARPU es más difícil. Elimina la varianza, no el sesgo, por lo que es seguro de una manera que el recorte de valores atípicos no lo es.

   Haz estoCalcula la correlación entre los ingresos por cliente antes y durante el período. Por encima de 0,5, aplica CUPED antes de añadir un solo cliente al experimento.

5. 054.5%Derivado en este informeCitar

   La tasa de falsos positivos del test ingenuo en ingresos con colas pesadas es del 4,5 % frente a un 5 % nominal. La distribución no es el problema.

   Vale la pena decirlo claramente, porque la reacción habitual a los ingresos sesgados es recurrir a una prueba de rangos o a una transformación logarítmica, las cuales cambian el estimador del ingreso medio a algo que un equipo de finanzas no puede usar. En estos tamaños de base, el teorema del límite central está haciendo su trabajo en las medias de los brazos. El problema con los experimentos de ingresos es la potencia y las reglas de detención, no la validez.

   Haz estoSigue probando la media, que es la cantidad que le importa al negocio. Invierte el esfuerzo en el tamaño de la muestra, el porcentaje de holdout y las reglas de detención en su lugar.

• Líder de growth

  Introduce el efecto mínimo detectable en el informe del experimento junto a la ganancia esperada. Si la ganancia esperada está por debajo de este, el experimento ya está decidido y ejecutarlo solo genera un falso negativo.

• Analítica

  Mide el coeficiente de variación de los ingresos por cliente durante tu período real y la correlación con el período previo. Esos dos números cambian el diseño del experimento más que cualquier opción de modelado disponible para ti.

• Finanzas

  Estima explícitamente el coste del holdout en lugar de discutirlo. En el diseño de referencia, es de aproximadamente 75.600 US dollar de margen durante un trimestre, frente al coste de escalar un programa que no hace nada en toda la base.

• Patrocinador ejecutivo

  Pide la fecha de lectura antes del lanzamiento y niégate a mirar antes de ella. Veinte miradas casuales convierten una tasa de error del 5 % en un 27 %, y ningún análisis posterior puede deshacerlo.

Coeficiente de variación (CV)

Desviación estándar de los ingresos por cliente durante la ventana de medición, dividida por su media. Este único número, no el tamaño de la base, es lo que dificulta los Experiment. Las bases de suscripción de consumidores se sitúan cerca de 1,4 cuando todos pagan un precio similar, y por encima de 3 cuando una pequeña parte de los clientes genera una gran parte de los ingresos.

Efecto mínimo detectable (MDE)

El uplift de ARPU relativo más pequeño que el diseño encontraría, con un 80 % de potencia, a un nivel de significancia del 5 % bilateral. Un resultado por debajo del MDE no es evidencia de que no haya efecto; es evidencia de que el experimento no pudo verlo.

Potencia

La probabilidad de declarar una victoria cuando el uplift está realmente ahí. Una potencia inferior al 50 % significa que un volado decide si un programa real sobrevive a su propia medición.

Peeking

Evaluar la significancia repetidamente mientras el experimento se está ejecutando y detenerse al primer resultado significativo. No es un pecado menor: infla la tasa de falsos positivos muy por encima de la nominal del 5 %.

CUPED

Experimentación controlada usando datos pre-experimento. Resta la parte de los ingresos del período predicha por los ingresos del mismo cliente del período anterior. Elimina la varianza en lugar del sesgo, por lo que proporciona tamaño de muestra de forma gratuita.

Dos fuentes. Las cifras de potencia son de forma cerrada y exactas dado el CV. Las cifras simuladas conllevan un error de Monte Carlo: en 2,000 per cell (800 for the peeking table, 200 for CUPED), una tasa cercana al 5 % tiene un error estándar de aproximadamente 0,5 puntos porcentuales y una tasa cercana al 50 % de aproximadamente 1,1 puntos. Las cifras se informan con un decimal porque eso es lo que soporta el recuento de replicaciones, no porque sean precisas a un decimal.

• MDE del 4,6 % a n = 200.000

  En valores CV de 1,4 a 3,5. Medir tu propio CV, por lo tanto, vale más que cualquier otro refinamiento de entrada.

  2,9 % a 7,3 %

• Potencia del 46,3 % con un true lift del 3 %

  El valor de forma cerrada es 44,8 %, lo cual está dentro del error de simulación del resultado simulado. El que ambos métodos concuerden es el objetivo de ejecutarlos ambos.

  +/- 1,1 puntos de error de Monte Carlo

• Tasa de falsos positivos del 4,5 % bajo la hipótesis nula

  Estadísticamente indistinguible del 5 % nominal. Las colas pesadas no anulan el test en estos tamaños de base; el peeking sí lo hace.

  +/- 0,5 puntos

• Multiplicador de muestra efectiva CUPED

  Sigue de cerca 1 / (1 - rho^2) en la simulación. Tu propio rho es una tarde de SQL, y decide si CUPED es una nota al pie o la mayor ganancia individual disponible.

  1,1x con una rho de 0,3 a 5,3x con una rho de 0,9

• La distribución de ingresos simulada es una lognormal estilizada con inflación de ceros, no tu base. Reproduce las dos características importantes, una gran masa en cero y una larga cola derecha, y nada más sobre tu negocio.
• El cálculo de potencia asume clientes independientes. El uso compartido en el hogar, los efectos de referencia y las cuentas compartidas crean correlación que infla la varianza real más allá de lo que solo el CV captura.
• El peeking se simula solo en su forma ingenua, deteniéndose en la primera p por debajo de 0.05. El informe nombra las correcciones, pero no cuantifica sus características operativas.
• Las ganancias de CUPED dependen de la correlación entre los ingresos del preperíodo y los del período en tu propia base. Las proporciones simuladas muestran la forma de la relación, no la ganancia que obtendrás.
• Nada de esto aborda el sesgo. Un experimento perfectamente potenciado en un control contaminado sigue midiendo lo incorrecto.

• ¿Qué tamaño debe tener un holdout para medir el uplift del ARPU?
• ¿Cómo calculo el tamaño de la muestra para un experimento de ingresos?
• ¿Por qué mis experimentos de ARPU siempre son inconclusos?
• ¿Cuál es el efecto detectable mínimo para un A/B test en revenue?
• ¿Es malo comprobar los resultados del experimento antes de tiempo?
• ¿Qué es CUPED y cuándo debo usarlo?

• PlaybookEjecuta una oferta de retención antes de la renovación sin pagar a los clientes que de todos modos se quedabanOfertas de ahorro de prerreunión en Stripe, dimensionadas por riesgo en lugar de por pertenencia a la lista.
• InvestigaciónDe campañas a decisiones por clienteEl obstáculo casi nunca es el modelo. Es la identidad, la latencia, la reescritura, un número de margen y la voluntad de retener.
• InvestigaciónLa línea de descuento de retenciónLa mayoría de las ofertas para retener clientes se evalúan en función de cuántos clientes se quedaron. El único número que decide es cuántos se quedaron que de otro modo se habrían ido.
• GuíaCómo Markin mide la incrementalidadEl diseño del holdout, la ventana de medición y las reglas de detención que Markin utiliza antes de que se permita escalar cualquier resultado. Escrito para ser verificado.
• GuíaEl estándar de evidencia detrás de cada número que publicamosCómo Markin decide lo que se le permite afirmar en público: el registro de afirmaciones, los calificadores obligatorios, las fechas de revisión y las afirmaciones que nos negamos a hacer.