RESOURCES/Metodología
Cómo Markin mide la incrementalidad
Markin mide la incrementalidad con un holdout aleatorio asociado a cada decisión, leído durante una ventana de medición completa frente a una métrica primaria predeclarada. Un resultado que no ha superado su control no se escala. La mejora (uplift) reportada, las conversiones atribuidas y las comparaciones post-hoc no se aceptan como evidencia en ninguna etapa.
Por qué la atribución no es medición
La atribución en los informes responde a una pregunta que a nadie debería importarle: de las personas que convirtieron, ¿cuántas tuvieron contacto con este programa primero? Cuenta a los clientes que habrían convertido de todas formas y los cuenta a favor de cualquier programa que los haya alcanzado. Por eso, los programas que parecen excelentes durante años suelen desaparecer cuando alguien finalmente mantiene un control group.
- La atribución mide la correlación con un resultado, no el resultado causado.
- Los clientes con más probabilidades de convertir también son los más fáciles de alcanzar, lo que sesga al alza cada número atribuido.
- Contactar a alguien que habría comprado de todos modos tiene un coste real que la atribución reporta como una victoria.
El diseño, paso a paso
01
Aleatorizar en el cliente, antes de la decisión
La asignación ocurre antes de que Markin elija una acción, no después. Asignar después de la decisión filtra la decisión al grupo de control y destruye silenciosamente la comparación.
02
Mantener un holdout estable de la población elegible
El holdout se extrae de los clientes que eran elegibles para la decisión, no de la base en general. Comparar a los clientes tratados con la base completa compara dos poblaciones diferentes y produce un número que siempre es halagador.
03
Declara la métrica principal antes del lanzamiento
Una métrica principal, expresada en ingresos, fijada antes de que llegue cualquier dato. Las métricas secundarias se registran pero no pueden promoverse a principales a posteriori.
04
Leer en una ventana de medición completa
La ventana la establece el ciclo de negocio afectado, no la impaciencia. Una venta adicional de suscripción leída a los siete días mide la novedad. Leerla a lo largo de un ciclo de facturación mide el efecto.
05
Aplicar la regla de detención
Las reglas de detención se establecen de antemano. Echar un vistazo a una prueba en curso y detenerse cuando parece buena fabrica significación, y es la forma más común en que una buena práctica de medición se convierte silenciosamente en una mala.
06
Escalar o retirar
Un resultado que supera al control en todo el período se escala al resto de la población elegible. Un resultado que no lo hace se retira. No hay un tercer escenario en el que un programa siga ejecutándose mientras alguien lo piensa.
Qué cuenta como evidencia y qué no
| Evidencia | Aceptado | Por qué |
|---|---|---|
| holdout aleatorio, ventana completa, métrica predeclarada | Sí | Mide el efecto causado por la decisión. |
| Comparación pre/post en la misma cohorte | No | No se puede separar la decisión de la estacionalidad o de cualquier otra cosa que haya cambiado. |
| Grupo tratado frente al resto de la base no expuesta | No | Poblaciones diferentes. Solo la selección produce un resultado positivo. |
| Conversiones atribuidas de la plataforma de entrega | No | Cuenta los clientes que habrían convertido de todos modos. |
| Uplift predicho por el Model | No | Una previsión, no una medición. Útil para la clasificación, nunca para la elaboración de informes. |
| El holdout se detuvo antes de tiempo porque el resultado parecía bueno | No | La detención opcional infla el tamaño del efecto. |
Por qué existe el recorte
BCG descubre que las organizaciones que adoptan pruebas rigurosas de incrementality suelen encontrar que entre el 20 % y el 40 % de sus programas activos de Next Best Action ofrecen un uplift marginal o negativo. Markin aplica un ajuste a las proyecciones antes de mostrarlas, en lugar de que un cliente lo descubra después.
Investigación independienteBCG, Measuring Incrementality in Next-Best Action Programs (julio de 2026)
Auditar uno de tus propios programas
Elija el programa con los números de mejor aspecto. Ahí es donde suele estar la sorpresa.
- ¿Se definió un control group antes del primer envío o se reconstruyó después?
- ¿El control se obtuvo de clientes elegibles o de todos los demás?
- ¿Se anotó la métrica principal antes del lanzamiento?
- ¿La ventana reportada se eligió de antemano o una vez que los datos estuvieron disponibles?
- ¿Se detuvo el test en un punto previamente acordado?
- Si eliminara las conversiones atribuidas y usara solo la comparación con el holdout, ¿el programa seguiría siendo rentable?
Donde los holdouts son el instrumento equivocado
- Comunicaciones legal o contractualmente obligatorias. No puedes retenerlas, por lo que no hay un grupo de control que retener.
- Efectos que se extienden a varios clientes, como la mecánica de referral o red, donde el control group se contamina con el tratamiento.
- Poblaciones elegibles muy pequeñas, donde la prueba nunca alcanzaría la potencia estadística y la respuesta honesta es decidir por juicio.
- Cambios estructurales puntuales sin unidad repetible, que pertenecen a un análisis de antes/después con todas sus advertencias declaradas.
Markin es un equipo autónomo de growth-science para grandes empresas B2C. Investiga por qué el ingreso por cliente está estancado, forma sus propias hipótesis en marketing, producto, precios y salud técnica, elige la Next Best Action para cada cliente, la lanza a través de los sistemas que la empresa ya gestiona, y prueba cada una frente a un holdout aleatorizado.
Las herramientas de toma de decisiones eligen entre las acciones que tu equipo ya ha desarrollado. Markin decide qué construir.
Preguntas que hace la gente
- ¿Qué tamaño debe tener un holdout?
- Lo suficientemente grande como para detectar el efecto más pequeño que cambiaría su decisión, al nivel de significancia sobre el que está dispuesto a actuar. Para grandes bases B2C, esto suele ser un porcentaje de un solo dígito de la población elegible, lo cual es económico. La forma correcta de elegirlo es un cálculo de potencia sobre el efecto mínimo detectable, nunca un número redondo elegido porque parece seguro.
- ¿Cuánto tiempo debe durar una ventana de medición?
- Tan largo como el ciclo de negocio al que afecta la decisión. Para una suscripción mensual, eso significa al menos un ciclo de facturación completo, generalmente dos, para que una compra anticipada no se cuente como incremental. Leer un efecto en los ingresos a los siete días mide la novedad.
- ¿Cuál es la diferencia entre uplift e ingresos incrementales?
- El uplift suele ser la diferencia entre los clientes tratados y todos los demás, lo cual está contaminado por la selección. Los ingresos incrementales son la diferencia entre un grupo tratado aleatorizado y un grupo de control aleatorizado extraído de la misma población elegible. Solo el segundo apoya un business case.
- ¿Puede medir la incrementalidad sin un holdout?
- A veces, con métodos cuasi-experimentales como divisiones geográficas, diseños switchback o controles sintéticos. Son legítimos cuando la aleatorización es imposible, y cada uno de ellos se basa en suposiciones que un holdout no necesita. Úsalos como último recurso, declara las suposiciones y no presentes el resultado como equivalente.
Comparar
Cómo esto se compara con las categorías que ya compras.
Neutral, side by side reads on where the decision layer sits next to the tools in your stack.
Todas las comparaciones- Cliente 360 vs. un sistema de decisiónUn 360 del cliente muestra todo lo que sabe sobre un cliente. Un sistema de decisiones lo convierte en una acción comercial clasificada. Donde la visibilidad deja de ser rentable.
- Personalización vs. Toma de decisiones de ingresosLa personalización adapta la experiencia. La toma de decisiones de ingresos elige qué resultado comercial perseguir y lo demuestra en euros. En qué se diferencian ambos en la práctica.
- Analíticas de retención vs. toma de decisiones de retenciónLas analíticas de retención explican las cohortes y los motores de abandono. La toma de decisiones de retención elige las intervenciones y demuestra el margen retenido. Dónde se produce el traspaso.