RESOURCES/Metodologia
Come Markin misura l'incrementality
Markin misura l'incrementalità con un holdout randomizzato associato a ogni decisione, letto su una finestra di misurazione completa rispetto a una metrica primaria pre-dichiarata. Un risultato che non ha superato il suo controllo non viene scalato. L'uplift riportato, le conversioni attribuite e i confronti post-hoc non sono accettati come prova in nessuna fase.
Román Via-Dufresne, Co-fondatore, Markin
Aggiornato 4 August 2026 · 8 min di lettura
Richiedi una demo
Perché l'attribuzione non è misurazione
Il reporting attribuito risponde a una domanda di cui nessuno dovrebbe preoccuparsi: delle persone che hanno convertito, quante hanno interagito per prime con questo programma. Conta i clienti che si sarebbero comunque convertiti, e li conta a favore di qualsiasi programma li abbia raggiunti. Ecco perché i programmi che sembrano eccellenti per anni spesso scompaiono quando qualcuno finalmente istituisce un gruppo di controllo.
- L'attribuzione misura la correlazione con un risultato, non il risultato causato.
- I clienti con maggiori probabilità di conversione sono anche i più facili da raggiungere, il che distorce verso l'alto ogni numero attribuito.
- Contattare qualcuno che avrebbe comunque acquistato ha un costo reale che l'attribuzione riporta come una vittoria.
Il design, passo dopo passo
01
Randomizza a livello di cliente, prima della decisione
L'assegnazione avviene prima che Markin scelga un'azione, non dopo. Assegnare dopo la decisione fa sì che la decisione fuoriesca nel gruppo di controllo e distrugga silenziosamente il confronto.
02
Mantenere una quota stabile della popolazione idonea
L'holdout è tratto dai clienti idonei alla decisione, non dalla base nel suo complesso. Confrontare i clienti trattati con l'intera base confronta due popolazioni diverse e produce un numero sempre lusinghiero.
03
Dichiarare la metrica primaria prima del lancio
Una metrica primaria, espressa in ricavo, fissata prima dell'arrivo di qualsiasi dato. Le metriche secondarie vengono registrate ma non possono essere promosse a primarie a posteriori.
04
Leggi su una finestra di misurazione completa
La finestra è impostata dal ciclo di business interessato, non dall'impazienza. Un upsell di abbonamento letto a sette giorni misura la novità. Leggerlo lungo un ciclo di fatturazione misura l'effetto.
05
Applica la regola di arresto
Le regole di interruzione sono impostate in anticipo. Dare un'occhiata a un test in corso e interromperlo quando sembra positivo crea una significatività artificiale, ed è il modo più comune in cui una buona pratica di misurazione si trasforma silenziosamente in una cattiva.
06
Scalare o ritirare
Un risultato che supera il controllo lungo la finestra si estende al resto della popolazione idonea. Un risultato che non lo fa viene ritirato. Non esiste un terzo esito in cui un programma continua a funzionare mentre qualcuno ci pensa.
Cosa conta come prova e cosa no
| Evidenza | Accettato | Perché |
|---|---|---|
| holdout randomizzato, finestra completa, metrica pre-dichiarata | Sì | Misura l'effetto causato dalla decisione. |
| Confronto pre/post sulla stessa coorte | No | Impossibile separare la decisione dalla stagionalità o da qualsiasi altra cosa che sia cambiata. |
| Gruppo trattato rispetto al resto della base non esposto | No | Popolazioni diverse. La sola selezione produce un risultato positivo. |
| Conversioni attribuite dalla piattaforma di delivery | No | Conta i clienti che si sarebbero convertiti comunque. |
| Uplift previsto dal modello | No | Una previsione, non una misurazione. Utile per il ranking, mai per la reportistica. |
| Holdout interrotto anticipatamente perché il risultato sembrava buono | No | L'arresto opzionale gonfia la dimensione dell'effetto. |
Perché esiste la riduzione
BCG rileva che quando i programmi di Next Best Action vengono testati per l'incrementalità, dal 20% al 40% dell'incremento misurato non sopravvive. Markin applica tale riduzione alle proiezioni prima che vengano mostrate, piuttosto che dopo che un cliente la scopre.
Ricerca indipendenteBCG, incrementalità nei programmi di personalizzazione (2026)
Revisionare uno dei propri programmi
Scegli il programma con i numeri migliori. È lì che di solito si trova la sorpresa.
- È stato definito un gruppo di holdout prima del primo invio o è stato ricostruito in seguito?
- Il controllo è stato estratto da clienti idonei o da tutti gli altri?
- La metrica primaria è stata messa per iscritto prima del lancio?
- La finestra riportata è stata scelta in anticipo o una volta che i dati erano disponibili?
- Il test è stato interrotto in un punto concordato in anticipo?
- Se rimuovessi le conversioni attribuite e usassi solo il confronto dell'holdout, il programma si ripagherebbe comunque?
Dove gli holdout sono lo strumento sbagliato
- Comunicazioni obbligatorie per legge o contrattualmente. Non puoi trattenerle, quindi non c'è un control group da mantenere.
- Effetti che si diffondono tra i clienti, come meccanismi di referral o di rete, dove il gruppo di controllo è contaminato dal trattamento.
- Popolazioni idonee molto piccole, dove il test non raggiungerebbe mai la potenza e la risposta onesta è decidere basandosi sul giudizio.
- Cambiamenti strutturali una tantum senza unità ripetibili, che rientrano in un'analisi pre/post con tutte le relative avvertenze.
Markin è un team autonomo di growth-science per le grandi aziende B2C. Indaga perché i ricavi per cliente sono bloccati, formula le proprie ipotesi in marketing, prodotto, prezzi e stato di salute tecnico, sceglie la Next Best Action per ogni cliente, la lancia attraverso i sistemi che l'azienda già utilizza e ne dimostra ogni singola contro un holdout randomizzato.
Gli strumenti di Decisioning scelgono tra le azioni che il tuo team ha già creato. Markin decide cosa costruire.
Domande che le persone si pongono
- Quanto grande dovrebbe essere un holdout?
- Sufficientemente grande da rilevare l'effetto più piccolo che cambierebbe la tua decisione, al livello di significatività su cui sei disposto ad agire. Per le grandi basi B2C si tratta solitamente di una percentuale a singola cifra della popolazione idonea, il che è economico. Il modo corretto per sceglierla è un calcolo di potenza sull'effetto minimo rilevabile, mai un numero arrotondato scelto perché sembra sicuro.
- Quanto dovrebbe essere lunga una finestra di misurazione?
- Finché dura il ciclo economico che la decisione influenza. Per un abbonamento mensile ciò significa almeno un ciclo di fatturazione completo, di solito due, in modo che un acquisto anticipato non venga conteggiato come incrementale. Leggere un effetto sui ricavi a sette giorni misura la novità.
- Qual è la differenza tra uplift e ricavo incrementale?
- L'uplift è solitamente la differenza tra i clienti trattati e tutti gli altri, che è contaminata dalla selezione. Il ricavo incrementale è la differenza tra un gruppo trattato randomizzato e un gruppo di controllo randomizzato tratti dalla stessa popolazione idonea. Solo il secondo supporta un business case.
- È possibile misurare l'incrementalità senza un holdout?
- A volte, con metodi quasi-sperimentali come divisioni geografiche, design switchback o controlli sintetici. Sono legittimi quando la randomizzazione è impossibile, e ognuno di essi si basa su presupposti che un holdout non richiede. Usali come ripiego, dichiara i presupposti e non presentare il risultato come equivalente.
Compara
Come questo si traduce nelle categorie che già acquisti.
Neutral, side by side reads on where the decision layer sits next to the tools in your stack.
Tutti i confronti- Customer 360 vs. un sistema decisionaleUn Customer 360 mostra tutto ciò che sai di un cliente. Un sistema decisionale lo trasforma in un'action commerciale classificata. Dove la visibilità smette di essere utile.
- Personalizzazione vs. revenue decisioningLa personalization adatta l'esperienza. Il decisioning sui ricavi sceglie quale risultato commerciale perseguire e lo dimostra in euro. In che modo i due differiscono nella pratica.
- Retention analytics vs. Retention decisioningLa Retention analytics spiega le coorti e i driver di churn. Il Retention decisioning sceglie gli interventi e prova il margine trattenuto. Dove avviene il passaggio di consegne.