Progettare un holdout che possa effettivamente rilevare l'uplift di ARPU
La maggior parte degli esperimenti sull'ARPU non sono inconcludenti. Erano sotto-potenziati il giorno in cui sono stati progettati, e nessuno l'ha calcolato.
4.6%
Una base di 200.000 clienti con un holdout del 10% non può rilevare in modo affidabile nulla al di sotto di un uplift dell'ARPU del 4,6%. La maggior parte dei programmi persegue il 2%.
Punti chiave
- 01I ricavi hanno una coda pesante, quindi le regole sulla dimensione del campione del tasso di conversione sottostimano ciò di cui un esperimento ARPU ha bisogno, di solito di diverse volte.
- 02Con CV 2,2, rilevare un ARPU lift del 2% con una potenza dell'80% richiede all'incirca un milione di clienti con un holdout del 10%. A 200.000 il floor è del 4,6%.
- 03Venti controlli intermedi trasformano un tasso di falsi positivi nominale del 5% in un 26,8%. Il "peeking" settimanale è l'abitudine più dannosa nella misurazione del growth.
- 04I ritorni dell'holdout si appiattiscono oltre il 20 %: passare dal 10 % al 20 % migliora l'MDE di mezzo punto, e passare al 50 % non aggiunge quasi nulla.
- 05CUPED è la potenza più economica che puoi acquistare. Con una correlazione pre-periodo di 0,7 raddoppia approssimativamente il campione effettivo senza clienti aggiuntivi.
- 06Misura prima il tuo CV, prima di progettare qualsiasi cosa. Muove la risposta più di qualsiasi altro input su questa pagina.
Romà Llambés · CEO, Markin · Revisionato 2026-09-10 · Ogni report viene revisionato due volte l'anno e ri-eseguito fuori ciclo ogni volta che una fonte su cui si basa cambia. · Metodo e fonti
La domanda
Quanto deve essere grande un holdout prima che possa effettivamente rilevare l'uplift ARPU che stai sperando?
I ricavi hanno una coda pesante, quindi la dimensione del campione che un calcolatore di tasso di conversione ti fornisce è errata di un ampio margine. Con un coefficiente di variazione di 2.2, rilevare un lift dell'ARPU del 2% con una potenza dell'80% richiede all'incirca un milione di clienti con un holdout del 10%. A 200.000, il minimo effetto rilevabile è del 4,6%, e un reale lift del 2% si trova solo circa un quarto delle volte.
- Campione
- Nessun dato cliente. Due componenti: un calcolo di potenza in forma chiusa per la differenza nelle medie del braccio, e un Monte Carlo su ricavi simulati, 2.000 repliche per cella, 800 per la tabella del peeking e 200 per la tabella CUPED. I ricavi per cliente sono estratti da una lognormale con zero-inflation, 35% di non spendenti, calibrata a una media di 12 unità monetarie e a coefficienti di variazione di 1,4, 2,2 e 3,5. La griglia copre dimensioni di base da 50.000 a 5.000.000 e quote di holdout dal 2% al 50%.
- Periodo
- Simulazione eseguita il 14 settembre 2026, seed 20260914. L'aritmetica è indipendente dal tempo; l'intervallo plausibile del CV è la parte che invecchia.
- Revisionato
- 2026-09-10Revisionato due volte l'anno
- 4.6%
- Con un coefficiente di variazione di 2,2, una base di 200.000 clienti con un holdout del 10% ha un effetto minimo rilevabile del 4,6%. Un reale lift del 2% viene rilevato il 25,1% delle volte.
- 26.8%
- Venti controlli intermedi aumentano il tasso di falsi positivi dal 4,9% al 26,8% sotto un vero nullo. Quattro controlli lo portano già al 13,6%.
- 2.05%
- I ritorni dell'holdout si appiattiscono rapidamente. Su una base di un milione di clienti con CV 2.2, spostarsi da un holdout del 2 % a uno del 10 % migliora l'MDE dal 4,40 % al 2,05 %; spostarsi da un 20 % a un 50 % lo migliora solo dall'1,54 % all'1,23 %.
Risultati
Cosa abbiamo trovato
- 014.6%Derivato in questo rapporto
Con un coefficiente di variazione di 2,2, una base di 200.000 clienti con un holdout del 10% ha un effetto minimo rilevabile del 4,6%. Un reale lift del 2% viene rilevato il 25,1% delle volte.
Questo è il risultato centrale ed è scomodo, perché il 2% al 3% è esattamente l'intervallo a cui mirano la maggior parte dei programmi next best action, e 200.000 clienti sembrano una base ampia. Il design non è marginale, è scarso di un fattore cinque: un uplift del 2% richiede circa un milione di clienti con lo stesso CV e la stessa quota di holdout. I team leggono un p-value di 0,4 come prova che il programma non ha fatto nulla, quando è la prova che l'esperimento non avrebbe potuto vedere nulla.
Fai questoCalcola l'MDE prima del lancio, non il p-value dopo. Se il lift atteso è inferiore all'MDE, riprogetta l'esperimento o raggruppa la finestra invece di eseguirlo.
- 0226.8%Derivato in questo rapporto
Venti controlli intermedi aumentano il tasso di falsi positivi dal 4,9% al 26,8% sotto un vero nullo. Quattro controlli lo portano già al 13,6%.
Simulato eseguendo lo stesso esperimento nullo con analisi intermedie equamente distanziate e fermandosi al primo p inferiore a 0,05. Il danno inizia immediatamente: due sguardi costano il 7,5%, quattro costano il 13,6%. In una cultura del dashboard in cui chiunque può aprire l'esperimento quotidianamente, il numero effettivo di sguardi non è una scelta di progettazione che qualcuno abbia fatto. I rimedi sono ben consolidati: una singola lettura pre-registrata, un limite di alpha-spending o una sequenza di confidenza sempre valida, e tutti richiedono una decisione prima del lancio.
Fai questoScrivi la data di lettura nel brief dell'esperimento e attieniti ad essa o passa a una procedura sequenziale. Non lasciare un numero di significatività live su un dashboard.
- 032.05%Derivato in questo rapporto
I ritorni dell'holdout si appiattiscono rapidamente. Su una base di un milione di clienti con CV 2.2, spostarsi da un holdout del 2 % a uno del 10 % migliora l'MDE dal 4,40 % al 2,05 %; spostarsi da un 20 % a un 50 % lo migliora solo dall'1,54 % all'1,23 %.
La precisione deriva dal braccio più piccolo, quindi privare il controllo è il risparmio più costoso disponibile. Il costo dell'holdout è anche più piccolo di quanto sembri: con 12 USD ARPU, 70% di margine e un 3% di uplift, un holdout del 10% su un milione di clienti rinuncia approssimativamente a 75.600 USD di margine in tre mesi, rispetto al costo di scalare un programma che non fa nulla sull'intera base. Il dieci percento è il default giusto, il venti dove la base lo consente, e sotto il cinque solo quando la base è molto grande.
Fai questoPredefinisci un holdout del 10%. Prezzalo esplicitamente con la formula nel blocco del modello in modo che la conversazione riguardi un numero piuttosto che un principio.
- 041.96xDerivato in questo rapporto
CUPED offre più potenza di qualsiasi aumento di campione disponibile per la maggior parte dei team: con una correlazione pre-periodo di 0,7, il campione effettivo raddoppia approssimativamente.
I rapporti di varianza simulati seguono da vicino 1 / (1 - rho^2): 1,10x a rho 0,3, 1,33x a 0,5, 1,96x a 0,7 e 5,29x a 0,9. Le aziende di abbonamento con ricavi mensili stabili si collocano all'estremità superiore, che è precisamente dove il problema di misurazione dell'ARPU è altrimenti più difficile. Rimuove la varianza, non il bias, quindi è sicuro in un modo in cui il trimming degli outlier non lo è.
Fai questoCalcola la correlazione tra i ricavi per cliente nel periodo precedente e nel periodo in corso. Sopra 0,5, applica CUPED prima di aggiungere un singolo cliente all'esperimento.
- 054.5%Derivato in questo rapporto
Il false positive rate del test ingenuo sui ricavi con code pesanti è del 4,5% contro un nominale 5%. La distribuzione non è il problema.
Vale la pena dichiararlo chiaramente, perché la reazione usuale ai ricavi distorti è ricorrere a un rank test o a una trasformazione logaritmica, entrambi i quali cambiano l'estimando dai ricavi medi a qualcosa che un team finanziario non può usare. Con queste dimensioni di base, il teorema del limite centrale fa il suo lavoro sulle medie dei bracci. Il problema con gli esperimenti sui ricavi è la potenza e le regole di interruzione, non la validità.
Fai questoContinua a testare la media, che è la quantità a cui l'azienda tiene. Dedica invece lo sforzo alla dimensione del campione, alla quota di holdout e alle regole di arresto.
Grafici e tabelle
I dati
- 50,0009.19%
- 200,0004.59%
- 1,000,0002.05%
- 5,000,0000.92%
La barra evidenziata è la dimensione della base in cui la maggior parte dei team ritiene di condurre un esperimento sui ricavi ben potente.
| Dimensione della base | CV 1.4 | CV 2.2 | CV 3.5 |
|---|---|---|---|
| 50,000 | 5.85% | 9.19% | 14.62% |
| 200,000 | 2.92% | 4.59% | 7.31% |
| 1,000,000 | 1.31% | 2.05% | 3.27% |
| 5,000,000 | 0.58% | 0.92% | 1.46% |
| Quota di holdout | Effetto minimo rilevabile | Margine perduto sul periodo |
|---|---|---|
| 2% | 4.40% | $15,120 |
| 5% | 2.83% | $37,800 |
| 10% | 2.05% | $75,600 |
| 20% | 1.54% | $151,200 |
| 50% | 1.23% | $378,000 |
| Uplift reale | Quota di esecuzioni dichiarate significative |
|---|---|
| 0% (nullo) | 4.5% |
| 1% | 10.5% |
| 2% | 25.1% |
| 3% | 46.3% |
| 5% | 84.9% |
| Verifiche intermedie | Tasso di falsi positivi |
|---|---|
| 1 (lettura singola) | 4.9% |
| 2 | 7.5% |
| 4 | 13.6% |
| 8 | 16.1% |
| 20 (settimanale per cinque mesi) | 26.8% |
| Correlazione pre-periodo | Rapporto di varianza | Moltiplicatore del campione effettivo |
|---|---|---|
| 0.3 | 0.909 | 1.10x |
| 0.5 | 0.750 | 1.33x |
| 0.7 | 0.510 | 1.96x |
| 0.9 | 0.189 | 5.29x |
Eseguilo sui tuoi numeri
Cosa può effettivamente rilevare la tua base?
Inserisci le tue dimensioni di base, la quota di holdout e il CV misurato. Tutto funziona nel tuo browser e nulla viene inviato da nessuna parte.
Misura il coefficiente di variazione sui tuoi ricavi per cliente su un periodo della stessa lunghezza dell'esperimento, inclusi i clienti che non hanno speso nulla, diviso per la media.
Effetto minimo rilevabile
4.59%
L'uplift che ti aspetti è inferiore al limite inferiore che questo design può rilevare. Un risultato nullo non ti direbbe nulla, quindi riprogetta prima del lancio.
- Power al lift che ti aspetti
- 44.8%
- Trattato
- 180,000
- Controllo
- 20,000
Alfa bilaterale 0,05, potenza dell'80%. Presuppone una lettura a data fissa.
Implicazioni
Cosa significa questo per la persona che deve agire
Growth lead
Inserisci il minimo effetto rilevabile nel brief dell'esperimento accanto al lift atteso. Se il lift atteso è inferiore, l'esperimento è già stato deciso ed eseguirlo porta solo a un falso negativo.
Analytics
Misura il coefficiente di variazione dei ricavi per cliente sul tuo periodo effettivo e la correlazione con il periodo precedente. Questi due numeri cambiano la progettazione dell'esperimento più di qualsiasi scelta di modellazione a tua disposizione.
Finanza
Prezza l'holdout esplicitamente piuttosto che discuterne. Sul design di riferimento si tratta di circa 75.600 US dollar di margine in un trimestre, a fronte del costo di scalare un programma che non fa nulla sull'intera base.
Sponsor esecutivo
Chiedi la data di lettura prima del lancio e rifiuta di guardare prima di essa. Venti occhiate casuali trasformano un tasso di errore del 5% in 27%, e nessuna analisi a posteriori può annullarlo.
Metodo
Definizioni che cambiano la risposta
- Coefficiente di variazione (CV)
- La deviazione standard dei ricavi per cliente sull'intervallo di misurazione, divisa per la sua media. Questo singolo numero, non la dimensione della base, è ciò che rende difficili gli esperimenti sui ricavi. Le basi di abbonamento consumer si attestano intorno a 1,4 quando tutti pagano un prezzo simile, e sopra 3 laddove una piccola quota di clienti genera una grande quota di ricavi.
- Effetto minimo rilevabile (MDE)
- Il più piccolo uplift relativo di ARPU che il design troverebbe, con una potenza dell'80%, a un livello di significatività bilaterale del 5%. Un risultato inferiore all'MDE non è prova dell'assenza di effetto; è prova che l'esperimento non ha potuto vedere.
- Power
- La probabilità di dichiarare una vittoria quando l'uplift è veramente presente. Un power inferiore al 50% significa che un lancio di moneta decide se un programma reale sopravvive alla propria misurazione.
- Peeking
- Valutare la significatività ripetutamente mentre l'esperimento è in corso e fermarsi al primo risultato significativo. Non è un peccato da poco: gonfia il tasso di falsi positivi ben al di sopra del nominale 5 %.
- CUPED
- Esperimento controllato che utilizza dati pre-esperimento. Sottraendo la parte dei ricavi nel periodo prevista dai ricavi dello stesso cliente nel periodo precedente. Rimuove la varianza piuttosto che il bias, quindi guadagna dimensione del campione gratuitamente.
Stimatore
Il modello, scritto per esteso
L'uplift relativo del ricavo medio per cliente, trattato rispetto a un controllo randomizzato, su una finestra fissa: delta = (media_T - media_C) / media_C.
Test statistic
t = (mean_T - mean_C) / sqrt(var_T/n_T + var_C/n_C)
Un confronto Welch a due campioni delle medie degli arm. Quasi tutti i team di growth utilizzano questo stimatore, che lo nomini o meno.
Effetto minimo rilevabile
MDE = (z(1 - a/2) + z(1 - b)) x CV x sqrt(1/n_T + 1/n_C)
A un livello bilaterale del 5% e una potenza dell'80%, la costante principale è 2,80. Il termine CV è il motivo per cui gli esperimenti sui ricavi richiedono molti più clienti rispetto agli esperimenti di conversione.
Costo dell'holdout
C = N x h x w x ARPU x m x delta
Quota di holdout h, finestra w in mesi, margine m. È un costo solo quando il programma funziona davvero, ed è questo che l'holdout esiste per scoprire.
Regolazione CUPED
Y* = Y - theta x (X - mean(X)), var(Y*) = var(Y) x (1 - rho^2)
X è il ricavo pre-periodo per lo stesso cliente, theta il coefficiente dei minimi quadrati. La dimensione effettiva del campione si moltiplica per 1 / (1 - rho^2).
Cosa deve reggere
- I clienti sono randomizzati individualmente e indipendentemente, e l'assegnazione è valida per l'intera finestra.
- Le medie dei rami sono approssimativamente normali per il teorema del limite centrale. Per le dimensioni di base qui, ciò vale anche per una distribuzione individuale a coda pesante, il che è confermato dal tasso simulato di falsi positivi del 4,5% rispetto a un nominale 5%.
- Il trattamento influisce solo sui clienti trattati. Nessun effetto a cascata attraverso nuclei familiari condivisi, referral o passaparola.
- L'intervallo di misurazione è fisso prima del lancio e lo stesso per entrambi i rami.
Cosa lo rompe
- Estrema asimmetria con un piccolo holdout. Una manciata di grandi spenders che finiscono in un braccio domina la differenza e l'approssimazione normale si degrada esattamente quando il braccio di controllo è il più piccolo.
- Test di significatività ripetuti, che è la differenza tra un tasso nominale di falsi positivi del 5% e il 27% misurato dopo venti osservazioni.
- Clienti correlati, il che rende il campione effettivo più piccolo del numero di persone e ogni numero in questo report ottimista.
- Outlier sui ricavi gestiti tramite trimming ad hoc dopo che il risultato è stato osservato. Le regole di trimming devono essere incluse nella pre-registrazione.
Metodo
Come riprodurlo
- 01
Esegui scripts/research-holdout-sim.ts in questo repository. Seed 20260914. Ogni tabella sottostante è stampata da quello script.
- 02
Misura prima il tuo CV: prendi i ricavi per cliente su un periodo della stessa lunghezza del tuo esperimento pianificato, inclusi i clienti che non hanno speso nulla, e dividi la deviazione standard per la media.
- 03
Calcola l'MDE per la tua base e la quota di holdout: MDE = (z(1 - alpha/2) + z(power)) x CV x sqrt(1/n_treated + 1/n_control).
- 04
Confronta tale MDE con il lift che il programma si prevede effettivamente produca. Se il lift atteso è inferiore all'MDE, l'esperimento è già deciso e la decisione è di riprogettarlo, non di eseguirlo.
- 05
Fissa la data di lettura prima del lancio e annotala. Poi mantieni una singola lettura, oppure adotta una procedura sequenziale che controlla l'errore tra le osservazioni.
Incertezza
Quanto potrebbe essere errata ogni cifra
Due fonti. I dati sulla potenza sono in forma chiusa ed esatti dato il CV. I dati simulati comportano un errore Monte Carlo: a 2,000 per cell (800 for the peeking table, 200 for CUPED), un tasso vicino al 5% ha un errore standard di circa 0,5 punti percentuali e un tasso vicino al 50% di circa 1,1 punti. I dati sono riportati con una cifra decimale perché questo è ciò che il conteggio delle repliche supporta, non perché siano precisi a una cifra decimale.
MDE del 4,6% a n = 200.000
Attraverso valori CV da 1,4 a 3,5. Misurare il tuo CV vale quindi più di qualsiasi altro affinamento dell'input.
dal 2,9% al 7,3%
Power del 46,3% con un lift reale del 3%
Il valore in forma chiusa è 44,8%, che rientra nell'errore di simulazione del risultato simulato. Il punto di eseguire entrambi i metodi è che concordano.
+/- 1,1 punti di errore Monte Carlo
Tasso di falsi positivi del 4,5 % sotto l'ipotesi nulla
Statisticamente indistinguibile dal 5% nominale. Le code pesanti non compromettono il test con queste dimensioni della base; il peeking sì.
+/- 0,5 punti
Moltiplicatore campione effettivo CUPED
Segue 1 / (1 - rho^2) da vicino nella simulazione. La tua rho è un pomeriggio di SQL, e decide se CUPED è una nota a piè di pagina o la più grande singola win disponibile.
1,1x con rho 0,3 a 5,3x con rho 0,9
Robustezza
Cosa sopravvive a un'ipotesi diversa
Ogni riga cambia una scelta di design o di modellazione e riesegue il calcolo al design di riferimento: 200.000 clienti, holdout del 10%, CV 2.2.
| Cambia un'ipotesi | Cosa cambia | Risultato | Conclusione |
|---|---|---|---|
| CV misurato a 1.4 anziché assunto a 2.2 | Minore dispersione | L'MDE scende dal 4,6% al 2,9%. La stessa base diventa adeguata per un programma del 3%. | Inversioni |
| Holdout aumentato dal 10 % al 20 % | Più controllo, meno ricavi trattati | L'MDE migliora dal 2,05% all'1,54% su una base di un milione di clienti. I rendimenti diminuiscono drasticamente oltre il 20%. | Mantiene |
| Holdout ridotto dal 10 % al 2 % | Minimizzare l'uplift rinunciato | L'MDE peggiora dal 2,05% al 4,40%. Il risparmio è reale e l'esperimento smette di funzionare. | Inversioni |
| Finestra raddoppiata, ricavi per cliente raddoppiati, CV invariato | Misurazione più lunga | MDE invariato. Il tempo aiuta solo accumulando clienti o abbassando il CV, mai da solo. | Mantiene |
| Letture settimanali intermedie per cinque mesi | Venti sguardi agli stessi dati | Il tasso di falsi positivi sale dal 4,9 % al 26,8 %. Un programma morto su quattro viene dichiarato vincitore. | Inversioni |
| CUPED applicato con correlazione pre-periodo di 0,7 | Riduzione della varianza | Il campione effettivo raddoppia approssimativamente; l'MDE diminuisce di circa il 30%. Non sono necessari clienti aggiuntivi. | Mantiene |
Tre scelte di design decidono se un esperimento ARPU può vedere qualcosa: il CV che hai misurato piuttosto che assunto, la quota di holdout e il numero di volte che guardi. Le prime due sono decise prima del lancio e la terza è decisa dalla disciplina. Nessuna di queste è una questione di modellazione, motivo per cui gli esperimenti sui ricavi sotto-potenziati sono un fallimento di processo piuttosto che statistico.
Limiti
Cosa questo non può dirti
- La distribuzione simulata dei ricavi è una lognormale stilizzata a inflazione di zero, non la tua base. Riproduce le due caratteristiche che contano, una grande massa a zero e una lunga coda a destra, e nient'altro della tua attività.
- Il calcolo del power assume clienti indipendenti. La condivisione familiare, gli effetti di referral e gli account condivisi creano una correlazione che gonfia la vera varianza oltre ciò che il solo CV cattura.
- Il peeking è simulato solo nella sua forma ingenua, fermandosi al primo p inferiore a 0,05. Il report nomina le correzioni ma non ne quantifica le caratteristiche operative.
- I guadagni CUPED dipendono dalla correlazione tra i ricavi pre-periodo e in-periodo nella tua base. I rapporti simulati mostrano la forma della relazione, non il guadagno che otterrai.
- Nulla qui affronta il bias. Un esperimento perfettamente potenziato su un controllo contaminato misura comunque la cosa sbagliata.
Falsificabilità
Cosa ci farebbe cambiare idea
- 01
Evidenza che i ricavi per cliente nelle grandi basi B2C sono sostanzialmente meno dispersi rispetto all'intervallo CV da 1,4 a 3,5 utilizzato qui. Ogni requisito nel report diminuirebbe proporzionalmente.
- 02
Una tecnica di riduzione della varianza che supera in modo affidabile CUPED sui risultati dei ricavi senza modificare l'estimand.
- 03
Una dimostrazione che la correlazione tra clienti, tramite famiglie o referenze, è sufficientemente grande da far sì che l'assunto di indipendenza, non il CV, sia il vincolo determinante.
- 04
Una procedura sequenziale le cui caratteristiche operative simulate corrispondono a una singola lettura fissa, consentendo al contempo un monitoraggio continuo in pratica anziché in linea di principio.
Provenienza
Fonti e per cosa è stata utilizzata ciascuna
- Derivato in questo rapportoMarkin Monte Carlo, scripts/research-holdout-sim.ts, seed 20260914
Ogni figura simulata: tabelle di dimensione, power, peeking e CUPED. Lo script è pubblicato integralmente in modo che le tabelle possano essere rigenerate piuttosto che fidarsi.
- Derivato in questo rapportoCalcolo della potenza in forma chiusa per una differenza nelle medie
Le tabelle MDE e il confronto holdout-share.
- Ricerca indipendenteBCG, Come la misurazione si sta evolvendo nella Next-Best Action (2026)
La raccomandazione di leggere i risultati su un'intera finestra anziché nelle prime settimane, che è la forma pratica del risultato di peeking qui.
- Implementazioni Markin anonimizzateimplementazioni Markin
Il plausibile intervallo del CV da 1,4 a 3,5 e l'osservazione che i primi esperimenti sono comunemente progettati per un uplift atteso del 2% al 3%.
Domande a cui risponde questo report
- Quanto deve essere grande un holdout per misurare l'uplift ARPU?
- Come si calcola la dimensione del campione per un esperimento sui ricavi?
- Perché i miei esperimenti sull'ARPU sono sempre inconcludenti?
- Qual è l'effetto minimo rilevabile per un A/B test sui ricavi?
- È sbagliato controllare i risultati dell'esperimento in anticipo?
- Cos'è il CUPED e quando dovrei usarlo?
Domande frequenti
- Quanto deve essere grande il mio holdout per misurare l'uplift ARPU?
- Dipende dal tuo coefficiente di variazione, non solo dalla dimensione della tua base. Con un CV di 2.2, rilevare un uplift del 2% con una potenza dell'80% richiede circa un milione di clienti con un holdout del 10%; con 200.000 clienti, il minimo è il 4,6%. Misura prima il tuo CV: deviazione standard dei ricavi per cliente sul periodo, divisa per la media.
- Perché i miei esperimenti sui ricavi sono sempre inconcludenti?
- Quasi sempre perché sono sottodimensionati piuttosto che perché il trattamento non ha fatto nulla. I ricavi sono heavy-tailed, quindi l'intuizione sulla dimensione del campione mutuata dai test di conversione sottostima il requisito più volte. Calcola l'effetto minimo rilevabile prima del lancio e confrontalo con l'uplift che ti aspetti.
- È davvero così sbagliato controllare i risultati in anticipo?
- Sì. Simulando un vero nullo, interrompere alla prima lettura intermedia significativa dà un tasso di falsi positivi del 7,5% dopo due osservazioni, del 13,6% dopo quattro e del 26,8% dopo venti. Fissa una singola data di lettura prima del lancio o usa un alpha-spending boundary o una confidence sequence sempre valida.
- Quanto costa un holdout?
- N x quota holdout x mesi x ARPU x margine x vero lift. Su un milione di clienti con un holdout del 10%, ARPU di 12 US dollar, margine del 70% e un lift del 3% su tre mesi, circa 75.600 US dollar di margine. È un costo solo se il programma funziona, cosa che l'holdout serve a stabilire.
- Dovrei usare un rank test o log-trasformare i ricavi perché sono asimmetrici?
- Di solito no. Il tasso di falsi positivi simulato del test ordinario su ricavi con code pesanti è del 4,5% contro un nominale 5%, quindi la validità non è il problema. Un test di rango o una trasformazione logaritmica cambia lo stimando in qualcosa di diverso dal ricavo medio, che è il numero su cui l'azienda decide.
- Cos'è il CUPED e vale la pena farlo?
- CUPED sottrae la parte dei ricavi in-periodo prevista dai ricavi pre-periodo dello stesso cliente, rimuovendo la varianza senza introdurre bias. Con una correlazione pre-periodo di 0,7 il campione effettivo raddoppia approssimativamente. Per una base di abbonamenti con ricavi mensili stabili, è la potenza più economica disponibile.
Agisci su questo
- ManualeEsegui un'offerta di retention prima del rinnovo senza pagare i clienti che sarebbero rimasti comunqueOfferte di pre-rinnovo su Stripe, dimensionate in base al rischio anziché all'appartenenza a una lista.
- RicercaDalle campagne alle decisioni per clienteIl blocker non è quasi mai il modello. Si tratta di identity, latency, write-back, un valore di margine e la disponibilità a withhold.
- RicercaLa retention discount lineLa maggior parte delle offerte di risparmio sono valutate in base a quanti clienti sono rimasti. L'unico numero che decide è quanti sono rimasti e che altrimenti se ne sarebbero andati.
- GuidaCome Markin misura l'incrementalityIl design dell'holdout, la finestra di misurazione e le regole di arresto che Markin utilizza prima che qualsiasi risultato possa essere scalato. Scritto per essere verificato.
- GuidaLo standard di evidenza dietro ogni numero che pubblichiamoCome Markin decide cosa le è permesso affermare in pubblico: il registro delle affermazioni, i qualificatori obbligatori, le date di revisione e le affermazioni che ci rifiutiamo di fare.