A/B test
Chiamato anche: Split test, Randomised controlled trial
Un A/B test assegna casualmente i clienti a due o più varianti e confronta una metrica pre-dichiarata tra loro. La randomizzazione è ciò che autorizza una rivendicazione causale: qualsiasi differenza preesistente tra i gruppi è distribuita per caso piuttosto che per selezione.
Perché è importante per l'ARPU
Rimane lo strumento più economico per stabilire che un'azione di growth ha funzionato, e la metrica pre-dichiarata è ciò che impedisce che un risultato nullo venga reinterpretato come un successo.
Termini correlati
Holdout groupUn holdout è un insieme di clienti selezionati casualmente ed esclusi deliberatamente da un'azione, mantenuti come controfattuale.Potenza statisticaLa potenza statistica è la probabilità che un test rilevi un effetto di una data dimensione quando quell'effetto è reale.Test sequenzialeIl test sequenziale consente di monitorare continuamente i risultati e di interrompere anticipatamente senza gonfiare i falsi positivi, utilizzando intervalli di confidenza sempre validi invece di un singolo controllo a orizzonte fisso.Guardrail metricUna guardrail metric è una misura che un esperimento non deve danneggiare anche se la metrica primaria migliora: tasso di annullamento dell'iscrizione, volume di reclami, margine, contatti di supporto, disinstallazioni di app.