Esperimento
Un esperimento è un rilascio controllato di un'azione candidata contro un holdout randomizzato, dimensionato in anticipo in modo che il risultato possa distinguere un effetto reale dal rumore. Ha una metrica preregistrata, una regola di arresto e dei guardrail, e produce una stima dei ricavi incrementali piuttosto che un tasso.
Perché è importante per l'ARPU
L'uplift riportato che non è mai stato tenuto in holdout è solitamente stagionalità o selezione. Gli esperimenti sono l'unico meccanismo che converte l'attività in una crescita ARPU difendibile.
Termini correlati
Holdout groupUn holdout è un insieme di clienti selezionati casualmente ed esclusi deliberatamente da un'azione, mantenuti come controfattuale.IncrementalitàL'incrementality è la porzione di un risultato che non si sarebbe verificato senza l'azione.Potenza statisticaLa potenza statistica è la probabilità che un test rilevi un effetto di una data dimensione quando quell'effetto è reale.Guardrail metricUna guardrail metric è una misura che un esperimento non deve danneggiare anche se la metrica primaria migliora: tasso di annullamento dell'iscrizione, volume di reclami, margine, contatti di supporto, disinstallazioni di app.