Holdout group
Chiamato anche: Control group
Un holdout è un insieme di clienti selezionati casualmente ed esclusi deliberatamente da un'azione, mantenuti come controfattuale. Un global holdout, escluso da tutte le attività, misura il contributo incrementale totale di un programma di growth piuttosto che di una singola campagna.
Perché è importante per l'ARPU
Senza un holdout, un programma riporta i ricavi che ha toccato, non i ricavi che ha creato. Ogni esperimento Markin ne prevede uno esattamente per questo motivo.
Termini correlati
IncrementalitàL'incrementality è la porzione di un risultato che non si sarebbe verificato senza l'azione.A/B testUn A/B test assegna casualmente i clienti a due o più varianti e confronta una metrica pre-dichiarata tra loro.EsperimentoUn esperimento è un rilascio controllato di un'azione candidata contro un holdout randomizzato, dimensionato in anticipo in modo che il risultato possa distinguere un effetto reale dal rumore.Modello di upliftUn uplift model stima il cambiamento nel risultato causato dal trattamento di un cliente, piuttosto che il risultato stesso.