Esperimenti di crescita controllati: dimostrare che un'azione ha causato il risultato

Markin è un team autonomo di growth-science per le grandi aziende B2C. Indaga perché i ricavi per cliente sono bloccati, formula le proprie ipotesi in marketing, prodotto, prezzi e stato di salute tecnico, sceglie la Next Best Action per ogni cliente, la lancia attraverso i sistemi che l'azienda già utilizza e ne dimostra ogni singola contro un holdout randomizzato.

Gli strumenti di Decisioning scelgono tra le azioni che il tuo team ha già creato. Markin decide cosa costruire.

Domande che le persone si pongono

Cosa rende controllato un esperimento di crescita?

Un gruppo di controllo randomizzato estratto dalla stessa popolazione eleggibile, una metrica primaria e una finestra di osservazione fissate prima dell'esecuzione del test, e metriche di guardrail che possono fermarlo. Senza assegnazione casuale all'interno della popolazione eleggibile, le differenze tra i gruppi spiegano il risultato tanto quanto lo fa l'azione.

Quanto grande dovrebbe essere un holdout?

Abbastanza grande da rilevare l'effetto più piccolo su cui vale la pena agire, e non più grande. Gli holdout sovradimensionati costano ricavi reali; quelli sottodimensionati producono un numero su cui nessuno può agire, il che costa di più. La dimensione deriva dalla base, dal tasso di conversione di riferimento e dalla dimensione dell'effetto su cui intendi scalare.

Un risultato piatto è un esperimento sprecato?

No. Un risultato piatto con una potenza adeguata ti dice di non spendere per quell'action, che è una decisione con un valore reale. L'esito costoso è scalare qualcosa che non ha mai funzionato, il che è esattamente ciò che accade quando non c'è controllo.