Potenza statistica
La potenza statistica è la probabilità che un test rilevi un effetto di una data dimensione quando quell'effetto è reale. Viene fissata prima del lancio dalla dimensione del campione, dalla varianza di base e dall'effetto minimo rilevabile, e un test sottodimensionato produce principalmente una costosa ambiguità.
Come viene calcolato
Potenza = 1 - P(falso negativo). Convenzione: 80% con un livello di significatività del 5%.
Decidi prima l'effetto minimo rilevabile. Sceglierlo dopo aver visto i dati invalida l'A/B test.
Perché è importante per l'ARPU
La maggior parte dei test di growth enterprise sono sottodimensionati, quindi gli effetti reali vengono accantonati come inconcludenti e l'organizzazione smette lentamente di credere nelle prove.
Termini correlati
A/B testUn A/B test assegna casualmente i clienti a due o più varianti e confronta una metrica pre-dichiarata tra loro.Test sequenzialeIl test sequenziale consente di monitorare continuamente i risultati e di interrompere anticipatamente senza gonfiare i falsi positivi, utilizzando intervalli di confidenza sempre validi invece di un singolo controllo a orizzonte fisso.EsperimentoUn esperimento è un rilascio controllato di un'azione candidata contro un holdout randomizzato, dimensionato in anticipo in modo che il risultato possa distinguere un effetto reale dal rumore.Guardrail metricUna guardrail metric è una misura che un esperimento non deve danneggiare anche se la metrica primaria migliora: tasso di annullamento dell'iscrizione, volume di reclami, margine, contatti di supporto, disinstallazioni di app.