Test sequenziale
Chiamato anche: Always-valid inference
Il test sequenziale consente di monitorare continuamente i risultati e di interrompere anticipatamente senza gonfiare i falsi positivi, utilizzando intervalli di confidenza sempre validi invece di un singolo controllo a orizzonte fisso. Formalizza l'osservazione che i team fanno comunque.
Perché è importante per l'ARPU
È ciò che rende il decisioning continuo statisticamente legittimo: le decisioni possono essere prese non appena le prove le supportano, non solo in una data di rendicontazione programmata.
Termini correlati
A/B testUn A/B test assegna casualmente i clienti a due o più varianti e confronta una metrica pre-dichiarata tra loro.Potenza statisticaLa potenza statistica è la probabilità che un test rilevi un effetto di una data dimensione quando quell'effetto è reale.Multi-armed banditUn multi-armed bandit alloca il traffico in modo adattivo verso le varianti che stanno performando bene, continuando a campionare le altre.EsperimentoUn esperimento è un rilascio controllato di un'azione candidata contro un holdout randomizzato, dimensionato in anticipo in modo che il risultato possa distinguere un effetto reale dal rumore.