Test séquentiel
Aussi appelé: Always-valid inference
Le test séquentiel permet de surveiller les résultats en continu et d'arrêter tôt sans augmenter les faux positifs, en utilisant des intervalles de confiance toujours valides au lieu d'un seul contrôle à horizon fixe. Il formalise le "peeking" que les équipes font de toute façon.
Pourquoi c'est important pour l'ARPU
C'est ce qui rend le decisioning continu statistiquement légitime : les décisions peuvent être prises dès que les preuves les étayent, et non seulement à une date de lecture prévue.
Termes associés
A/B testUn A/B test attribue aléatoirement des clients à deux variantes ou plus et compare une métrique prédéclarée entre elles.Puissance statistiqueLa puissance statistique est la probabilité qu'un test détecte un effet d'une taille donnée lorsque cet effet est réel.Multi-armed banditUn bandit manchot alloue le trafic de manière adaptative aux variantes qui fonctionnent bien tout en continuant à échantillonner les autres.ExpérimentationUne expérimentation est un déploiement contrôlé d'une action candidate contre un holdout randomisé, dimensionné à l'avance afin que le résultat puisse distinguer un effet réel du bruit.