A/B test
Aussi appelé: Split test, Randomised controlled trial
Un A/B test attribue aléatoirement des clients à deux variantes ou plus et compare une métrique prédéclarée entre elles. La randomisation est ce qui autorise une affirmation causale : toute différence préexistante entre les groupes est distribuée par hasard plutôt que par sélection.
Pourquoi c'est important pour l'ARPU
Cela reste l'instrument le moins cher pour établir qu'une action de growth a fonctionné, et la métrique prédéfinie est ce qui empêche qu'un résultat nul ne soit raconté comme un succès.
Termes associés
Holdout groupUn holdout est un ensemble de clients sélectionnés aléatoirement et délibérément exclus d'une action, conservé comme contrefactuel.Puissance statistiqueLa puissance statistique est la probabilité qu'un test détecte un effet d'une taille donnée lorsque cet effet est réel.Test séquentielLe test séquentiel permet de surveiller les résultats en continu et d'arrêter tôt sans augmenter les faux positifs, en utilisant des intervalles de confiance toujours valides au lieu d'un seul contrôle à horizon fixe.Métrique de garde-fouUne métrique guardrail est une mesure qu'une expérimentation ne doit pas endommager, même si la métrique principale s'améliore : taux de désabonnement, volume de plaintes, marge, contacts support, désinstallations d'applications.