Multi-armed bandit
Un bandit manchot alloue le trafic de manière adaptative aux variantes qui fonctionnent bien tout en continuant à échantillonner les autres. Il réduit le coût du test d'options inférieures, au prix d'une estimation moins précise du véritable effet de chaque variante.
Pourquoi c'est important pour l'ARPU
Les bandits conviennent aux choix à volume élevé et à faible enjeu, comme la sélection créative. La tarification, les incitations et les offres de rétention méritent généralement une expérimentation claire à la place.
Termes associés
A/B testUn A/B test attribue aléatoirement des clients à deux variantes ou plus et compare une métrique prédéclarée entre elles.Reinforcement learning pour le marketingLe reinforcement learning traite les décisions des clients comme une séquence, optimisant la récompense cumulative à long terme plutôt que le prochain clic.Test séquentielLe test séquentiel permet de surveiller les résultats en continu et d'arrêter tôt sans augmenter les faux positifs, en utilisant des intervalles de confiance toujours valides au lieu d'un seul contrôle à horizon fixe.Effet de nouveautéL'effet de nouveauté est un uplift temporaire de réponse causé par le fait qu'un changement est nouveau plutôt que meilleur.