Expérimentation
Une expérimentation est un déploiement contrôlé d'une action candidate contre un holdout randomisé, dimensionné à l'avance afin que le résultat puisse distinguer un effet réel du bruit. Elle a une métrique pré-enregistrée, une règle d'arrêt et des guardrails, et elle produit une estimation des revenus incrémentaux plutôt qu'un taux.
Pourquoi c'est important pour l'ARPU
L'uplift rapporté qui n'a jamais été holdout est généralement dû à la saisonnalité ou à la sélection. Les expérimentations sont le seul mécanisme qui convertit l'activité en croissance d'ARPU défendable.
Termes associés
Holdout groupUn holdout est un ensemble de clients sélectionnés aléatoirement et délibérément exclus d'une action, conservé comme contrefactuel.IncrémentalitéIncrementality est la partie d'un résultat qui ne se serait pas produite sans l'action.Puissance statistiqueLa puissance statistique est la probabilité qu'un test détecte un effet d'une taille donnée lorsque cet effet est réel.Métrique de garde-fouUne métrique guardrail est une mesure qu'une expérimentation ne doit pas endommager, même si la métrique principale s'améliore : taux de désabonnement, volume de plaintes, marge, contacts support, désinstallations d'applications.