Effet de nouveauté
L'effet de nouveauté est un uplift temporaire de réponse causé par le fait qu'un changement est nouveau plutôt que meilleur. Il diminue à mesure que les clients s'habituent, de sorte que les tests courts surestiment systématiquement l'impact durable des changements visibles d'interface, de créatif ou de message.
Pourquoi c'est important pour l'ARPU
Les programmes de growth qui reposent sur les résultats de la première semaine accumulent des victoires qui disparaissent discrètement, ce qui est une raison courante pour laquelle les gains rapportés n'apparaissent jamais dans l'ARPU annuel.
Termes associés
A/B testUn A/B test attribue aléatoirement des clients à deux variantes ou plus et compare une métrique prédéclarée entre elles.IncrémentalitéIncrementality est la partie d'un résultat qui ne se serait pas produite sans l'action.Analyse de cohorteL'analyse de cohorte regroupe les clients par une caractéristique de départ commune, généralement le mois d'acquisition, et suit chaque groupe au fil du temps.Métrique de garde-fouUne métrique guardrail est une mesure qu'une expérimentation ne doit pas endommager, même si la métrique principale s'améliore : taux de désabonnement, volume de plaintes, marge, contacts support, désinstallations d'applications.