Holdout group
Aussi appelé: Control group
Un holdout est un ensemble de clients sélectionnés aléatoirement et délibérément exclus d'une action, conservé comme contrefactuel. Un holdout global, exclu de toute activité, mesure la contribution incrémentale totale d'un programme de growth plutôt que d'une seule campagne.
Pourquoi c'est important pour l'ARPU
Sans holdout, un programme rapporte les revenus qu'il a touchés, pas les revenus qu'il a créés. Chaque expérimentation Markin en inclut un précisément pour cette raison.
Termes associés
IncrémentalitéIncrementality est la partie d'un résultat qui ne se serait pas produite sans l'action.A/B testUn A/B test attribue aléatoirement des clients à deux variantes ou plus et compare une métrique prédéclarée entre elles.ExpérimentationUne expérimentation est un déploiement contrôlé d'une action candidate contre un holdout randomisé, dimensionné à l'avance afin que le résultat puisse distinguer un effet réel du bruit.Modèle d'upliftUn modèle uplift estime le changement de résultat provoqué par le traitement d'un client, plutôt que le résultat lui-même.