RESOURCES/Méthodologie
Comment Markin mesure l'incrémentalité
Markin mesure l'incrémentalité avec un holdout randomisé attaché à chaque décision, lu sur une fenêtre de mesure complète par rapport à une métrique primaire prédéclarée. Un résultat qui n'a pas battu son contrôle n'est pas mis à l'échelle. L'uplift rapporté, les conversions attribuées et les comparaisons post-hoc ne sont acceptés comme preuve à aucun stade.
Román Via-Dufresne, Co-fondateur, Markin
Mis à jour 4 August 2026 · 8 min de lecture
Demander une démo
Pourquoi l'attribution n'est pas la mesure
Le reporting attribué répond à une question dont personne ne devrait se soucier : parmi les personnes qui ont converti, combien ont d'abord interagi avec ce programme. Il comptabilise les clients qui auraient converti de toute façon, et il les attribue au programme qui les a atteints. C'est pourquoi les programmes qui semblent excellents pendant des années disparaissent souvent lorsque quelqu'un met enfin en place un groupe de contrôle.
- L'Attribution mesure la corrélation avec un résultat, pas la cause du résultat.
- Les clients les plus susceptibles de convertir sont aussi les plus faciles à atteindre, ce qui biaise tous les chiffres attribués à la hausse.
- Contacter quelqu'un qui aurait acheté de toute façon a un coût réel que les rapports d'attribution présentent comme une victoire.
La conception, étape par étape
01
Randomiser au niveau du client, avant la décision
L'assignation se produit avant que Markin ne choisisse une action, pas après. Assigner après la décision fait fuir la décision dans le groupe de contrôle et détruit discrètement la comparaison.
02
Préserver une part stable de la population éligible
Le holdout est tiré des clients éligibles à la décision, et non de la base dans son ensemble. Comparer les clients traités à la base entière compare deux populations différentes et produit un chiffre toujours flatteur.
03
Déclarer la métrique primaire avant le lancement
Une métrique primaire, exprimée en revenu, fixée avant l'arrivée de toute donnée. Les métriques secondaires sont enregistrées mais ne peuvent pas être promues au statut de primaire après coup.
04
Lire sur une fenêtre de mesure complète
La fenêtre est définie par le cycle économique affecté, et non par l'impatience. Une vente incitative d'abonnement lue à sept jours mesure la nouveauté. La lire sur un cycle de facturation mesure l'effet.
05
Appliquer la règle d'arrêt
Les règles d'arrêt sont définies à l'avance. Jeter un coup d'œil à un test en cours et l'arrêter lorsqu'il semble bon fabrique la signification, et c'est la façon la plus courante dont une bonne pratique de mesure devient silencieusement une mauvaise.
06
Échelle ou retrait
Un résultat qui dépasse le contrôle sur la fenêtre s'étend au reste de la population éligible. Un résultat qui ne le fait pas est retiré. Il n'y a pas de troisième issue où un programme continue de fonctionner pendant que quelqu'un y réfléchit.
Ce qui compte comme preuve et ce qui ne compte pas
| Preuves | Accepté | Pourquoi |
|---|---|---|
| holdout aléatoire, fenêtre complète, métrique pré-déclarée | Oui | Mesure l'effet causé par la décision. |
| Comparaison avant/après sur la même cohorte | No | Impossible de séparer la décision de la saisonnalité ou de tout autre changement. |
| Groupe traité contre le reste de la base non exposé | No | Différentes populations. La sélection seule produit un résultat positif. |
| Conversions attribuées depuis la plateforme de diffusion | No | Compte les clients qui auraient converti de toute façon. |
| Uplift prédit par le modèle | No | Une prévision, pas une mesure. Utile pour le classement, jamais pour le reporting. |
| Holdout arrêté prématurément car le résultat semblait bon | No | L'arrêt facultatif gonfle la taille de l'effet. |
Pourquoi la retenue existe
BCG constate que lorsque les programmes Next Best Action sont testés en incrémentalité, 20 % à 40 % de l'augmentation mesurée ne survit pas. Markin applique cette réduction aux projections avant de les présenter, plutôt qu'après qu'un client ne la découvre.
Recherche indépendanteBCG, incrementality in personalisation programmes (2026)
Audite l'un de tes propres programmes
Choisissez le programme avec les chiffres les plus prometteurs. C'est là que se trouve généralement la surprise.
- Un control group a-t-il été défini avant le premier envoi ou reconstitué après ?
- Le groupe de contrôle a-t-il été tiré des clients éligibles ou de tous les autres ?
- La métrique primaire a-t-elle été définie par écrit avant le lancement ?
- La fenêtre de rapport a-t-elle été choisie à l'avance, ou une fois les données disponibles ?
- Le test a-t-il été arrêté à un point pré-établi ?
- Si tu as supprimé les conversions attribuées et n'as utilisé que la comparaison du holdout, le programme est-il toujours rentable ?
Quand les holdout sont le mauvais instrument
- Communications obligatoires légalement ou contractuellement. Tu ne peux pas les retenir, il n'y a donc pas de control group à conserver.
- Effets qui débordent sur les clients, tels que le parrainage ou les mécanismes de réseau, où le groupe de contrôle est contaminé par le traitement.
- Populations éligibles très petites, où le test n'atteindrait jamais de puissance et la réponse honnête est de décider sur jugement.
- Changements structurels ponctuels sans unité reproductible, qui relèvent d'une analyse avant/après avec toutes les mises en garde énoncées.
Markin est une équipe growth-science autonome pour les grandes entreprises B2C. Il investigue pourquoi les revenus par client sont bloqués, formule ses propres hypothèses à travers le marketing, le produit, la tarification et la santé technique, choisit la Next Best Action pour chaque client, la lance via les systèmes que l'entreprise utilise déjà, et prouve chacune d'entre elles par rapport à un holdout randomisé.
Les outils de decisioning choisissent parmi les actions que ton équipe a déjà mises en place. Markin décide ce qu'il faut construire.
Questions que les gens se posent
- Quelle devrait être la taille d'un holdout ?
- Suffisamment grand pour détecter le plus petit effet qui changerait ta décision, au niveau de signification sur lequel tu es prêt à agir. Pour les grandes bases B2C, il s'agit généralement d'un pourcentage à un chiffre de la population éligible, ce qui est peu coûteux. La bonne façon de le choisir est un calcul de puissance sur l'effet minimum détectable, jamais un nombre rond choisi parce qu'il semble sûr.
- Quelle devrait être la durée d'une fenêtre de mesure ?
- Aussi longtemps que le cycle d'affaires que la décision affecte. Pour un abonnement mensuel, cela signifie au moins un cycle de facturation complet, généralement deux, afin qu'un achat anticipé ne soit pas compté comme incrémental. Mesurer un effet sur les revenus en sept jours mesure la nouveauté.
- Quelle est la différence entre l'uplift et le revenu incrémental ?
- L'uplift est généralement la différence entre les clients traités et tous les autres, ce qui est contaminé par la sélection. Le chiffre d'affaires incrémental est la différence entre un groupe traité randomisé et un groupe de contrôle randomisé issus de la même population éligible. Seul le second étaye une analyse de rentabilisation.
- Peux-tu mesurer l'incrémentalité sans holdout ?
- Parfois, avec des méthodes quasi-expérimentales telles que les splits géographiques, les designs switchback ou les contrôles synthétiques. Elles sont légitimes lorsque la randomisation est impossible, et chacune d'elles repose sur des hypothèses qu'un holdout n'exige pas. Utilisez-les comme solution de repli, exposez les hypothèses et ne présentez pas le résultat comme équivalent.
Comparer
Comment cela se présente par rapport aux catégories que tu achètes déjà.
Neutral, side by side reads on where the decision layer sits next to the tools in your stack.
Toutes les comparaisons- Vision client 360 vs. un système de décisionUn client 360 montre tout ce que tu sais sur un client. Un système de décision transforme cela en une action commerciale classée. Là où la visibilité ne rapporte plus.
- Personnalisation vs. revenue decisioningLa personnalisation adapte l'expérience. Le « revenue decisioning » choisit quel résultat commercial poursuivre et le prouve en euros. Comment les deux diffèrent en pratique.
- Analytique de rétention vs. decisioning de rétentionL'analytique de rétention explique les cohortes et les facteurs de désabonnement. Le decisioning de rétention choisit les interventions et prouve la marge retenue. Où se situe le transfert.