Expérimentation vs. décision continue

La décision continue consiste-t-elle simplement à exécuter des tests A/B en permanence ?

Non. Lancer des tests en continu teste toujours quelques hypothèses à cadence humaine sur des surfaces signalées. Le decisioning continu agit sur chaque client, à chaque cycle, avec un groupe de contrôle par défaut, y compris sur les clients qu'aucune expérimentation n'atteint. Les expérimentations prouvent ce qui fonctionne ; le decisioning décide qui le reçoit et qui est mis en holdout.

L'expérimentation et la prise de décision entrent-elles en conflit ?

Non. Ils sont complémentaires. L'expérimentation prouve quels traitements fonctionnent ; le decisioning utilise ces résultats comme un intrant, choisit qui reçoit le traitement prouvé, et maintient le reste par rapport à un groupe de contrôle. L'apprentissage et l'action partagent un seul enregistrement.

Qu'en est-il des bandits manchots (multi-armed bandits), ne décident-ils pas ?

Les bandits allouent le trafic entre les variations au sein d'une même expérimentation pour maximiser la récompense pendant le test. Ils optimisent le test que tu as déjà écrit ; ils ne décident pas quelle opportunité mérite d'être testée, n'agissent pas sur les clients en dehors de la surface ciblée, ou ne se mettent pas en attente quand aucune action n'a de valeur positive.

En quoi Markin est-il différent du decisioning ou de l'IA déjà présents dans experimentation platform ?

Un moteur de decisioning classe les actions qu'un humain a déjà définies, à l'intérieur de la surface de campagne qui lui a été donnée. Markin formule lui-même les hypothèses (marketing, produit, prix ou anomalie technique freinant la growth), les quantifie, les exécute à l'intérieur de experimentation platform et de tes surfaces produit, et lit chacune d'elles par rapport à un holdout randomisé. Il se comporte comme une équipe data science et growth, pas comme un optimiseur.

Markin teste-t-il uniquement les messages et les offres ?

Non. Tout ce qu'un growth scientist humain investiguerait est inclus : la friction à l'onboarding, l'adoption de fonctionnalités, la tarification et le packaging, le recouvrement, et les problèmes de santé technique tels qu'un taux d'erreur de paiement ou un deeplink cassé qui tue silencieusement la conversion. Le marketing est l'un des quatre domaines d'hypothèse, pas la limite.

Qu'est-ce que the business case for adding Markin on top of experimentation platform ?

On the assumptions preloaded above, 3.0M customers at 20 a month, une petite variation de l'ARPU représente un chiffre important en valeur absolue, car elle s'applique à l'ensemble de la base installée chaque mois plutôt qu'à une campagne. Sur l'ensemble des déploiements Markin, la fourchette vérifiée sur les cohortes traitées est de +17 % à +35 % ARPU par rapport à un holdout randomisé. L'objectif n'est pas d'envoyer plus de messages : il s'agit de trouver l'action à plus forte valeur par client, de la lancer et de la prouver par rapport à un groupe de contrôle avant de la généraliser.

Combien de temps avant qu'il ne soit rentable ?

Les premières opportunités dimensionnées sont en test dans les six semaines et le premier résultat vérifié par holdout arrive en moins de 90 jours. Le retour sur investissement dépend de ta base, de ta marge et du coût du programme. Le calculateur sur cette page le calcule à partir de tes propres chiffres, après application de la réduction de 20 % à 40 % que BCG constate lorsque les programmes Next Best Action sont testés en termes d'incrémentalité.