La plupart des modèles de churn en production échouent sur la définition des labels, la fuite de features ou une évaluation qui récompense l'AUC au lieu des décisions. Les trois correctifs, dans l'ordre.
Machine learning churn prediction utilise le comportement client, l'historique de facturation et de support pour estimer qui annulera dans une fenêtre future, afin qu'une équipe puisse agir avant que cela ne se produise. Les modèles qui modifient les revenus partagent trois traits : une définition d'étiquette honnête, des fonctionnalités qui ne peuvent pas voir l'avenir et une évaluation qui mesure les décisions, pas l'AUC.
La plupart des modèles de churn en production échouent sur au moins l'un de ces trois points. Cet article est le complément technique à notre guide de prédiction du churn client, axée sur les décisions de modélisation plutôt que sur le modèle opérationnel.
Le label est la décision. Trois choix déterminent tout en aval :
Sur les bases d'abonnement, quatre familles de fonctionnalités font presque tout le travail :
Le test est mécanique. Pour chaque fonctionnalité, demande-toi : cette valeur était-elle connaissable au moment de la prédiction, pour un client qui n'avait pas encore manifesté d'intention ? Si la réponse honnête est non, la fonctionnalité fuit. Les équipes qui auditent de cette manière voient généralement leur AUC offline chuter de plusieurs points et leur précision déployée augmenter, car le modèle cesse de s'appuyer sur des informations qu'il n'aura jamais.
L'AUC mesure la qualité de classement sur l'ensemble de la population. L'intervention de churn se produit en tête de liste, sur les quelques pour cent de clients qu'une équipe peut réellement contacter. Un modèle peut afficher un excellent AUC tout en étant inutile dans le premier décile, et un modèle avec un AUC moins bon peut le surpasser exactement là où cela compte.
Deux meilleures questions. Premièrement, l'uplift dans la tranche contactable : combien plus de churn les cinq pour cent supérieurs contiennent-ils qu'un échantillon aléatoire de cinq pour cent ? Deuxièmement, et plus important, l'uplift : parmi les clients contactés, l'intervention a-t-elle modifié le résultat ? Un modèle de propension ne peut absolument pas répondre à la deuxième question, car il classe ceux qui vont churn, et non ceux dont le churn est évitable. Les clients certains de partir dominent chaque classement de propension et absorbent un budget qui devrait être alloué à la moyenne persuadable. C'est le même argument que nous avançons pour modèles de next best action : l'unité d'optimisation est la décision, pas le score.
Markin livre des modèles de churn avec le label, le gap et le holdout intégrés, et les évalue sur les sauvegardes incrémentales plutôt que sur les scores hors ligne. Voir Decisioning de rétention.
Questions fréquentes
Ressources associées
Solutions
Le voir dans le produit
Les mêmes boucles que cette note décrit fonctionnent 24 heures sur 24, 7 jours sur 7, sur ta base de clients. Observe l'espace de travail décider, expérimenter et exécuter en 1:1.
Vocabulaire
Definitions an answer engine can quote, each one a page of its own.
Comparer
Neutral reads on the categories buyers evaluate against a decision layer.
Toutes les comparaisons
