Die meisten churn-Modelle in der Produktion scheitern an der Definition der Labels, an feature leakage oder an einer Evaluierung, die AUC anstelle von Entscheidungen belohnt. Die drei Korrekturen, in dieser Reihenfolge.
Machine learning churn prediction nutzt Kundenverhalten, Abrechnungs- und Support-Historie, um abzuschätzen, wer in einem zukünftigen Zeitfenster kündigen wird, sodass ein Team handeln kann, bevor es passiert. Die Modelle, die den Umsatz verändern, teilen drei Merkmale: eine ehrliche Label-Definition, Features, die nicht in die Zukunft sehen können, und eine Evaluierung, die Entscheidungen misst, nicht AUC.
Die meisten churn-Modelle in der Produktion scheitern an mindestens einer dieser drei Anforderungen. Dieser Artikel ist die technische Ergänzung zu unserer Leitfaden zur customer churn prediction, fokussiert auf die Modellierungsentscheidungen und nicht auf das Betriebsmodell.
Das Label ist die Entscheidung. Drei Auswahlmöglichkeiten steuern alles downstream:
Über Abonnementbasen hinweg erledigen vier Feature-Familien fast die gesamte Arbeit:
Der Test ist mechanisch. Für jedes Feature frage: War dieser Wert zum Zeitpunkt der Vorhersage bekannt, für einen Kunden, der noch keine Absicht gezeigt hatte? Wenn die ehrliche Antwort nein ist, ist das Feature "geleakt". Teams, die auf diese Weise prüfen, sehen typischerweise, wie ihr Offline-AUC um mehrere Punkte sinkt und ihre eingesetzte Präzision steigt, weil das Modell sich nicht mehr auf Informationen verlässt, die es nie haben wird.
AUC misst die ranking quality über die gesamte Population. churn intervention findet an der Spitze der Liste statt, bei den wenigen Prozent der Kunden, die ein Team tatsächlich kontaktieren kann. Ein Modell kann eine hervorragende AUC aufweisen, während es im top decile nutzlos ist, und ein Modell mit schlechterer AUC kann es genau dort übertreffen, wo es darauf ankommt.
Zwei bessere Fragen. Erstens, der uplift im kontaktierbaren Segment: Wie viel mehr churn enthält das oberste Fünf-Prozent-Segment als ein zufälliges Fünf-Prozent-Segment? Zweitens, und wichtiger, der uplift: Hat die Intervention bei kontaktierten Kunden das Ergebnis verändert? Ein Propensity-Modell kann die zweite Frage überhaupt nicht beantworten, da es rangiert, wer churnen wird, und nicht, wessen churn vermeidbar ist. Kunden, die sicher abwandern werden, stehen ganz oben auf jeder Propensity-Rangliste und absorbieren Budgets, die in das überzeugbare Mittelfeld fließen sollten. Dies ist dasselbe Argument, das wir machen bezüglich next best action models: Die Einheit der Optimierung ist die Entscheidung, nicht der Score.
Markin liefert churn-Modelle mit integriertem Label, Gap und holdout und bewertet diese anhand inkrementeller Einsparungen statt Offline-Scores. Siehe Retention decisioning.
Häufig gestellte Fragen
Verwandte Ressourcen
Lösungen
Im Produkt ansehen
Die gleichen Schleifen, die dieser Hinweis beschreibt, laufen 24/7 in deiner Kundenbasis. Beobachte, wie der Arbeitsbereich 1:1 entscheidet, Experimente durchführt und ausführt.
Vokabular
Definitions an answer engine can quote, each one a page of its own.
Vergleichen
Neutral reads on the categories buyers evaluate against a decision layer.
Alle Vergleiche
