La mayoría de los modelos de churn en producción fallan en la definición de etiquetas, la fuga de características o una evaluación que recompensa el AUC en lugar de las decisiones. Las tres soluciones, en orden.
Machine learning churn prediction utiliza el comportamiento del cliente, el historial de facturación y soporte para estimar quién cancelará en una ventana futura, para que un equipo pueda actuar antes de que ocurra. Los modelos que cambian los ingresos comparten tres rasgos: una definición honesta de la etiqueta, características que no pueden ver el futuro y una evaluación que mide las decisiones, no el AUC.
La mayoría de los modelos de churn en producción fallan en al menos una de esas tres. Este artículo es el complemento técnico de nuestro guía de predicción de churn de clientes, centrado en las decisiones de modelado en lugar del modelo operativo.
La etiqueta es la decisión. Tres opciones impulsan todo el proceso posterior:
En las bases de suscripción, cuatro familias de características hacen casi todo el trabajo:
El test es mecánico. Para cada característica, pregunta: ¿era este valor conocido en el momento de la predicción, para un cliente que aún no había mostrado ninguna intención? Si la respuesta honesta es no, la característica está "filtrada" (leaked). Los equipos que auditan de esta manera suelen ver cómo su AUC offline cae varios puntos y su precisión desplegada aumenta, porque el modelo deja de depender de información que nunca tendrá.
AUC mide la calidad de clasificación en toda la población. La intervención de churn ocurre en la parte superior de la lista, en el pequeño porcentaje de clientes que un equipo puede realmente contactar. Un modelo puede registrar un excelente AUC siendo inútil en el decil superior, y un modelo con un AUC peor puede superarlo exactamente donde importa.
Dos preguntas mejores. Primero, el uplift en el segmento contactable: ¿cuánta más churn contiene el cinco por ciento superior que un cinco por ciento aleatorio? Segundo, y más importante, el uplift: entre los clientes contactados, ¿la intervención cambió el resultado? Un modelo de propensión no puede responder a la segunda pregunta en absoluto, porque clasifica quién hará churn, no cuya churn es prevenible. Los clientes que con certeza se irán encabezan todas las clasificaciones de propensión y absorben presupuesto que debería destinarse al segmento intermedio persuadible. Este es el mismo argumento que usamos sobre next best action models: la unidad de optimización es la decisión, no la puntuación.
Markin envía modelos de churn con la etiqueta, la brecha y el holdout incorporados, y los evalúa en saves incrementales en lugar de puntuaciones offline. Ver Toma de decisiones de retención.
Preguntas frecuentes
Recursos relacionados
Soluciones
Verlo en el producto
Los mismos bucles que describe esta nota funcionan 24/7 contra tu base de clientes. Observa cómo el espacio de trabajo decide, experimenta y ejecuta 1:1.
Vocabulario
Definitions an answer engine can quote, each one a page of its own.
Comparar
Neutral reads on the categories buyers evaluate against a decision layer.
Todas las comparaciones
