A maioria dos modelos de churn em produção falha na definição do rótulo, na fuga de funcionalidades, ou numa avaliação que recompensa a AUC em vez de decisões. As três correções, por ordem.
Machine learning churn prediction usa o comportamento do cliente, faturação e histórico de suporte para estimar quem irá cancelar numa janela futura, para que uma equipa possa agir antes que aconteça. Os modelos que alteram a partilha de receita possuem três características: uma definição honesta de label, features que não conseguem ver o futuro e uma avaliação que mede decisões, não AUC.
A maioria dos modelos de churn em produção falha em pelo menos um desses três. Este artigo é o complemento técnico do nosso guia de previsão de churn de clientes, focado nas decisões de modelagem, e não no modelo operacional.
O rótulo é a decisão. Três escolhas impulsionam tudo a jusante:
Em todas as bases de subscrição, quatro famílias de funcionalidades fazem quase todo o trabalho:
O teste é mecânico. Para cada funcionalidade, pergunte: este valor era conhecível no momento da previsão, para um cliente que ainda não tinha demonstrado qualquer intenção? Se a resposta honesta for não, a funcionalidade é “vazada”. As equipas que auditam desta forma geralmente veem a sua AUC offline cair vários pontos e a sua precisão implementada aumentar, porque o modelo deixa de depender de informações que nunca terá.
AUC mede a qualidade da classificação em toda a população. A intervenção de churn acontece no topo da lista, nos poucos por cento de clientes que uma equipa consegue realmente contactar. Um modelo pode apresentar um excelente AUC enquanto é inútil no decil superior, e um modelo com AUC pior pode superá-lo exatamente onde importa.
Duas perguntas melhores. Primeiro, uplift na fatia contactável: quanto mais churn os cinco por cento do topo contêm do que cinco por cento aleatórios? Segundo, e mais importante, uplift: entre os clientes contactados, a intervenção alterou o resultado? Um modelo de propensão não consegue responder à segunda pergunta de todo, porque classifica quem fará churn, não cujo churn é evitável. Clientes que certamente sairão encabeçam todos os rankings de propensão e absorvem o orçamento que deveria ir para o meio persuadível. Este é o mesmo argumento que fazemos sobre modelos de next best action: a unidade de otimização é a decisão, não a pontuação.
Markin envia modelos de churn com o rótulo, a lacuna e o holdout incorporados, e avalia-os em poupanças incrementais em vez de pontuações offline. Ver Retention decisioning.
Perguntas frequentes
Recursos relacionados
Soluções
Ver no produto
Os mesmos loops que esta nota descreve são executados 24 horas por dia, 7 dias por semana, na sua base de clientes. Veja o espaço de trabalho decidir, experimentar e executar 1:1.
Vocabulário
Definitions an answer engine can quote, each one a page of its own.
Comparar
Neutral reads on the categories buyers evaluate against a decision layer.
Todas as comparações
