La maggior parte dei modelli di churn in produzione fallisce sulla definizione dell'etichetta, sulla feature leakage o su una valutazione che premia l'AUC invece delle decisioni. I tre rimedi, in ordine.
Machine learning churn prediction utilizza il comportamento del cliente, la fatturazione e la cronologia del supporto per stimare chi annullerà in una finestra futura, in modo che un team possa agire prima che accada. I modelli che modificano i ricavi condividono tre tratti: una definizione onesta dell'etichetta, funzionalità che non possono vedere il futuro e una valutazione che misura le decisioni, non l'AUC.
La maggior parte dei modelli di churn in produzione fallisce su almeno uno di questi tre aspetti. Questo articolo è il complemento tecnico del nostro guida alla customer churn prediction, concentrandosi sulle decisioni di modellazione piuttosto che sul modello operativo.
L'etichetta è la decisione. Tre scelte guidano tutto a valle:
Nelle basi di abbonamento, quattro famiglie di funzionalità svolgono quasi tutto il lavoro:
Il test è meccanico. Per ogni funzionalità, chiediti: questo valore era conoscibile al momento della previsione, per un cliente che non aveva ancora mostrato alcuna intenzione? Se la risposta onesta è no, la funzionalità è leaked. I team che effettuano questo tipo di audit tipicamente vedono il loro AUC offline diminuire di diversi punti e la loro precisione implementata aumentare, perché il modello smette di affidarsi a informazioni che non avrà mai.
L'AUC misura la qualità del ranking sull'intera popolazione. L'intervento sul churn avviene in cima alla lista, su quelle poche percentuali di clienti che un team può effettivamente contattare. Un modello può registrare un AUC eccellente pur essendo inutile nel primo decile, e un modello con un AUC peggiore può superarlo esattamente dove conta.
Due domande migliori. Primo, l'uplift nella fetta contattabile: quanto churn in più contiene il cinque percento migliore rispetto a un cinque percento casuale? Secondo, e più importante, l'uplift: tra i clienti contattati, l'intervento ha cambiato il risultato? Un modello di propensione non può rispondere affatto alla seconda domanda, perché classifica chi farà churn, non il cui churn è prevenibile. I clienti certi di andarsene superano ogni classifica di propensione e assorbono budget che dovrebbe andare alla fascia intermedia persuadibile. Questa è la stessa argomentazione che facciamo riguardo a modelli di next best action: l'unità di ottimizzazione è la decisione, non il punteggio.
Markin fornisce modelli di churn con l'etichetta, il gap e l'holdout integrati, e li valuta in base ai risparmi incrementali piuttosto che ai punteggi offline. Vedi Retention decisioning.
Domande frequenti
Risorse correlate
Soluzioni
Visualizzalo nel prodotto
Gli stessi cicli descritti in questa nota vengono eseguiti 24 ore su 24, 7 giorni su 7, sulla tua base clienti. Osserva lo spazio di lavoro decidere, sperimentare ed eseguire 1:1.
Vocabolario
Definitions an answer engine can quote, each one a page of its own.
Compara
Neutral reads on the categories buyers evaluate against a decision layer.
Tutti i confronti
