Il Markin ROI Report per Enterprise Growth TeamsLeggi ora
MARKIN

COMPARE/Markin e il tuo stack

Markin+Optimizely logoOptimizely

Markin + Optimizely: dagli esperimenti vincenti alla decisione su cosa vale la pena testare

+17–35% ARPU rispetto al holdoutIntervallo osservato nelle implementazioni Markin, misurato su coorti trattate.

Optimizely è una piattaforma di experimentation e feature-flagging: esegue A/B test e bandit su variazioni che tu definisci e riporta quale vince su una metrica che tu scegli. Markin si colloca al di sopra e decide quale opportunità commerciale merita un test in primo luogo, ne valuta i ricavi sottostanti e agisce continuamente sui clienti che non entrano mai in un esperimento. L'apprendimento avviene in Optimizely; la decisione su cosa imparare e su chi agire avviene in Markin.

Richiedi una demoCustomer Decisioning

In breve

  • Optimizely: Which variation performs better on this metric, and how confidently? Output: A statistical read per variation: lift, confidence interval, significance.
  • Markin, the decision + execution layer: Which opportunity deserves an experiment, and which action should this customer receive now? Output: A ranked, sized decision per customer, including hold, that can feed an Optimizely flag or act directly in other channels.
  • Un esperimento copre solo i clienti che raggiungono la superficie segnalata; il resto della base non riceve alcuna decisione.
  • It decides which revenue opportunity is worth a test, and acts on the customers a flag never reaches.

Ultimo aggiornamento: . Le affermazioni su altri fornitori si collegano alla fonte da cui provengono.

Cosa è in gioco

Un livello decisioning non è una voce di spesa per un tool. Muove l'ARPU sull'intera base, ogni mese.

Base installata

3.0M

customers at $22 ARPU / month

Ricavo indirizzabile

$396.0M

all'anno, base raggiungibile

ARPU uplift verificato

+17% al +35% ARPU

sulle coorti trattate, rispetto a holdout

Quanto vale

$67.3M – $138.6M

ricavi incrementali per anno

Misurato su coorti trattate rispetto a un holdout randomizzato, letto su un'intera finestra di misurazione anziché nelle prime settimane. Range anonimizzato tra le implementazioni Markin in grandi basi B2C; il tuo holdout è il numero che decide. Le cifre di cui sopra applicano tale intervallo alla quota raggiungibile della base sulle ipotesi di questa pagina; sono aritmetiche, non una previsione per la tua attività.

Eseguilo sui tuoi numeri

What your stack does today.

01

Optimizely

Una piattaforma di sperimentazione e feature-flagging che distribuisce codice dietro i flag, esegue test A/B/n e multi-armed bandit, e riporta quale variazione performa su una metrica di successo definita con statistiche valide.

02

Markin, il livello di decisioning + esecuzione

Un livello che scopre e dimensiona le opportunità di ricavo per cliente, seleziona il treatment con il più alto valore incrementale atteso e assegna un gruppo di controllo, decidendo cosa vale la pena testare e su chi agire.

Fianco a fianco

Le differenze che cambiano i risultati.

DimensioneOptimizelyMarkin, il livello di decisioning + esecuzione
Domanda a cui rispondeQuale variazione ha prestazioni migliori su questa metrica e con quale confidenza?Quale opportunità merita un esperimento e quale azione dovrebbe ricevere questo cliente ora?
Input primarioVariazioni, una metrica di successo, allocazione del traffico, targeting del pubblico.Contesto del cliente, risultati, margini, costi, storico dei contatti, risultati degli esperimenti passati.
Output primarioUna lettura statistica per variazione: lift, intervallo di confidenza, significatività.Una decisione classificata e dimensionata per cliente, inclusa la hold, che può alimentare un flag di Optimizely o agire direttamente in altri canali.
Proprietario abitualeProdotto, ingegneria e sperimentazione.Leadership di growth, data science e ricavi.
Come viene misuratoUplift sulla metrica scelta con significatività e intervallo di confidenza.Ricavi incrementali e ARPU rispetto a un holdout.

Job to be done

Lo stesso lavoro, con una produttività diversa.

Niente di ciò che segue richiede uno strumento che non esiste. Richiede che il lavoro avvenga continuamente invece che una volta al trimestre, e che sia provato contro un holdout invece di essere discusso.

Job to be done, confrontato tra With Optimizely alone and Con Markin
Job to be doneWith Optimizely aloneCon Markin
Nota che il ricavo per cliente sta diminuendo in un segmentoQualcuno lo individua in una revisione della dashboard, settimane dopo che è iniziato.Rilevato come segnale il giorno in cui il drift elimina il rumore, con il segmento già dimensionato.
Spiega perché sta accadendoUn analista viene distolto dalla roadmap per un'indagine di due settimane.Un'indagine viene eseguita automaticamente e restituisce i driver con le relative prove.
Crea ipotesi degne di essere testateUn workshop produce la manciata di idee che la stanza è riuscita a generare.Le ipotesi vengono scritte continuamente attraverso marketing, prodotto, prezzi e salute tecnica.
Decidi quali ipotesi meritano un budgetPrioritizzato per anzianità e istinto, senza dimensione allegata.Ognuno è dimensionato in termini di entrate e classificato prima che venga costruito qualsiasi cosa.
Scegli la Next Best Action per un clienteLe regole di Segment e i calendari delle campagne decidono, aggiornati quando qualcuno ha tempo.Scelto per cliente, per momento, contro tutto il resto in competizione per quel cliente.
Lancialo davveroUn ticket per il team del ciclo di vita, poi uno slot nel calendario del mese prossimo.Eseguito all'interno dei sistemi che già utilizzi, senza la necessità di adottare un nuovo canale.
Dimostra che ha causato i ricaviRiportato rispetto ai non qualificati o a un holdout globale, se del caso.Ogni decisione prevede un gruppo di controllo randomizzato; l'uplift viene letto rispetto ad esso.
Elimina ciò che non funzionaI programmi sopravvivono perché nessuno si occupa di ritirarli.La mancata superiorità rispetto al controllo ritira automaticamente il programma.
Rifare tutto la prossima settimanaVincolato dalla capacità: da quattro a otto test a trimestre.Centinaia di ipotesi in corso in parallelo, continuamente.

La parte irrisolta

Cosa rimane irrisolto quando la sperimentazione funziona bene

Una configurazione Optimizely matura testa ciò che il team vi scrive, alla cadenza che il team può spedire. La produttività dell'esperimento è limitata dalle ipotesi che un umano decide di formalizzare, e dai clienti a cui un flag è collegato, piuttosto che da ciò che i dati segnalano sull'intera base.

  • Un esperimento copre solo i clienti che raggiungono la superficie segnalata; il resto della base non riceve alcuna decisione.
  • Stats Accelerator trova la migliore variazione all'interno di un test; non decide se il test stesso sia l'uso di maggior valore di quel contatto.
  • Ogni esperimento riporta su una metrica. Nulla somma l'effetto di ogni esperimento che un cliente ha visto in un unico numero di ricavo.
  • Il backlog di ipotesi arriva alla velocità con cui il team può scrivere le specifiche, non alla velocità con cui i dati cambiano.

La differenza effettiva

Markin non è l'ennesimo motore decisionale.

Markin non è un decisioning engine. Un decisioning engine classifica le azioni che un essere umano ha già definito. Markin funziona come un team di data science e growth: formula le proprie ipotesi sul perché l'ARPU è bloccato, in marketing, prodotto, prezzi o stato di salute tecnico, le dimensiona, le esegue all'interno dei sistemi che già utilizzi, e legge ognuna contro un holdout.

 Un motore decisionaleMarkin
Da dove proviene l'ipotesiUn umano lo crea. Il motore sceglie tra opzioni già approvate da qualcuno.Markin lo scrive. Legge la base, trova dove i ricavi stanno calando o non sono stati sfruttati, e scrive l'ipotesi stessa.
Cosa gli è permesso di mettere in discussioneMessaggio, offerta, canale, tempistica, all'interno della superficie della campagna a cui è stato assegnato.Qualsiasi cosa che muova l'ARPU: attrito nell'onboarding, prezzi e packaging, una funzionalità che nessuno adotta, un picco di fallimenti di pagamento, un deeplink rotto.
Chi esegue l'analisiI tuoi analisti, prima e dopo. Il motore ottimizza; non indaga.Markin esegue l'analisi. Dimensionamento, definizione del segmento, progettazione dell'esperimento e lettura dei risultati sono automatizzati end-to-end.
Dove si fermaAlla raccomandazione. Qualcuno deve ancora costruirlo e lanciarlo.Si avvia. Markin esegue all'interno delle tue piattaforme e superfici di prodotto esistenti, quindi chiude il ciclo sul risultato.
ThroughputTante ipotesi quante il tuo roadmap ne può contenere, tipicamente una manciata per trimestre.Centinaia in parallelo, ognuno con un control group.
Cosa succede quando è sbagliatoIl programma continua a funzionare finché qualcuno non lo esamina.Viene ritirato automaticamente. Il fallimento nel superare il controllo è un risultato normale ed economico.

Un motore decisionale sceglie la migliore action da un elenco che hai scritto. Markin scrive l'elenco e lo esegue nel tuo stack.

Spazio delle ipotesi

Tutto ciò che un growth scientist umano esaminerebbe.

La maggior parte dei problemi di crescita non sono problemi di messaggio. Markin non è limitato alla superficie della campagna: se qualcosa frena l'ARPU, rientra nell'ambito e viene testato allo stesso modo.

Marketing

La superficie classica, ma scelta per cliente anziché per segmento, e sempre rispetto a un holdout.

  • Quale offerta vale la pena fare a questo specifico cliente
  • Canale e tempistica scelti per persona, non per campagna
  • Pressione di contatto e affaticamento gestiti su ogni programma
  • Economia del recupero: chi vale uno sconto e chi no

Prodotto

Dove il cliente sperimenta effettivamente il valore e dove si verifica la maggior parte della perdita di ricavi silenziosa.

  • Fasi di onboarding che fanno perdere clienti prima del primo valore
  • Una funzionalità con elevata correlazione di retention che metà della base non scopre mai
  • Posizionamento del paywall e del prompt di upgrade
  • Superfici in-product utilizzate come braccio di trattamento, non solo email e push

Commerciale

Prezzi, packaging e la forma dell'offerta stessa, testati anziché discussi.

  • Struttura di piano e pacchetto per coorte
  • Profondità dello sconto rispetto al margine, non solo rispetto alla conversione
  • Inquadramento annuale versus mensile per cliente
  • Sequenze di dunning e recupero dello churn involontario

Salute tecnica

Anomalie che nessuno ha chiesto di cercare. Questa è la categoria che nessun motore decisionale copre.

  • Un tasso di errore al checkout aumentato su un dispositivo e una regione
  • Guasti di pagamento concentrati su un singolo emittente o metodo
  • Un deeplink rotto che silenziosamente uccide un percorso di alto valore
  • Latenza o degrado della consegna che riducono la conversione prima ancora che qualsiasi messaggio lo faccia

Pensa a Markin come a un team di data science e growth che non dorme mai: indaga, formula ipotesi, le implementa nel tuo stack e ne verifica ognuna contro un gruppo di controllo, con un volume che nessun team umano può raggiungere.

Il loro livello di decisioning

Cosa Optimizely decide, e dove si ferma.

Optimizely è una piattaforma di experimentation e feature-flagging. Implementa codice tramite flag, esegue A/B test e bandit su variazioni che tu definisci e dimostra quale variazione vince su una metrica di successo che tu hai scelto. Non decide quale opportunità commerciale valga la pena testare, non valuta i ricavi ad essa collegati, né agisce sui clienti che non entrano mai in un esperimento.

Prodotti a cui si fa riferimento: Optimizely Feature Experimentation, Optimizely Web Experimentation, Optimizely Personalization, Stats Engine, Stats Accelerator

Cosa ottimizza

Confini documentati

Cosa dicono realmente le prove

Dove Markin è diverso.

Decide cosa testare, non quale variazione vince

Optimizely risponde alla domanda 'quale variazione ha prestazioni migliori su questa metrica'. Markin risponde a 'quale opportunità vale la pena di sperimentare' e porta alla luce quelle che nessuno aveva pensato di testare.

Ottimizza il revenue su tutta la base, non una metrica su un singolo test

Stats Accelerator rialloca il traffico all'interno di un esperimento. Markin rialloca il contatto e il trattamento in tutta la base clienti, in base ai ricavi incrementali attesi al netto di margine e costo.

Holds in tutto il sistema, per impostazione predefinita

Un Optimizely holdout è uno split del traffico all'interno di un esperimento. Markin allega un gruppo di controllo a ogni decisione, quindi il numero riportato è l'ARPU incrementale rispetto all'holdout anziché una lettura di significatività su un flag.

Architettura

Come i due processi si svolgono insieme

Fase 01

Contesto in

Markin legge il contesto del cliente dove già risiede, warehouse, CDP, sistemi di prodotto e di fatturazione, più la cronologia dei risultati. I risultati degli esperimenti di Optimizely e l'esposizione dei flag possono far parte di quel contesto, in modo che l'apprendimento alimenti la decisione successiva.

Fase 02

Decision

Markin genera e dimensiona opportunità di ricavo, le classifica per cliente, sceglie un trattamento e assegna un control group. Alcune decisioni diventano esperimenti Optimizely; la maggior parte diventa azioni dirette in altri canali.

Fase 03

Attivazione su Optimizely

Quando un'ipotesi richiede un test controllato, la decisione viene riscritta come targeting di flag o criteri di pubblico in modo che Optimizely la esegua con il proprio motore statistico. La logica del flag, il codice di variazione e i rapporti di significatività rimangono in Optimizely.

L'ultimo passaggio è l'esecuzione, non un passaggio di consegne. Markin non invia una raccomandazione via email a qualcuno che poi deve implementarla: lancia il trattamento direttamente all'interno. Optimizely e la tua superficie del prodotto direttamente, con l'holdout allegato, e legge il risultato da sé.

Il loop

L'Esecuzione è un passaggio nel ciclo, non un passaggio di consegne.

  1. 01

    Osservare

    Markin legge continuamente il segnale comportamentale, transazionale e di prodotto che già raccogli.

  2. 02

    Ipotizza

    Scrive l'ipotesi stessa, marketing, prodotto, commerciale o tecnica, e ne indica la direzione attesa.

  3. 03

    Dimensioni

    Ogni opportunità è classificata in base al valore atteso, quindi la coda è ordinata per denaro anziché per opinione.

  4. 04

    Progetto

    Segment, trattamento, guardrail e un holdout randomizzato vengono impostati prima che qualsiasi cosa venga lanciata.

  5. 05

    Esegui

    Si avvia all'interno dei sistemi che già utilizzi, la tua piattaforma di coinvolgimento, le tue superfici di prodotto, le tue API. Nulla attende in una coda di build.

  6. 06

    Leggi

    I risultati vengono misurati rispetto all'holdout per un'intera finestra, in modo che la novità non venga scambiata per effetto.

  7. 07

    Scalare o ritirare

    Ciò che supera il controllo viene esteso a tutta la base. Ciò che non lo supera viene disattivato automaticamente.

Dove si inserisce Markin

Non un sostituto. Un team di growth-science in più.

Markin non esegue Experimentation o sostituisce i flags. Decide quale revenue opportunity vale un test e agisce sui clienti che un flag non raggiunge mai. L'Experimentation mantiene il suo stats engine, i suoi bandit e la sua sicurezza di rilascio; ciò che cambia è l'input che decide cosa viene testato e su chi si agisce.

La coda degli esperimenti diventa una decisione, non un backlog.

Invece di una roadmap di prodotto di test, le ipotesi di maggior valore vengono identificate e dimensionate dai dati, così la capacità di sperimentazione è impiegata dove ci sono i ricavi.

La copertura si estende oltre la superficie segnalata

I clienti che non entrano mai in un esperimento ricevono comunque una decisione, un 'save', un 'attach', un 'hold', misurati rispetto a un controllo nei canali che utilizzano.

Apprendimento e azione condividono un unico record

I risultati di Optimizely alimentano Markin, e l'holdout di Markin si reintroduce, così il prossimo ciclo di ipotesi migliora basandosi su numeri comprovati anziché deviare.

Esplora Customer Decisioning

Perché Markin vince

Più potente di qualsiasi altra cosa su questa pagina.

Ogni strumento con cui Markin viene confrontato è stato creato per un compito che si ferma prima che il revenue si muova: consegnare il messaggio, unificare i dati, fare lo score del lead. Markin è stato creato per un unico risultato, aumentare l'ARPU, e possiede il loop completo che porta a questo: indagare, ipotizzare, lanciare, misurare e scalare, attraverso marketing, prodotto, pricing e technical health.

Apprendimento ultra-rapido, by design

Markin Growth Science esegue il ciclo completo di osservazione, formulazione di ipotesi, esperimenti e lettura in pochi giorni, con centinaia di esperimenti supportati da holdout in parallelo. Il sistema accresce l'apprendimento a una velocità che nessun team umano, e nessuno strumento di campagna, può eguagliare.

Growth operations, rese efficienti

Dimensionamento, design del segmento, costruzione, lancio e misurazione erano quattro team e uno sprint. In Markin sono un unico sistema, quindi la stessa growth operation spedisce più azioni di ricavo con una frazione del costo di coordinamento.

Un risultato: ARPU

Ogni ipotesi viene dimensionata in revenue atteso per cliente, ogni azione viene giudicata rispetto a un holdout randomizzato e tutto ciò che supera il controllo scala automaticamente sulla base. Nient'altro in questa pagina viene misurato in questo modo.

Se l'obiettivo è far crescere l'ARPU attraverso un apprendimento ultra-veloce e gestire le growth operations in modo più efficiente, la scelta è Markin.

Richiedi una demo

Modello operativo

Il limite non sono le idee. È quante se ne possono testare.

 Today, with OptimizelyCon Markin in cima
Ipotesi di ricavo testate per trimestreDa 4 a 8, a seconda dello spazio disponibile sulla roadmapCentinaia, generate ed eseguite in parallelo
Su cosa si può formulare un'ipotesiMessaggi, offerte e pubblici, la superficie della campagnaSalute di marketing, prodotto, prezzi e tecnica
Dalla decisione al live nel canaleUn ticket, una coda di build, una finestra di rilascioMarkin lo lancia autonomamente nelle tue piattaforme esistenti
Tempo dall'idea a un risultato di cui ti fidiDa 6 a 10 settimane di analisi, sviluppo e presentazione dei risultatiGiorni, perché il dimensionamento e la progettazione sono automatizzati
Quota delle decisioni con un gruppo di controlloI programmi di punta, quando c'è tempoOgni decisione, per impostazione predefinita
Copertura della baseSegmenti principali e i clienti intercettati da una regolaUn'unica decisione per cliente, su tutta la base
Costo per testare la 500esima ipotesiUn altro analista, un altro trimestrePraticamente zero
A cosa dedica il suo tempo il teamEstrazione dati, creazione liste, riconciliazione reportGiudizio: vincoli, economia, cosa scalare

Markin non sostituisce il tuo team di data science. Rimuove il limite alla quantità di base su cui il team può agire e alla velocità con cui scopre se ha funzionato.

Cosa Markin non sostituisce.

Per essere espliciti sull'ambito, poiché il reparto acquisti lo chiederà:

  • Markin non esegue test A/B, feature flags o bandit. L'Experimentation rimane in Optimizely.
  • Markin non sostituisce Stats Engine, Stats Accelerator o il reporting statistico di Optimizely.
  • Markin non è uno strumento di analytics o di gestione delle release; decide cosa vale la pena testare e su chi agire.
  • Markin non gestisce il codice delle variazioni, i rollout o gli ambienti flag.
  • Markin non siede accanto Optimizely fare suggerimenti. È Markin che la guida, l'azione viene lanciata lì, nel sistema che il tuo team già conosce, e il risultato torna nel loop.

Standard di Evidenza

La maggior parte di questa categoria riporta il proprio lift.

Nessuno dei principali fornitori di engagement, CDP o personalizzazione pubblica un dato di uplift verificato in modo indipendente per il suo prodotto decisionale. Laddove esistono numeri, provengono da studi commissionati dal fornitore o da case study di singoli clienti senza una metodologia di holdout divulgata. La ricerca pubblica più rigorosa nella categoria non è lusinghiera per nessuno, incluso noi, ed è esattamente il motivo per cui ci basiamo su di essa.

Come Markin si attiene ad essa

  • Ogni decisione che Markin prende include un gruppo di controllo. L'uplift è riportato rispetto a quell'holdout, non rispetto ai clienti che non si sono qualificati.
  • I risultati vengono letti su un'intera finestra di misurazione anziché nelle prime settimane, in modo che la novità non venga scambiata per effetto.
  • I programmi che non riescono a superare il controllo vengono automaticamente ritirati. Eliminare le decisioni che non ripagano fa parte del ciclo, non di una revisione annuale.
  • L'unica cifra che citiamo su noi stessi è un intervallo, non una media: da +17% a +35% ARPU sulle coorti trattate rispetto a un holdout randomizzato, in tutte le implementazioni Markin in grandi basi B2C. Non pubblichiamo alcun benchmark di settore, perché non siamo riusciti a trovarne uno che saremmo stati disposti a difendere. Il tuo holdout è il numero che conta.

Dimensiona da solo

Dimensiona il livello di decisioning al di sopra del tuo programma Optimizely

Precaricato per un'attività di abbonamenti consumer che utilizza Optimizely su larga scala: feature-flagging maturo e A/B testing, un team di prodotto che lancia molti esperimenti. Optimizely dimostra quale variazione vince sulla metrica che tu hai scelto. La cifra seguente è il margine incrementale disponibile decidendo cosa vale la pena testare in primo luogo, e agendo su ogni cliente in modo continuo anziché solo dove è configurato un flag, misurato rispetto a un holdout anziché a una lettura di significatività per singolo esperimento.

La tua base

3.0M

Account che hanno generato ricavi negli ultimi 30 giorni. Non utenti registrati.

$22

Ricavi ricorrenti più non ricorrenti divisi per clienti attivi.

60%

Margine sulla prossima unità venduta, non margine aziendale aggregato.

Il tuo programma oggi

50%

Con consenso, non affaticato, raggiungibile su almeno un canale.

2.6%

Ricavo perso a causa di cancellazioni ogni mese, come quota della base.

La scommessa

$1.0M

Licenze, dati, incentivi e le persone che lo gestiscono.

3%

Prima di qualsiasi riduzione incrementale. Il 2-4% è un'ipotesi di pianificazione difendibile.

Impatto annuale verificato

$4.0M

Margine lordo incrementale netto nel caso centrale, dopo il costo del programma e dopo la quota di programmi di decisioning che la ricerca indipendente rileva non produrre alcun incremento reale.

Uplift riportato

$11.9M

What a before/after dashboard would claim, with no control group.

Uplift verificato

$8.3M

What survives a holdout in the central case.

Ritorno sul costo del programma

5.0×

Payback

3 mo

Se il 20-40% di esso non fa nulla

Caso migliore · 20% di no lift$4.7M
Caso centrale · 30% di no lift$4.0M
Caso peggiore · 40% di no lift$3.3M

Cosa serve per dimostrarlo

Per rilevare un 3% di uplift sui ricavi per cliente di cui hai bisogno approssimativamente 40K clienti nel braccio di controllo, circa 2.7% della tua base indirizzabile, letta su almeno 8 weeks, così la novità non viene scambiata per effetto.

Base indirizzabile

1.5M

Ricavi a rischio di churn

$214.7M

Annualised, at the current monthly rate.

Apri il calcolatore completo, con la metodologia sottostante

Tempo al valore

90 giorni per un numero che ha superato un holdout.

Nessun replatform, nessuna migrazione dei dati, nessuna ricostruzione dei canali che già gestisci. Se le prime coorti non superano il controllo, nulla si espande e hai perso un trimestre, non una roadmap.

  1. Settimane 0–2

    Leggi il contesto che hai già

    Markin si collega ai dati e ai canali che usi oggi, Optimizely incluso. Nessuna migrazione, nessun replatform, nessuna nuova fonte di verità.

  2. Settimane 3–6

    Prime opportunità dimensionate in test

    Le opportunità sono classificate in base al valore atteso, i trattamenti sono scelti per ciascun cliente e le prime coorti vengono attivate con un holdout randomizzato allegato.

  3. Settimane 7–12

    Primo ricavo incrementale verificato

    I risultati vengono letti su un'intera finestra di misurazione. Ciò che supera il controllo scala; ciò che non lo fa viene ritirato. Nulla scala su un numero che non è sopravvissuto a un holdout.

Quando non hai bisogno di Markin.

  • Esegui una manciata di esperimenti a trimestre e il team può ancora ragionare su quale dare priorità in una riunione.
  • Ogni decisione del cliente scorre già attraverso una superficie flaggata, quindi non c'è una base non indirizzata su cui agire.
  • La tua metrica di successo non può essere collegata ai ricavi, quindi né gli esperimenti né le decisioni possono essere valorizzati.

Visualizzalo nel prodotto

Guardalo decidere, sperimentare ed eseguire, prima di parlare con chiunque.

Un tour guidato del workspace Markin su un cliente demo, senza chiamata di vendita, senza configurazione.

Esplora la demoOppure prenota una demo con il team

Domande che gli acquirenti si pongono.

Optimizely non decide già le cose con i bandits?

Stats Accelerator e i multi-armed bandit riallocano il traffico tra le variazioni all'interno di un esperimento per raggiungere la significatività più velocemente o massimizzare il reward durante il test. Ottimizzano il test che hai già scritto; non decidono quale opportunità valga la pena testare, dimensionano i ricavi dietro di essa o agiscono sui clienti che non entrano mai nell'esperimento.

Dobbiamo sostituire Optimizely?

No. Optimizely rimane il livello di experimentation e feature-flagging. Markin decide quale ipotesi merita un test e passa tale decisione a Optimizely come targeting di flag, mentre agisce sul resto della base direttamente in altri canali.

Come la decisione raggiunge Optimizely?

Come regole di targeting di flag o criteri di audience su un flag, in modo che un esperimento esistente lo recepisca. La superficie di integrazione è la stessa che il tuo team utilizza già per qualsiasi altro signal upstream.

Non è che eseguire Esperimenti continuamente sia la stessa cosa del decisioning?

No. L'experimentation testa poche ipotesi con una cadenza umana sulle superfici che hai segnalato. Il decisioning continuo agisce su ogni cliente, ogni ciclo, con un gruppo di controllo per impostazione predefinita, inclusi i clienti che nessun esperimento raggiunge. Gli esperimenti provano ciò che funziona; il decisioning decide chi lo riceve e chi viene messo in holdout.

Chi possiede l'output, prodotto o crescita?

Entrambi. Prodotto e engineering possiedono gli esperimenti e i flag; growth e data science possiedono la decision sui ricavi. Il livello di decision è il contratto condiviso tra loro.

Come appaiono i primi novanta giorni?

Un tema di ricavo, un canale, un holdout reale. L'obiettivo del primo trimestre è un numero incrementale difendibile, non una copertura completa del backlog degli esperimenti.

In che modo Markin è diverso dal decisioning o dall'AI già presenti in Optimizely?

Un motore di decisioning classifica le azioni che un umano ha già definito, all'interno della superficie della campagna che gli è stata data. Markin forma le ipotesi da sé, siano esse di marketing, prodotto, prezzo o un'anomalia tecnica che frena la growth, le dimensiona, le esegue all'interno di Optimizely e delle tue superfici di prodotto, e valuta ciascuna rispetto a un holdout randomizzato. Si comporta come un team di data science e growth, non come un ottimizzatore.

Markin testa solo messaggi e offerte?

No. Tutto ciò che un growth scientist umano investigerebbe rientra nello scopo: attrito nell'onboarding, adozione di funzionalità, prezzi e pacchetti, dunning e problemi di salute tecnica come un tasso di errore nel checkout o un deeplink non funzionante che sta silenziosamente uccidendo la conversione. Il marketing è uno dei quattro domini di ipotesi, non il confine.

Cos'è the business case for adding Markin on top of Optimizely?

On the assumptions preloaded above, 3.0M customers at 22 a month, un piccolo movimento nell'ARPU è un numero elevato in termini assoluti, perché si applica all'intera base installata ogni mese anziché a una campagna. Nelle implementazioni Markin, l'intervallo verificato sulle coorti trattate è da +17% a +35% ARPU rispetto a un holdout randomizzato. Il punto non è più messaggi: è trovare l'azione a più alto valore per cliente, lanciarla e dimostrarne l'incrementality rispetto al controllo prima che si espanda.

Quanto tempo prima che si ripaghi da solo?

Le prime opportunità dimensionate sono in test entro sei settimane e il primo risultato verificato tramite holdout arriva entro 90 giorni. Il ritorno sull'investimento dipende dalla tua base, dal margine e dal costo del programma; il calcolatore su questa pagina lo computa dai tuoi numeri, dopo aver applicato il taglio del 20% al 40% che BCG riscontra quando i programmi Next Best Action sono testati per incrementality.

Continua a leggere

Lettura di approfondimento su come funziona la next best action decisioning, dalle guide che sono alla base di questo confronto.