Markin + Optimizely: Von erfolgreichen Experimenten zur Entscheidung, was es wert ist, getestet zu werden

Entscheidet Optimizely nicht bereits Dinge mit Bandits?

Stats Accelerator und Multi-Armed Bandits verlagern den Traffic innerhalb eines Experimentes zwischen Variationen, um schneller Signifikanz zu erreichen oder den Ertrag während des Tests zu maximieren. Sie optimieren den Test, den du bereits geschrieben hast; sie entscheiden nicht, welche Umsatzchance es wert ist, getestet zu werden, beziffern nicht den dahinterstehenden Umsatz oder agieren nicht bei Kunden, die nie an dem Experiment teilnehmen.

Müssen wir Optimizely ersetzen?

Nein. Optimizely bleibt die Experimentation- und Feature-Flagging-Ebene. Markin entscheidet, welche Hypothese einen Test verdient, und übergibt diese decisioning an Optimizely als Flag-Targeting, während es den Rest der Basis direkt in anderen Kanälen bearbeitet.

Wie erreicht die Entscheidung Optimizely?

Als flag targeting Regeln oder Zielgruppenkriterien für ein flag, damit ein bestehendes Experiment es aufgreifen kann. Die Integrationsfläche ist dieselbe, die dein Team bereits für jedes andere upstream Signal verwendet.

Ist das ständige Durchführen von Experimenten nicht dasselbe wie decisioning?

Nein. Experimentation testet ein paar Hypothesen im menschlichen Tempo auf den von dir markierten Flächen. Kontinuierliche decisioning wirkt auf jeden Kunden, in jedem Zyklus, standardmäßig mit einer control group, einschließlich Kunden, die kein Experiment erreicht. Experimente beweisen, was funktioniert; decisioning entscheidet, wer es bekommt und wer gehalten wird.

Wer ist Eigentümer des Outputs, Produkt oder Wachstum?

Beides. Produkt und Engineering besitzen die Experimente und die Flags; growth und data science besitzen die Umsatz-Entscheidung. Die decision layer ist der gemeinsame Vertrag zwischen ihnen.

Wie sehen die ersten neunzig Tage aus?

Ein Umsatzthema, ein Kanal, ein echtes holdout. Der Sinn des ersten Quartals ist eine verteidigbare inkrementelle Zahl, nicht die vollständige Abdeckung des experiment-Backlogs.

Wie unterscheidet sich Markin vom decisioning oder der KI, die bereits in Optimizely enthalten ist?

Eine decisioning-Engine ordnet Aktionen ein, die ein Mensch bereits definiert hat, innerhalb der vorgegebenen Kampagnenoberfläche. Markin bildet die Hypothesen selbst, sei es marketing, product, pricing oder eine technische Anomalie, die growth zurückhält, bewertet diese, führt sie innerhalb Optimizely und deiner Produktoberflächen aus und liest jede einzelne gegen einen randomisierten holdout aus. Es verhält sich wie ein data science- und growth-Team, nicht wie ein Optimierer.

Testet Markin nur Nachrichten und Angebote?

Nein. Alles, was ein menschlicher growth scientist untersuchen würde, ist im scope enthalten: onboarding-Reibung, Feature adoption, pricing und packaging, Dunning und technische Gesundheitsprobleme wie eine Checkout error rate oder ein fehlerhafter Deeplink, der stillschweigend die Konversion tötet. Marketing ist eine von vier Hypothese-Domänen, nicht die Grenze.

Was ist the business case for adding Markin on top of Optimizely?

On the assumptions preloaded above, 3.0M customers at 22 a month, Eine kleine Bewegung im ARPU ist absolut gesehen eine große Zahl, da sie jeden Monat auf die gesamte installierte Basis angewendet wird und nicht nur auf eine Kampagne. Bei Markin-Implementierungen liegt der verifizierte Bereich auf behandelten Kohorten bei +17 % bis +35 % ARPU gegenüber einem randomisierten holdout. Es geht nicht um mehr Nachrichten: Es geht darum, die wertvollste Aktion pro Kunde zu finden, sie zu starten und sie vor der Skalierung gegenüber der Kontrolle zu beweisen.

Wie lange dauert es, bis es sich amortisiert?

Erste bewertete Umsatzchancen sind innerhalb von sechs Wochen im Test und das erste durch holdout verifizierte Ergebnis liegt innerhalb von 90 Tagen vor. Die Amortisation hängt von deiner Basis, Marge und den Programmkosten ab. Der Rechner auf dieser Seite berechnet sie anhand deiner eigenen Zahlen, nachdem der von BCG festgestellte Abzug von 20 % bis 40 % angewendet wurde, wenn Next Best Action Programme inkrementell getestet werden.