Experimente vs. kontinuierliche Entscheidungsfindung

Bedeutet kontinuierliches Decisioning nur, ständig A/B-Tests durchzuführen?

Nein. Das kontinuierliche Ausführen von Tests prüft immer noch einige Hypothesen im menschlichen Tempo auf markierten Oberflächen. Kontinuierliche decisioning wirkt auf jeden Kunden, in jedem Zyklus, standardmäßig mit einer control group, einschließlich Kunden, die kein Experiment erreicht. Experimente beweisen, was funktioniert; decisioning entscheidet, wer es bekommt und wer gehalten wird.

Widersprechen sich Experimente und Entscheidungsfindung?

Nein. Sie ergänzen sich. Experimentation beweist, welche Behandlungen wirken; decisioning verwendet diese Ergebnisse als Input, entscheidet, wer die bewährte Behandlung erhält, und hält den Rest gegen eine control group. Learning und acting teilen eine Aufzeichnung.

Was ist mit Multi-Armed Bandits, entscheiden sie nicht?

Bandits verteilen den Traffic innerhalb eines Experiment zwischen Variationen, um die Belohnung während des Tests zu maximieren. Sie optimieren den Test, den du bereits geschrieben hast; sie entscheiden nicht, welche Umsatzchance es wert ist, getestet zu werden, handeln nicht mit Kunden außerhalb der markierten Fläche oder halten an, wenn keine Aktion einen positiven Wert hat.

Wie unterscheidet sich Markin vom decisioning oder der KI, die bereits in experimentation platform enthalten ist?

Eine decisioning-Engine ordnet Aktionen ein, die ein Mensch bereits definiert hat, innerhalb der vorgegebenen Kampagnenoberfläche. Markin bildet die Hypothesen selbst, sei es marketing, product, pricing oder eine technische Anomalie, die growth zurückhält, bewertet diese, führt sie innerhalb experimentation platform und deiner Produktoberflächen aus und liest jede einzelne gegen einen randomisierten holdout aus. Es verhält sich wie ein data science- und growth-Team, nicht wie ein Optimierer.

Testet Markin nur Nachrichten und Angebote?

Nein. Alles, was ein menschlicher growth scientist untersuchen würde, ist im scope enthalten: onboarding-Reibung, Feature adoption, pricing und packaging, Dunning und technische Gesundheitsprobleme wie eine Checkout error rate oder ein fehlerhafter Deeplink, der stillschweigend die Konversion tötet. Marketing ist eine von vier Hypothese-Domänen, nicht die Grenze.

Was ist the business case for adding Markin on top of experimentation platform?

On the assumptions preloaded above, 3.0M customers at 20 a month, Eine kleine Bewegung im ARPU ist absolut gesehen eine große Zahl, da sie jeden Monat auf die gesamte installierte Basis angewendet wird und nicht nur auf eine Kampagne. Bei Markin-Implementierungen liegt der verifizierte Bereich auf behandelten Kohorten bei +17 % bis +35 % ARPU gegenüber einem randomisierten holdout. Es geht nicht um mehr Nachrichten: Es geht darum, die wertvollste Aktion pro Kunde zu finden, sie zu starten und sie vor der Skalierung gegenüber der Kontrolle zu beweisen.

Wie lange dauert es, bis es sich amortisiert?

Erste bewertete Umsatzchancen sind innerhalb von sechs Wochen im Test und das erste durch holdout verifizierte Ergebnis liegt innerhalb von 90 Tagen vor. Die Amortisation hängt von deiner Basis, Marge und den Programmkosten ab. Der Rechner auf dieser Seite berechnet sie anhand deiner eigenen Zahlen, nachdem der von BCG festgestellte Abzug von 20 % bis 40 % angewendet wurde, wenn Next Best Action Programme inkrementell getestet werden.