Der Markin ROI Report für Enterprise Growth TeamsJetzt lesen
MARKIN

RESOURCES/Leitfaden

Wie man eine Decisioning Platform bewertet

Die Bewertung einer decisioning-Plattform läuft auf vier Dinge hinaus: Wer verfasst die Kandidatenaktionen, welches Ziel optimiert das Ranking, ob das System ohne menschlichen Build-Schritt ausführen kann und ob jede Entscheidung eine control group beinhaltet. Ein Produkt, das bei einem der vier Punkte versagt, ist eine Rules Engine mit angehängtem Modell.

Román Via-Dufresne, Mitgründer, Markin

Aktualisiert 4 August 2026 · 11 Min. Lesezeit

Demo buchen

Warum Demos ein schlechtes Bewertungsinstrument sind

Jede decisioning-Demo sieht gleich aus: ein Kundenprofil, eine geordnete Liste, eine zuversichtliche Zahl neben jeder Zeile. Die wichtigen Unterschiede sind auf diesem Bildschirm nicht sichtbar. Sie zeigen sich nach drei Monaten, wenn jemand fragt, woher die Kandidatenaktionen kamen, warum der Gewinner derjenige mit der höchsten Klickwahrscheinlichkeit war und wer die control group hält.

  • Eine gerankte Liste beweist nichts darüber, wie die Liste zusammengestellt wurde.
  • Engagement-Ziele sehen in einer Demo ausgezeichnet aus und über-kontaktieren Personen, die sowieso konvertiert hätten.
  • 'Echtzeit' beschreibt normalerweise die API, nicht die Entscheidung.
  • Uplift auf der Folie wird fast immer zugeschrieben, nicht gegen einen holdout gemessen.

Zwölf Fragen und die Antworten, die dich beunruhigen sollten

Frage diese in der folgenden Reihenfolge. Die ersten vier sind disqualifizierend; der Rest sind Kompromisse, mit denen du leben kannst, sobald du sie kennst.

FrageDie Antwort, die dir Sorgen bereiten sollteWie gute Ergebnisse aussehen
Wer schreibt die Candidate actions?Dein Team konfiguriert sie in der Benutzeroberfläche.Das System schlägt Aktionen vor, an die du nicht gedacht hast, und kann die Beweise hinter jeder einzelnen erklären.
Was optimiert das Ranking?Propensity zum Öffnen, Klicken oder Konvertieren.Erwarteter inkrementeller Umsatz, netto nach Marge, Kontaktkosten und Ermüdung.
Kann es sich entscheiden, nichts zu tun?hold ist eine Unterdrückungsregel, die du konfigurierst.Halten ist ein erstklassiger Candidate, der routinemäßig nach Erwartungswert gewinnt.
Wer führt die erfolgreiche Aktion ein?Es exportiert eine Empfehlung; dein Team erstellt sie.Die Plattform wird innerhalb der Systeme ausgeführt, die du bereits betreibst, ohne eine Build-Warteschlange.
Wo befindet sich die control group?„Du kannst pro Kampagne eine einrichten.“Zufälliger holdout standardmäßig an jede Entscheidung angehängt, nicht pro Kampagne.
Was ist über Messaging hinaus im Fokus?Nachricht, Angebot, Kanal, Zeitpunkt.Preisgestaltung, Paketierung, Onboarding, In-Produkt-Oberflächen und auch technische Anomalien.
Wie viele Hypothesen können parallel laufen?Eine Anzahl, begrenzt durch Seats oder Kampagnen-Slots.Begrenzt durch die Basis und durch statistische Power, nicht durch menschliche Kapazität.
Was passiert mit einem nicht erfolgreichen Programm?Es erscheint in einer vierteljährlichen Überprüfung.Es wird automatisch zurückgezogen, wenn es den Control nicht übertrifft.
Wie wird der Uplift ausgewiesen?Dem Journey zugeschriebene Konversionen.Inkrementeller Umsatz gegenüber einer randomisierten holdout-Gruppe, über ein volles Fenster hinweg.
Welche Daten muss es besitzen?Eine vollständige Migration in ihren Profil-Store.Es liest dein Warehouse oder CDP und besitzt nur das Entscheidungslogbuch.
Wie werden Leitplanken ausgedrückt?Nur Frequenzobergrenzen.Margenuntergrenzen, Kontaktökonomie, Marken- und rechtliche Einschränkungen, Eignung pro Segment.
Was beweist der Pilot?Engagement-Metriken für ein handverlesenes Segment.Eine durch holdout verifizierte Umsatz-Zahl in einem von dir gewählten Segment.

Zwei Dinge, die unabhängig überprüft werden müssen

  • Frage nach der inkrementalitätsgetesteten Zahl statt nach der gemeldeten. BCG stellt fest, dass 20 % bis 40 % des gemessenen next-best-action uplift verschwinden, sobald eine randomisierte Kontrolle angewendet wird, sodass die beiden Zahlen nicht austauschbar sind.

    Unabhängige ForschungBCG, Inkrementalität in Personalisierungsprogrammen (2026)
  • Prüfe, wer jede dir gezeigte Performance-Studie finanziert hat. Die quantifizierte wirtschaftliche Wirkungsforschung, die für BrazeAI Decisioning Studio veröffentlicht wurde, ist beispielsweise eine Total Economic Impact-Studie, die von Forrester Consulting durchgeführt und von Braze in Auftrag gegeben wurde, was eine andere Evidenzklasse darstellt als unabhängige Analystenforschung.

    Vendor-commissionedForrester TEI, in Auftrag gegeben von Braze (Mai 2026)

Was im Pilotvertrag zu fordern ist

Ein Pilot, der nicht scheitern kann, ist kein Pilot. Schreibe zuerst die Fehlerbedingung auf.

  • Du wählst das Segment, nicht der Anbieter.
  • Ein randomisierter holdout in einer Größe, die du im Voraus vereinbarst und der für das gesamte Messfenster beibehalten wird.
  • Eine primäre Kennzahl, vor Beginn des Piloten festgelegt, ausgedrückt in Umsatz statt Engagement.
  • Eine festgelegte Abbruchregel und eine festgelegte Fehlerbedingung, beide vor dem Start schriftlich festgehalten.
  • Zugang zum Entscheidungslog: Für jeden Kunden, warum diese Aktion, was sie wert war, was geschah.
  • Keine Migration als Voraussetzung. Wenn der Pilotversuch erfordert, dass du deine Daten zuerst verschiebst, ist es kein Pilotversuch.

Gründe, sich komplett von der Kategorie zu verabschieden

  • Deine Ergebnisdaten sind unzuverlässig oder stark verzögert. Behebe die Messung, bevor du decisioning kaufst.
  • Deine Einschränkung ist die Lieferkapazität, nicht die Entscheidungsqualität. Kaufe stattdessen Ausführungskapazität.
  • Du kannst aus organisatorischen Gründen keinen randomisierten holdout erhalten. Ohne diesen wirst du nie wissen, ob es funktioniert hat.
  • Der kommerzielle Fall basiert auf einer kleinen Basis. Unter etwa 100.000 aktiven Kunden rechtfertigt die Rechnung das Programm selten.

Markin ist ein autonomes Growth-Science-Team für große B2C-Unternehmen. Es untersucht, warum der Umsatz pro Kunde stagniert, bildet eigene Hypothesen zu Marketing, Produkt, Preisgestaltung und technischer Gesundheit, wählt die Next Best Action für jeden Kunden, startet diese über die bereits im Unternehmen vorhandenen Systeme und beweist jede einzelne anhand eines randomisierten holdout.

Decisioning-Tools wählen zwischen den Aktionen, die dein Team bereits erstellt hat. Markin entscheidet, was erstellt werden soll.

Fragen, die Leute stellen

Was ist die wichtigste Frage, die man einem Anbieter von Entscheidungsfindungssystemen stellen sollte?
Wer die Kandidatenaktionen schreibt. Wenn die ehrliche Antwort ist, dass dein Team sie konfiguriert und das System sie nur einstuft, ist die Grenze des Produkts die Vorstellungskraft und Kapazität deines Teams. Alles andere, Modelle, Echtzeit-APIs, Kanalabdeckung, ist dieser Grenze nachgelagert.
Wie viel sollte ein Entscheidungs-Pilot kosten?
Die wichtige Zahl ist nicht die Gebühr, sondern das Verhältnis zwischen der Gebühr und der inkrementellen Marge, die der Pilot erzielen muss, um sich zu rechtfertigen. Notiere diesen Schwellenwert, bevor der Pilot beginnt, und drücke ihn in inkrementellem Umsatz gegen einen holdout aus, nicht in Engagement-Metriken.
Sollten wir das intern entwickeln?
Die Rangfolge zu erstellen ist der einfache Teil, und die meisten guten data science-Teams können das. Die Teile, die Jahre in Anspruch nehmen, sind die Aktivierung in jedem Kanal, das Guardrail-Management, das automatisierte Experiment-Design und die Auswertung sowie der reibungslose Betrieb, wenn sich das Schema ändert. Bewerte den Aufbau anhand dieser Punkte, nicht anhand des Modells.
Benötigen wir eine CDP, bevor wir Decisioning kaufen?
Nein. Eine decision layer benötigt Zugang zu einem zuverlässigen Kundenkontext, der aus einem Data Warehouse, einer CDP oder einer Mischung stammen kann. Eine CDP zuerst zu verlangen, ist eine Sequenzierungspräferenz, keine technische Abhängigkeit, und verzögert den Umsatzfall in den meisten Organisationen um ein Jahr.