RESOURCES/Methodik
Wie Markin die Inkrementalität misst
Markin misst die Inkrementalität mit einem randomisierten holdout, der an jede Entscheidung geknüpft ist, über ein vollständiges Messfenster hinweg gegen eine vorab definierte primäre Metrik gelesen. Ein Ergebnis, das seine Kontrolle nicht übertroffen hat, wird nicht skaliert. Gemeldeter Uplift, zugeschriebene Conversions und Post-hoc-Vergleiche werden in keiner Phase als Beweis akzeptiert.
Warum Attribuierung keine Messung ist
Attributed reporting beantwortet eine Frage, die niemanden interessieren sollte: Wie viele der konvertierten Nutzer haben dieses Programm zuerst kontaktiert? Es zählt Kunden, die ohnehin konvertiert wären, und schreibt sie dem Programm zu, das sie erreicht hat. Deshalb verschwinden Programme, die jahrelang hervorragend aussahen, oft, wenn endlich jemand eine control group einsetzt.
- Attribution misst die Korrelation mit einem Ergebnis, nicht das verursachte Ergebnis.
- Die Kunden, die am wahrscheinlichsten konvertieren, sind auch am einfachsten zu erreichen, was jede zugeschriebene Zahl nach oben verzerrt.
- Jemanden zu kontaktieren, der ohnehin gekauft hätte, hat echte Kosten, die Attributionsberichte als Gewinn verbuchen.
Das Design, Schritt für Schritt
01
Vor der Entscheidung beim Kunden randomisieren
Die Zuweisung erfolgt, bevor Markin eine Aktion auswählt, nicht danach. Eine Zuweisung nach der decision lässt die decision in die control group einfließen und zerstört stillschweigend den Vergleich.
02
Halte einen stabilen Anteil der berechtigten Population im hold out
Der holdout wird aus den Kunden gezogen, die für die Entscheidung berechtigt waren, nicht aus der gesamten Basis. Der Vergleich behandelter Kunden mit der gesamten Basis vergleicht zwei unterschiedliche Populationen und erzeugt eine Zahl, die immer schmeichelhaft ist.
03
Primäre Metrik vor dem Start deklarieren
Eine primäre Kennzahl, in Umsatz ausgedrückt, festgelegt bevor Daten vorliegen. Sekundäre Kennzahlen werden erfasst, können aber nachträglich nicht zur primären Kennzahl befördert werden.
04
Über ein vollständiges Messfenster lesen
Das Zeitfenster wird durch den betroffenen Geschäftszyklus bestimmt, nicht durch Ungeduld. Ein Abonnement-Upsell, der nach sieben Tagen gelesen wird, misst die Neuheit. Ihn über einen Abrechnungszyklus hinweg zu lesen, misst die Wirkung.
05
Die Abbruchregel anwenden
Abbruchregeln werden im Voraus festgelegt. Das "Spicken" bei einem laufenden Test und das Anhalten, sobald die Ergebnisse gut aussehen, erzeugt eine künstliche Signifikanz. Dies ist der häufigste Weg, wie eine gute Messpraxis unbemerkt zu einer schlechten wird.
06
Skalieren oder einstellen
Ein Ergebnis, das die Kontrolle über das gesamte Fenster hinweg übertrifft, skaliert auf den Rest der berechtigten Population. Ein Ergebnis, das dies nicht tut, wird zurückgezogen. Es gibt kein drittes Ergebnis, bei dem ein Programm weiterläuft, während jemand darüber nachdenkt.
Was als Nachweis zählt und was nicht
| Evidenz | Akzeptiert | Warum |
|---|---|---|
| Zufälliger holdout, vollständiges Fenster, vordefinierte Metrik | Ja | Misst die durch die Entscheidung verursachte Wirkung. |
| Vorher-/Nachher-Vergleich derselben Kohorte | No | Die Entscheidung kann nicht von Saisonalität oder anderen Änderungen getrennt werden. |
| Behandelte Gruppe gegenüber dem nicht exponierten Rest der Basis | No | Unterschiedliche Populationen. Allein die Selektion führt zu einem positiven Ergebnis. |
| Attribuierte Conversions von der Auslieferungsplattform | No | Zählt Kunden, die sowieso konvertiert hätten. |
| Modell-prädizierter Uplift | No | Eine Prognose, keine Messung. Nützlich für das Ranking, niemals für das Reporting. |
| holdout wurde vorzeitig beendet, weil das Ergebnis gut aussah | No | Optionales Stoppen bläht die Effektgröße auf. |
Warum es den Abzug gibt
BCG stellt fest, dass bei Inkrementalitätstests von Next Best Action-Programmen 20% bis 40% des gemessenen Uplifts nicht überleben. Markin wendet diesen Abschlag auf Projektionen an, bevor sie gezeigt werden, anstatt nachdem ein Kunde ihn entdeckt.
Unabhängige ForschungBCG, Inkrementalität in Personalisierungsprogrammen (2026)
Überprüfe eines deiner eigenen Programme
Wähle das Programm mit den am besten aussehenden Zahlen. Dort liegt meist die Überraschung.
- Wurde eine control group vor dem ersten Versand definiert oder nachträglich rekonstruiert?
- Wurde die Kontrollgruppe aus berechtigten Kunden oder aus allen anderen gezogen?
- Wurde die primäre Metrik vor dem Start schriftlich festgehalten?
- Wurde das berichtete Zeitfenster im Voraus festgelegt oder erst, als die Daten vorlagen?
- Wurde der Test zu einem vorab vereinbarten Zeitpunkt beendet?
- Wenn du zugeschriebene Conversions entfernen und nur den holdout-Vergleich verwenden würdest, würde sich das Programm immer noch selbst tragen?
Wo holdouts das falsche Instrument sind
- Gesetzlich oder vertraglich vorgeschriebene Mitteilungen. Du kannst sie nicht zurückhalten, daher gibt es keine control group zum Zurückhalten.
- Effekte, die sich über Kunden hinweg ausbreiten, wie Empfehlungs- oder Netzwerkmechanismen, bei denen die control group durch die Behandlung kontaminiert wird.
- Sehr kleine berechtigte Populationen, bei denen der Test niemals ausreichend Power erreichen würde und die ehrliche Antwort ist, nach Ermessen zu entscheiden.
- Einmalige strukturelle Änderungen ohne wiederholbare Einheit, die in eine Vorher-/Nachher-Analyse mit allen genannten Einschränkungen gehören.
Markin ist ein autonomes Growth-Science-Team für große B2C-Unternehmen. Es untersucht, warum der Umsatz pro Kunde stagniert, bildet eigene Hypothesen zu Marketing, Produkt, Preisgestaltung und technischer Gesundheit, wählt die Next Best Action für jeden Kunden, startet diese über die bereits im Unternehmen vorhandenen Systeme und beweist jede einzelne anhand eines randomisierten holdout.
Decisioning-Tools wählen zwischen den Aktionen, die dein Team bereits erstellt hat. Markin entscheidet, was erstellt werden soll.
Fragen, die Leute stellen
- Wie groß sollte ein holdout sein?
- Groß genug, um den kleinsten Effekt zu erkennen, der deine Entscheidung ändern würde, und zwar auf dem Signifikanzniveau, auf dem du bereit bist, zu handeln. Für große B2C-Basen ist das üblicherweise ein einstelliger Prozentsatz der qualifizierten Population, was günstig ist. Der richtige Weg, sie zu wählen, ist eine Power-Berechnung des minimal nachweisbaren Effekts, niemals eine gerundete Zahl, die sich sicher anfühlt.
- Wie lang sollte ein Messzeitraum sein?
- So lange wie der Geschäftszyklus, den die Entscheidung beeinflusst. Für ein Monatsabonnement bedeutet das mindestens einen vollen Abrechnungszyklus, normalerweise zwei, damit ein vorgezogener Kauf nicht als inkrementeller gezählt wird. Die Messung eines Umsatz-Effekts nach sieben Tagen misst Neuheit.
- Was ist der Unterschied zwischen Uplift und inkrementellem Umsatz?
- uplift ist in der Regel der Unterschied zwischen behandelten Kunden und allen anderen, der durch Selektion verfälscht wird. inkrementeller Umsatz ist der Unterschied zwischen einer randomisierten behandelten Gruppe und einer randomisierten Kontrollgruppe, die aus derselben berechtigten Population stammt. Nur Letzteres stützt einen business case.
- Kannst du die inkrementelle Wirkung ohne holdout messen?
- Manchmal, mit quasi-experimentellen Methoden wie geografischen Splits, Switchback-Designs oder synthetischen Kontrollen. Diese sind legitim, wenn Randomisierung unmöglich ist, und jede von ihnen basiert auf Annahmen, die ein holdout nicht benötigt. Verwende sie als Notlösung, gib die Annahmen an und präsentiere das Ergebnis nicht als gleichwertig.
Vergleichen
Wie sich dies im Vergleich zu den Kategorien verhält, die du bereits kaufst.
Neutral, side by side reads on where the decision layer sits next to the tools in your stack.
Alle Vergleiche- Kunden 360 vs. ein EntscheidungssystemEin Customer 360 zeigt alles, was du über einen Kunden weißt. Ein decisioning-System verwandelt das in eine rangierte kommerzielle Aktion. Wo die Sichtbarkeit aufhört sich auszuzahlen.
- Personalization vs. revenue decisioningPersonalisierung schneidert das Erlebnis zu. Revenue decisioning wählt aus, welches kommerzielle Outcome verfolgt werden soll und beweist es in Euro. Wie sich die beiden in der Praxis unterscheiden.
- Bindungsanalysen vs. Retention decisioningBindungsanalysen erklären Kohorten und Abwanderungstreiber. Retention decisioning wählt Interventionen aus und weist die beibehaltene Marge nach. Wo die Übergabe stattfindet.