Entwurf eines holdout, der tatsächlich ARPU uplift erkennen kann
Die meisten ARPU Experimente sind nicht ergebnislos. Sie waren am Tag ihrer Konzeption zu wenig gepowert, und niemand hat dies berechnet.
4.6%
Eine Kundenbasis von 200.000 mit einem 10 % holdout kann keinen ARPU uplift unter 4,6 % zuverlässig erkennen. Die meisten Programme zielen auf 2 % ab.
Wichtige Erkenntnisse
- 01Revenue ist heavy-tailed, daher unterschätzen die Regeln zur Stichprobengröße für die Conversion-Rate, was ein ARPU Experiment benötigt, meist um ein Vielfaches.
- 02Bei einem CV von 2,2 erfordert die Erkennung eines 2 % ARPU uplift mit 80 % power grob eine Million Kunden mit einem 10 % holdout. Bei 200.000 liegt die Untergrenze bei 4,6 %.
- 03Zwanzig Zwischenkontrollen verwandeln eine nominale 5 %ige Falsch-Positiv-Rate in 26,8 %. Wöchentliches Schielen ist die schädlichste Gewohnheit bei der growth-Messung.
- 04holdout-Erträge flachen über 20 % ab: Von 10 % auf 20 % zu gehen, verbessert den MDE um einen halben Punkt, und auf 50 % zu gehen, bringt fast nichts.
- 05CUPED ist die günstigste Power, die du kaufen kannst. Bei einer Korrelation vor der Periode von 0,7 verdoppelt sich die effektive Stichprobe ungefähr, ohne dass zusätzliche Kunden benötigt werden.
- 06Miss deinen eigenen CV, bevor du etwas entwirfst. Er beeinflusst die Antwort stärker als jede andere Eingabe auf dieser Seite.
Romà Llambés · CEO, Markin · Geprüft 2026-09-10 · Jeder Bericht wird zweimal jährlich überprüft und außerhalb des Zyklus neu erstellt, wenn sich eine Quelle ändert, auf der er basiert. · Methode und Quellen
Die Frage
Wie groß muss ein holdout sein, bevor er den von dir erhofften ARPU uplift tatsächlich erkennen kann?
Revenue ist heavy-tailed, daher ist die Stichprobengröße, die dir ein Conversion-Rate-Rechner angibt, um ein Vielfaches falsch. Bei einem Variationskoeffizienten von 2,2 erfordert die Detektion eines 2%igen ARPU uplift bei 80% Power ungefähr eine Million Kunden mit einem 10%igen holdout. Bei 200.000 beträgt der minimum detectable effect 4,6%, und ein tatsächlicher 2%iger uplift wird nur etwa ein Viertel der Zeit gefunden.
- Stichprobe
- Keine Kundendaten. Zwei Komponenten: eine geschlossene power-Berechnung für die Differenz der Arm-Mittelwerte und eine Monte-Carlo-Simulation des simulierten Umsatzes, 2.000 Replikationen pro Zelle, 800 für die Peeking-Tabelle und 200 für die CUPED-Tabelle. Der Umsatz pro Kunde wird aus einer Null-inflated Lognormalverteilung gezogen, 35% Null-Ausgaben, kalibriert auf einen Mittelwert von 12 Währungseinheiten und auf Variationskoeffizienten von 1,4, 2,2 und 3,5. Das Raster deckt Basisgrößen von 50.000 bis 5.000.000 und holdout-Anteile von 2% bis 50% ab.
- Periode
- Simulation durchgeführt am 14. September 2026, seed 20260914. Die Arithmetik ist zeitunabhängig; der plausible CV-Bereich ist der Teil, der altert.
- Geprüft
- 2026-09-10Zweimal jährlich überprüft
- 4.6%
- Bei einem coefficient of variation von 2,2 hat eine Basis von 200.000 Kunden mit einem 10 % holdout einen Minimum Detectable Effect von 4,6 %. Ein echter uplift von 2 % wird in 25,1 % der Fälle gefunden.
- 26.8%
- Zwanzig Zwischenkontrollen erhöhen die Falsch-Positiv-Rate von 4,9 % auf 26,8 % bei einer wahren Null. Vier Kontrollen führen bereits zu 13,6 %.
- 2.05%
- holdout-Erträge flachen schnell ab. Bei einer Basis von einer Million Kunden mit einem CV von 2,2 verbessert die Umstellung von 2 % auf 10 % holdout den MDE von 4,40 % auf 2,05 %; die Umstellung von 20 % auf 50 % verbessert ihn nur von 1,54 % auf 1,23 %.
Ergebnisse
Was wir herausgefunden haben
- 014.6%In diesem Bericht abgeleitet
Bei einem coefficient of variation von 2,2 hat eine Basis von 200.000 Kunden mit einem 10 % holdout einen Minimum Detectable Effect von 4,6 %. Ein echter uplift von 2 % wird in 25,1 % der Fälle gefunden.
Das ist das zentrale Ergebnis und es ist unangenehm, denn 2 % bis 3 % ist genau der Bereich, auf den die meisten next best action-Programme abzielen, und 200.000 Kunden fühlen sich wie eine große Basis an. Das design ist nicht marginal, es ist um einen Faktor von fünf zu kurz: ein 2 %iger uplift benötigt grob eine Million Kunden bei gleichem CV und holdout-Anteil. Teams lesen einen p-Wert von 0,4 als Beweis, dass das Programm nichts bewirkt hat, dabei ist es ein Beweis, dass das Experiment nichts hätte sehen können.
Mach dasBerechne den MDE vor dem Launch, nicht den p-Wert danach. Wenn der erwartete uplift unter dem MDE liegt, gestalte das Experiment neu oder fasse das Zeitfenster zusammen, anstatt es durchzuführen.
- 0226.8%In diesem Bericht abgeleitet
Zwanzig Zwischenkontrollen erhöhen die Falsch-Positiv-Rate von 4,9 % auf 26,8 % bei einer wahren Null. Vier Kontrollen führen bereits zu 13,6 %.
Simuliert durch die Durchführung desselben Null-Experiments mit gleichmäßig verteilten Zwischenanalysen und dem Stoppen beim ersten p unter 0,05. Der Schaden beginnt sofort: zwei Looks kosten 7,5 %, vier kosten 13,6 %. In einer Dashboard-Kultur, in der jeder das Experiment täglich öffnen kann, ist die effektive Anzahl der Looks keine Designentscheidung, die jemand getroffen hat. Die Abhilfemaßnahmen sind etabliert: ein einziger vorregistrierter Read, eine Alpha-Spending-Grenze oder eine always-valid confidence sequence, und alle erfordern eine Entscheidung vor dem Launch.
Mach dasSchreibe das Lesedatum in den Experiment-Brief und halte es entweder ein oder wechsle zu einem sequentiellen Verfahren. Lasse keine aktive Signifikanzzahl auf einem Dashboard.
- 032.05%In diesem Bericht abgeleitet
holdout-Erträge flachen schnell ab. Bei einer Basis von einer Million Kunden mit einem CV von 2,2 verbessert die Umstellung von 2 % auf 10 % holdout den MDE von 4,40 % auf 2,05 %; die Umstellung von 20 % auf 50 % verbessert ihn nur von 1,54 % auf 1,23 %.
Die Präzision kommt vom kleineren Arm, daher ist das Aushungern der Kontrolle die teuerste verfügbare Ersparnis. Die Kosten des holdout sind auch geringer, als es sich anfühlt: Bei 12 USD ARPU, 70 % Marge und einem uplift von 3 % entgehen bei einem 10 % holdout von einer Million Kunden ungefähr 75.600 USD Marge über drei Monate, verglichen mit den Kosten der Skalierung eines Programms, das über die gesamte Basis hinweg nichts bewirkt. Zehn Prozent ist der richtige Standardwert, zwanzig, wo die Basis es zulässt, und unter fünf nur, wenn die Basis sehr groß ist.
Mach dasStandardmäßig 10 % holdout. Bepreise es explizit mit der Formel im Modellblock, damit die Diskussion über eine Zahl und nicht über das Prinzip geführt wird.
- 041.96xIn diesem Bericht abgeleitet
CUPED bietet mehr Power als jede Stichprobenvergrößerung, die den meisten Teams zur Verfügung steht: Bei einer Korrelation vor der Periode von 0,7 verdoppelt sich die effektive Stichprobe ungefähr.
Simulierte Varianzverhältnisse folgen 1 / (1 - rho^2) genau: 1,10x bei rho 0,3, 1,33x bei 0,5, 1,96x bei 0,7 und 5,29x bei 0,9. Subscription-Unternehmen mit stabilem monatlichem Revenue befinden sich am oberen Ende, was genau der Bereich ist, in dem das ARPU-Messproblem sonst am schwierigsten ist. Es entfernt Varianz, nicht bias, daher ist es auf eine Weise sicher, wie outlier trimming es nicht ist.
Mach dasBerechne die Korrelation zwischen dem Umsatz pro Kunde in der Vorperiode und in der Periode. Liegt sie über 0,5, wende CUPED an, bevor du dem Experiment einen einzigen Kunden hinzufügst.
- 054.5%In diesem Bericht abgeleitet
Die falsch-positive Rate des naiven Tests bei heavy-tailed Umsatz beträgt 4,5 % gegenüber nominellen 5 %. Die Verteilung ist nicht das Problem.
Es ist wichtig, es klar zu sagen, denn die übliche Reaktion auf schiefen Umsatz ist, einen Rangtest oder eine logarithmische Transformation zu verwenden, die beide das Schätzmaß vom mittleren Umsatz zu etwas ändern, das ein Finanzteam nicht nutzen kann. Bei diesen Basisgrößen erfüllt der zentrale Grenzwertsatz seinen Zweck bei den Arm-Mitteln. Das Problem bei Umsatz Experimenten ist die Power und die Abbruchregeln, nicht die Validität.
Mach dasTeste weiterhin den Mittelwert, der die Größe ist, die das Unternehmen interessiert. Konzentriere dich stattdessen auf Stichprobengröße, holdout-Anteil und Abbruchregeln.
Diagramme und Tabellen
Die Daten
- 50,0009.19%
- 200,0004.59%
- 1,000,0002.05%
- 5,000,0000.92%
Der hervorgehobene Balken ist die Basisgröße, bei der die meisten Teams glauben, ein gut ausgestattetes Umsatz-Experiment durchzuführen.
| Basisgröße | CV 1.4 | CV 2.2 | CV 3.5 |
|---|---|---|---|
| 50,000 | 5.85% | 9.19% | 14.62% |
| 200,000 | 2.92% | 4.59% | 7.31% |
| 1,000,000 | 1.31% | 2.05% | 3.27% |
| 5,000,000 | 0.58% | 0.92% | 1.46% |
| holdout Anteil | Minimaler erkennbarer Effekt | Verzichtene Marge über das Zeitfenster |
|---|---|---|
| 2% | 4.40% | $15,120 |
| 5% | 2.83% | $37,800 |
| 10% | 2.05% | $75,600 |
| 20% | 1.54% | $151,200 |
| 50% | 1.23% | $378,000 |
| Wahrer uplift | Anteil der als signifikant deklarierten Durchläufe |
|---|---|
| 0 % (null) | 4.5% |
| 1% | 10.5% |
| 2% | 25.1% |
| 3% | 46.3% |
| 5% | 84.9% |
| Zwischenergebnisse | Falsch-positiv-Rate |
|---|---|
| 1 (einzelne Ablesung) | 4.9% |
| 2 | 7.5% |
| 4 | 13.6% |
| 8 | 16.1% |
| 20 (wöchentlich über fünf Monate) | 26.8% |
| Pre-Perioden-Korrelation | Varianzverhältnis | Effektiver Stichprobenmultiplikator |
|---|---|---|
| 0.3 | 0.909 | 1.10x |
| 0.5 | 0.750 | 1.33x |
| 0.7 | 0.510 | 1.96x |
| 0.9 | 0.189 | 5.29x |
Führe es mit deinen Zahlen aus
Was kann deine Basis tatsächlich erkennen?
Gib die Basismenge, den holdout Anteil und die gemessene CV ein. Alles läuft in deinem Browser und nichts wird irgendwohin gesendet.
Miss den Variationskoeffizienten auf deiner eigenen Basis: Standardabweichung des Umsatzes pro Kunde über ein Zeitfenster von der Länge des Experiments, einschließlich Kunden, die nichts ausgegeben haben, geteilt durch den Mittelwert.
Minimaler erkennbarer Effekt
4.59%
Der uplift, den du erwartest, liegt unter dem Bereich, den dieses Design sehen kann. Ein Nullergebnis würde dir nichts sagen, also überarbeite das Design, bevor du startest.
- Power beim von dir erwarteten lift
- 44.8%
- Behandelt
- 180,000
- Kontrolle
- 20,000
Zweiseitiges alpha 0,05, 80 % power. Geht von einer Ablesung zu einem festen Datum aus.
Implikationen
Was das für die Person bedeutet, die handeln muss
Growth lead
Füge den minimum detectable effect im Experiment-Brief neben dem erwarteten uplift ein. Wenn der erwartete uplift darunter liegt, ist das Experiment bereits entschieden, und die Durchführung führt nur zu einem false negative.
Analysen
Miss den Variationskoeffizienten des Umsatzes pro Kunde über dein tatsächliches Zeitfenster und die Korrelation mit der Vorperiode. Diese beiden Zahlen verändern das Experiment-Design stärker als jede dir zur Verfügung stehende Modellierungswahl.
Finance
Bewerte den holdout explizit, anstatt darüber zu streiten. Beim Referenzdesign sind es über ein Quartal etwa 75.600 USD Marge, gegenüber den Kosten für die Skalierung eines Programms, das über die gesamte Basis nichts bewirkt.
Executive Sponsor
Frage vor dem Launch nach dem Lese-Datum und weigere dich, vorher zu schauen. Zwanzig beiläufige Blicke verwandeln eine 5 %ige Fehlerrate in 27 %, und keine nachträgliche Analyse kann dies ungeschehen machen.
Methode
Definitionen, die die Antwort ändern
- Coefficient of variation (CV)
- Standardabweichung des Umsatzes pro Kunde über das Messfenster, geteilt durch dessen Mittelwert. Diese einzelne Zahl, nicht die Basisgröße, macht Umsatz-Experimente schwierig. Verbraucher-Abonnementbasen liegen nahe 1,4, wenn jeder einen ähnlichen Preis zahlt, und über 3, wo ein kleiner Teil der Kunden einen großen Teil des Umsatzes erwirtschaftet.
- Minimaler erkennbarer Effekt (MDE)
- Der kleinste relative ARPU uplift, den das design mit 80 % power bei einem zweiseitigen 5 %-Signifikanzniveau finden würde. Ein Ergebnis unter dem MDE ist kein Beweis für keinen Effekt; es ist ein Beweis dafür, dass das Experiment ihn nicht sehen konnte.
- Power
- Die Wahrscheinlichkeit, einen Gewinn zu deklarieren, wenn der uplift tatsächlich vorhanden ist. Eine Power unter 50 % bedeutet, dass ein Münzwurf entscheidet, ob ein echtes Programm seine eigene Messung überlebt.
- Peeking
- Wiederholtes Evaluieren der Signifikanz während das Experiment läuft und Stoppen beim ersten signifikanten Ergebnis. Es ist keine kleine Sünde: Es bläht die falsch-positiv-Rate weit über die nominalen 5 % auf.
- CUPED
- Controlled-Experiment Using Pre-Experiment Data. Subtrahiert den Teil des Umsatzes in der Periode, der durch den Umsatz desselben Kunden in der Vorperiode vorhergesagt wird. Es entfernt Varianz statt Bias, spart also Stichprobengröße kostenlos ein.
Schätzer
Das Modell, ausgeschrieben
Der relative uplift im durchschnittlichen Umsatz pro Kunde, behandelt gegenüber einer randomisierten Kontrollgruppe, über ein festgelegtes Zeitfenster: Delta = (Mittelwert_T - Mittelwert_C) / Mittelwert_C.
Teststatistik
t = (mean_T - mean_C) / sqrt(var_T/n_T + var_C/n_C)
Ein Welch-Zwei-Stichproben-Vergleich der Mittelwerte der Arms. Fast jedes growth Team verwendet diesen Schätzer, ob es ihn benennt oder nicht.
Minimaler erkennbarer Effekt
MDE = (z(1 - a/2) + z(1 - b)) x CV x sqrt(1/n_T + 1/n_C)
Bei einem zweiseitigen Niveau von 5 % und einer power von 80 % beträgt die führende Konstante 2,80. Der CV-Term ist der Grund, warum Umsatz-Experimente weitaus mehr Kunden benötigen als Konversions-Experimente.
Kosten des holdout
C = N x h x w x ARPU x m x delta
holdout Anteil h, Fenster w in Monaten, Marge m. Es ist nur ein Kostenfaktor, wenn das Programm tatsächlich funktioniert, was genau das ist, was der holdout herausfinden soll.
CUPED Anpassung
Y* = Y - theta x (X - mean(X)), var(Y*) = var(Y) x (1 - rho^2)
X ist der Pre-Period Umsatz für denselben Kunden, Theta der Koeffizient der kleinsten Quadrate. Die effektive Stichprobengröße multipliziert sich mit 1 / (1 - Rho^2).
Was halten muss
- Kunden werden einzeln und unabhängig voneinander randomisiert, und die Zuweisung gilt für das gesamte Fenster.
- Arm means sind nach dem zentralen Grenzwertsatz annähernd normalverteilt. Bei den hier vorhandenen Basisgrößen gilt dies auch für eine heavy-tailed individuelle Verteilung, was die simulierte false positive rate von 4,5 % gegenüber einem nominellen 5 % bestätigt.
- Die Behandlung betrifft nur behandelte Kunden. Keine Spillover durch gemeinsame Haushalte, Empfehlungen oder Mundpropaganda.
- Das Messfenster ist vor dem Start festgelegt und für beide Arme gleich.
Was es kaputtmacht
- Extreme Schiefe mit einem kleinen holdout. Eine Handvoll sehr großer Ausgeber, die in einem Arm landen, dominiert den Unterschied, und die Normalapproximation verschlechtert sich genau dann, wenn der Kontrollarm am kleinsten ist.
- Wiederholte Signifikanztests, was der Unterschied zwischen einer nominalen 5%igen Fehlerrate (false positive rate) und den 27% ist, die nach zwanzig Überprüfungen gemessen wurden.
- Korrelierte Kunden, was die effektive Stichprobe kleiner macht als die Kopfzahl und jede Zahl in diesem Bericht zu optimistisch darstellt.
- Revenue Ausreißer werden durch ad hoc trimming behandelt, nachdem das Ergebnis bekannt ist. Trimming Regeln gehören in die Vorabregistrierung.
Methode
Wie man das reproduziert
- 01
Führe scripts/research-holdout-sim.ts in diesem Repository aus. Seed 20260914. Jede Tabelle unten wird von diesem Skript gedruckt.
- 02
Miss zuerst deinen eigenen CV: Nimm den Umsatz pro Kunde über ein Zeitfenster von derselben Länge wie dein geplantes Experiment, einschließlich Kunden, die nichts ausgegeben haben, und teile die Standardabweichung durch den Mittelwert.
- 03
Berechne den MDE für deine Basis und den holdout-Anteil: MDE = (z(1 - alpha/2) + z(power)) x CV x sqrt(1/n_treated + 1/n_control).
- 04
Vergleiche diesen MDE mit dem uplift, den das Programm tatsächlich voraussichtlich erzielen wird. Liegt der erwartete uplift unter dem MDE, ist das Experiment bereits entschieden, und die Entscheidung ist, es neu zu gestalten, nicht es durchzuführen.
- 05
Lege das Auslesedatum vor dem Start fest und halte es schriftlich fest. Halte dich dann entweder an eine einzige Auslesung oder wende ein sequenzielles Verfahren an, das den Fehler über mehrere Ansichten hinweg kontrolliert.
Unsicherheit
Wie falsch jede Zahl sein könnte
Zwei Quellen. Power-Zahlen sind geschlossen und exakt bei gegebenem CV. Simulierte Zahlen enthalten Monte-Carlo-Fehler: bei 2,000 per cell (800 for the peeking table, 200 for CUPED) hat eine Rate nahe 5 % einen Standardfehler von etwa 0,5 Prozentpunkten und eine Rate nahe 50 % etwa 1,1 Punkte. Zahlen werden auf eine Dezimalstelle gerundet, weil dies die Replikationsanzahl unterstützt, nicht weil sie auf eine Dezimalstelle genau sind.
MDE von 4,6 % bei n = 200.000
Über CV-Werte von 1,4 bis 3,5. Die Messung deines eigenen CV ist daher mehr wert als jede andere Verfeinerung des Inputs.
2,9 % bis 7,3 %
Power von 46,3% bei einem echten 3% lift
Der geschlossene Wert beträgt 44,8 %, was innerhalb des Simulationsfehlers des simulierten Ergebnisses liegt. Dass die beiden Methoden übereinstimmen, ist der Sinn, beide auszuführen.
+/- 1,1 Punkte Monte-Carlo-Fehler
Falsch-positiv-Rate von 4,5 % unter der Nullhypothese
Statistisch nicht unterscheidbar von den nominellen 5 %. Heavy Tails durchbrechen den Test bei diesen Basisgrößen nicht; das Peeking tut es.
+/- 0,5 Punkte
CUPED effektiver Stichprobenmultiplikator
Folgt in der Simulation eng 1 / (1 - rho^2). Dein eigenes rho zu ermitteln, ist eine SQL-Arbeit von einem Nachmittag, und es entscheidet, ob CUPED eine Fußnote oder der größte verfügbare einzelne Gewinn ist.
1,1x bei Rho 0,3 bis 5,3x bei Rho 0,9
Robustheit
Was eine andere Annahme überlebt
Jede Zeile ändert eine Design- oder Modellierungsentscheidung und führt die Berechnung erneut mit dem Referenzdesign durch: 200.000 Kunden, 10 % holdout, CV 2.2.
| Ändere eine Annahme | Was sich ändert | Ergebnis | Fazit |
|---|---|---|---|
| CV gemessen bei 1.4 statt angenommen bei 2.2 | Geringere Streuung | MDE sinkt von 4,6 % auf 2,9 %. Die gleiche Basis wird für ein 3 %-Programm ausreichend. | Wechselt |
| holdout von 10 % auf 20 % erhöht | Mehr Kontrolle, weniger behandelter Umsatz | MDE verbessert sich von 2,05 % auf 1,54 % bei einer Millionen-Kunden-Basis. Die Erträge nehmen jenseits von 20 % stark ab. | Hält |
| holdout von 10 % auf 2 % reduziert | Minimierung des entgangenen uplift | MDE verschlechtert sich von 2,05 % auf 4,40 %. Die Ersparnis ist real und das Experiment funktioniert nicht mehr. | Wechselt |
| Fenster verdoppelt, Umsatz pro Kunde verdoppelt, CV unverändert | Längere Messung | MDE unverändert. Zeit hilft nur durch Akkumulieren von Kunden oder durch Senken des CV, niemals von selbst. | Hält |
| Wöchentliche Zwischenablesungen über fünf Monate | Zwanzig Blicke auf dieselben Daten | Die Falsch-positiv-Rate steigt von 4,9 % auf 26,8 %. Eines von vier erfolglosen Programmen wird zum Gewinner erklärt. | Wechselt |
| CUPED angewendet mit einer Korrelation vor der Periode von 0,7 | Varianzreduzierung | Effektive Stichprobe verdoppelt sich ungefähr; der MDE sinkt um etwa 30 %. Keine zusätzlichen Kunden erforderlich. | Hält |
Drei design-Entscheidungen bestimmen, ob ein ARPU-Experiment etwas sehen kann: der von dir gemessene statt angenommene CV, der holdout-Anteil und die Häufigkeit, mit der du schaust. Die ersten beiden werden vor dem Launch festgelegt und die dritte durch Disziplin. Keine davon ist eine Modellierungsfrage, weshalb unterpowered Umsatz-Experimente ein Prozessversagen statt ein statistisches sind.
Grenzen
Was dir das nicht sagen kann
- Die simulierte Umsatzverteilung ist eine stilisierte Zero-inflated lognormal-Verteilung, nicht deine Basis. Sie reproduziert die zwei relevanten Merkmale, eine große Masse bei Null und einen langen rechten Schwanz, und nichts sonst über dein Geschäft.
- Die Leistungsberechnung geht von unabhängigen Kunden aus. Haushalts-Sharing, Empfehlungseffekte und gemeinsame Konten erzeugen eine Korrelation, die die wahre Varianz über das hinaus aufbläht, was CV allein erfasst.
- Peeking wird nur in seiner naiven Form simuliert, wobei beim ersten p unter 0.05 gestoppt wird. Der Bericht nennt die Korrekturen, quantifiziert aber nicht ihre Betriebseigenschaften.
- CUPED Gewinne hängen von der Korrelation zwischen dem Umsatz vor der Periode und dem Umsatz während der Periode in deiner eigenen Basis ab. Die simulierten Verhältnisse zeigen die Form der Beziehung, nicht den Gewinn, den du erzielen wirst.
- Nichts davon behandelt bias. Ein perfekt gepowertes Experiment mit einer kontaminierten Kontrolle misst immer noch das Falsche.
Falsifizierbarkeit
Was unsere Meinung ändern würde
- 01
Nachweis, dass der pro-Kunden Umsatz in großen B2C-Basen wesentlich weniger gestreut ist als der hier verwendete CV-Bereich von 1,4 bis 3,5. Jede Anforderung im Bericht würde proportional sinken.
- 02
Eine Varianzreduktionstechnik, die CUPED bei Umsatz-Ergebnissen zuverlässig schlägt, ohne den Schätzwert zu ändern.
- 03
Ein Nachweis, dass die Korrelation zwischen Kunden, über Haushalte oder Weiterempfehlungen hinweg, groß genug ist, dass die Unabhängigkeitsannahme, nicht der CV, die bindende Einschränkung darstellt.
- 04
Ein sequenzielles Verfahren, dessen simulierte operative Merkmale mit einer einzelnen festen Ablesung übereinstimmen, während es eine kontinuierliche Überwachung in der Praxis statt nur im Prinzip ermöglicht.
Provenienz
Quellen und wofür jede verwendet wurde
- In diesem Bericht abgeleitetMarkin Monte Carlo, scripts/research-holdout-sim.ts, seed 20260914
Jede simulierte Kennzahl: Größe, Power, Peeking und CUPED-Tabellen. Das Skript wird vollständig veröffentlicht, damit die Tabellen neu generiert werden können, anstatt ihnen blind zu vertrauen.
- In diesem Bericht abgeleitetClosed-form power calculation für eine Differenz von Mitteln
Die MDE-Tabellen und der holdout-share Vergleich.
- Unabhängige ForschungBCG, Wie sich die Messung bei Next Best Action entwickelt (2026)
Die Empfehlung, Ergebnisse über ein volles Fenster und nicht in den ersten Wochen zu lesen, was die praktische Form des peeking-Ergebnisses hier ist.
- Anonymisierte Markin-ImplementierungenMarkin-Implementierungen
Der plausible CV-Bereich von 1,4 bis 3,5 und die Beobachtung, dass erste Experimente häufig gegen einen erwarteten uplift von 2 % bis 3 % konzipiert werden.
Fragen, die dieser Bericht beantwortet
- Wie groß muss ein holdout sein, um den ARPU uplift zu messen?
- Wie berechne ich die Stichprobengröße für ein Umsatz-Experiment?
- Warum meine ARPU Experimente immer ergebnislos sind?
- Was ist der minimal nachweisbare Effekt für einen A/B test auf Umsatz?
- Ist es schlecht, Experiment-Ergebnisse frühzeitig zu überprüfen?
- Was ist CUPED und wann solltest du es verwenden?
Häufig gestellte Fragen
- Wie groß muss mein holdout sein, um den ARPU uplift zu messen?
- Es hängt von deinem Variationskoeffizienten ab, nicht nur von deiner Basisgröße. Bei einem CV von 2,2 erfordert die Erkennung eines 2 % uplift bei 80 % Power ungefähr eine Million Kunden mit einem 10 % holdout; bei 200.000 liegt die Untergrenze bei 4,6 %. Miss zuerst deinen eigenen CV: Standardabweichung des Umsatzes pro Kunde über das Zeitfenster, geteilt durch den Mittelwert.
- Warum meine Umsatz Experimente immer ergebnislos sind?
- Fast immer, weil sie unterversorgt sind, und nicht, weil die Behandlung nichts bewirkt hat. Umsatz ist heavy-tailed, daher unterschätzt die Intuition zur Stichprobengröße, die von Conversion-Tests abgeleitet wurde, die Anforderung um ein Vielfaches. Berechne den minimal detektierbaren Effekt vor dem Launch und vergleiche ihn mit dem uplift, den du erwartest.
- Ist es wirklich so schlimm, Ergebnisse frühzeitig zu überprüfen?
- Ja. Simuliert auf einer echten Nullhypothese führt das Stoppen bei der ersten signifikanten Zwischenablesung nach zwei Überprüfungen zu einer Rate von 7,5 % falsch positiver Ergebnisse, nach vier zu 13,6 % und nach zwanzig zu 26,8 %. Lege entweder ein einziges Lesedatum vor dem Start fest oder verwende eine Alpha-Spending-Grenze oder eine immer gültige Konfidenzsequenz.
- Was kostet ein holdout?
- N x holdout-Anteil x Monate x ARPU x Marge x wahrer lift. Bei einer Million Kunden mit einem 10% holdout, 12 USD ARPU, 70% Marge und einem 3% lift über drei Monate, sind das grob 75.600 USD Marge. Es ist nur dann ein Kostenfaktor, wenn das Programm funktioniert, was der holdout etablieren soll.
- Soll ich einen Rangtest verwenden oder Revenue logarithmisch transformieren, weil es schief ist?
- Normalerweise nein. Die simulierte Falsch-Positiv-Rate des gewöhnlichen tests bei heavy-tailed Umsatz beträgt 4,5 % gegenüber nominalen 5 %, daher ist die Validität nicht das Problem. Ein Rang-test oder eine Log-Transformation ändert das Schätzmerkmal zu etwas anderem als dem mittleren Umsatz, was die Zahl ist, über die das Geschäft entscheidet.
- Was ist CUPED und lohnt es sich?
- CUPED subtrahiert den Teil des Umsatzes während der Periode, der durch den Umsatz desselben Kunden vor der Periode vorhergesagt wurde, wodurch Varianz ohne Verzerrung entfernt wird. Bei einer Korrelation vor der Periode von 0,7 verdoppelt sich die effektive Stichprobe ungefähr. Für eine Abonnementbasis mit stabilem monatlichem Umsatz ist dies die günstigste verfügbare Power.
Handle danach
- PlaybookFühre ein retention Angebot vor der Verlängerung aus, ohne Kunden zu bezahlen, die ohnehin geblieben wärenPre-renewal save offers auf Stripe, nach Risiko statt nach Listenmitgliedschaft dimensioniert.
- ForschungVon Kampagnen zu kundenindividuellen EntscheidungenDer Blocker ist fast nie das Modell. Es sind Identität, Latenz, Write-back, eine Margenzahl und die Bereitschaft, zurückzuhalten.
- ForschungDie retention-RabattlinieDie meisten Sparangebote werden danach bewertet, wie viele Kunden geblieben sind. Die einzige Zahl, die entscheidend ist, ist, wie viele Kunden geblieben sind, die sonst gegangen wären.
- LeitfadenWie Markin die Inkrementalität misstDas holdout Design, das Messfenster und die Abbruchregeln, die Markin anwendet, bevor ein Ergebnis skaliert werden darf. Zum Überprüfen geschrieben.
- LeitfadenDer Evidenzstandard hinter jeder Zahl, die wir veröffentlichenWie Markin entscheidet, was öffentlich behauptet werden darf: das Anspruchsregister, obligatorische Qualifikationen, Überprüfungsdaten und die Ansprüche, die wir ablehnen.