A/B test
Auch genannt: Split test, Randomised controlled trial
Ein A/B test weist Kunden zufällig zwei oder mehr Varianten zu und vergleicht eine vorher deklarierte Metrik zwischen ihnen. Randomisierung ist das, was eine kausale Aussage erlaubt: Jede bestehende Differenz zwischen Gruppen wird zufällig und nicht durch Auswahl verteilt.
Warum es für ARPU wichtig ist
Es bleibt das kostengünstigste Instrument, um festzustellen, dass eine growth Aktion funktioniert hat, und die vorab definierte Metrik ist das, was verhindert, dass ein Nullergebnis als Erfolg umgedeutet wird.
Verwandte Begriffe
Holdout groupEin holdout ist eine zufällig ausgewählte Gruppe von Kunden, die bewusst von einer Aktion ausgeschlossen wird und als Kontrafaktum dient.Statistische PowerStatistische Power ist die Wahrscheinlichkeit, dass ein Test einen Effekt einer bestimmten Größe erkennt, wenn dieser Effekt real ist.Sequential testingSequential testing ermöglicht es, Ergebnisse kontinuierlich zu überwachen und frühzeitig zu stoppen, ohne falsche Positive zu erhöhen, indem immer gültige Konfidenzintervalle anstelle einer einzelnen feste-Horizonte-Überprüfung verwendet werden.LeitplankenmetrikEine guardrail metric ist eine Kennzahl, die ein Experiment nicht beschädigen darf, selbst wenn die primäre Kennzahl sich verbessert: unsubscribe rate, Beschwerdevolumen, margin, support-Kontakte, App-Deinstallationen.