Experiment
Ein Experiment ist die kontrollierte Freigabe einer Kandidatenaktion gegen einen randomisierten holdout, der im Voraus so dimensioniert wurde, dass das Ergebnis einen realen Effekt von Rauschen unterscheiden kann. Es hat eine vorregistrierte Metrik, eine stopping rule und guardrails, und es liefert eine Schätzung des incrementality Umsatzes und nicht nur eine Rate.
Warum es für ARPU wichtig ist
Reported uplift, der nie geholdout wurde, ist meist Saisonalität oder Selektion. Experimente sind der einzige Mechanismus, der Aktivität in verteidigbares ARPU growth umwandelt.
Verwandte Begriffe
Holdout groupEin holdout ist eine zufällig ausgewählte Gruppe von Kunden, die bewusst von einer Aktion ausgeschlossen wird und als Kontrafaktum dient.InkrementalitätIncrementality ist der Anteil eines Ergebnisses, der ohne die Aktion nicht eingetreten wäre.Statistische PowerStatistische Power ist die Wahrscheinlichkeit, dass ein Test einen Effekt einer bestimmten Größe erkennt, wenn dieser Effekt real ist.LeitplankenmetrikEine guardrail metric ist eine Kennzahl, die ein Experiment nicht beschädigen darf, selbst wenn die primäre Kennzahl sich verbessert: unsubscribe rate, Beschwerdevolumen, margin, support-Kontakte, App-Deinstallationen.