Sequential testing
Auch genannt: Always-valid inference
Sequential testing ermöglicht es, Ergebnisse kontinuierlich zu überwachen und frühzeitig zu stoppen, ohne falsche Positive zu erhöhen, indem immer gültige Konfidenzintervalle anstelle einer einzelnen feste-Horizonte-Überprüfung verwendet werden. Es formalisiert das „Spicken“, das Teams ohnehin tun.
Warum es für ARPU wichtig ist
Es ist das, was kontinuierliches decisioning statistisch legitim macht: Entscheidungen können getroffen werden, sobald die Beweise sie stützen, nicht nur zu einem geplanten Auslesedatum.
Verwandte Begriffe
A/B testEin A/B test weist Kunden zufällig zwei oder mehr Varianten zu und vergleicht eine vorher deklarierte Metrik zwischen ihnen.Statistische PowerStatistische Power ist die Wahrscheinlichkeit, dass ein Test einen Effekt einer bestimmten Größe erkennt, wenn dieser Effekt real ist.Multi-armed banditEin multi-armed bandit verteilt den Traffic adaptiv auf gut abschneidende Varianten, während er weiterhin andere Varianten stichprobenartig testet.ExperimentEin Experiment ist die kontrollierte Freigabe einer Kandidatenaktion gegen einen randomisierten holdout, der im Voraus so dimensioniert wurde, dass das Ergebnis einen realen Effekt von Rauschen unterscheiden kann.