Concevoir un holdout qui peut réellement détecter un uplift d'ARPU

1. 014.6%Dérivé dans ce rapportCopier la citation

   Avec un coefficient de variation de 2,2, une base de 200.000 clients avec un holdout de 10 % a un effet minimal détectable de 4,6 %. Un réel uplift de 2 % est détecté 25,1 % du temps.

   C'est le résultat central et il est inconfortable, car 2 % à 3 % est exactement la plage visée par la plupart des programmes de next best action, et 200.000 clients semblent être une base importante. Le design n'est pas marginal, il est trop court d'un facteur cinq : un uplift de 2 % nécessite environ un million de clients avec le même CV et la même part de holdout. Les équipes lisent un p-value de 0,4 comme preuve que le programme n'a rien fait, alors que c'est la preuve que l'expérimentation n'aurait rien pu voir.

   Fais celaCalcule le MDE avant le lancement, pas la p-value après. Si l'uplift attendu est inférieur au MDE, repense l'expérimentation ou regroupe la période plutôt que de l'exécuter.

2. 0226.8%Dérivé dans ce rapportCopier la citation

   Vingt looks intermédiaires augmentent le taux de faux positifs de 4,9 % à 26,8 % sous une hypothèse nulle vraie. Quatre looks l'amènent déjà à 13,6 %.

   Simulé en exécutant la même expérimentation nulle avec des analyses intermédiaires espacées uniformément et en s'arrêtant au premier p inférieur à 0,05. Le dommage commence immédiatement : deux regards coûtent 7,5 %, quatre coûtent 13,6 %. Dans une culture de tableau de bord où n'importe qui peut ouvrir l'expérimentation quotidiennement, le nombre effectif de regards n'est pas un choix de conception que quiconque a fait. Les remèdes sont bien établis : une seule lecture pré-enregistrée, une limite de dépense alpha, ou une séquence de confiance toujours valide, et toutes nécessitent de décider avant le lancement.

   Fais celaInscris la date de lecture dans le brief de l'expérimentation et respecte-la ou passe à une procédure séquentielle. Ne laisse pas un nombre de signification en direct sur un tableau de bord.

3. 032.05%Dérivé dans ce rapportCopier la citation

   Les retours du holdout s'aplatissent rapidement. Sur une base d'un million de clients à un CV de 2,2, passer d'un holdout de 2 % à 10 % améliore le MDE de 4,40 % à 2,05 % ; passer de 20 % à 50 % l'améliore seulement de 1,54 % à 1,23 %.

   La précision vient de la plus petite branche, donc affamer le contrôle est l'économie la plus coûteuse disponible. Le coût du holdout est également plus petit qu'il n'y paraît : avec un ARPU de 12 USD, une marge de 70 % et un uplift de 3 %, un holdout de 10 % sur un million de clients renonce à environ 75 600 USD de marge sur trois mois, contre le coût de mise à l'échelle d'un programme qui ne fait rien sur toute la base. Dix pour cent est la valeur par défaut correcte, vingt là où la base le permet, et en dessous de cinq seulement lorsque la base est très grande.

   Fais celaPar défaut, un holdout de 10 %. Calcule-le explicitement avec la formule dans le bloc du modèle afin que la conversation porte sur un chiffre plutôt que sur un principe.

4. 041.96xDérivé dans ce rapportCopier la citation

   CUPED apporte plus de puissance que toute augmentation d'échantillon disponible pour la plupart des équipes : à une corrélation pré-période de 0,7, l'échantillon effectif double approximativement.

   Les rapports de variance simulés suivent étroitement 1 / (1 - rho^2) : 1,10x à rho 0,3, 1,33x à 0,5, 1,96x à 0,7 et 5,29x à 0,9. Les entreprises d'abonnement avec des revenus mensuels stables se situent à l'extrémité supérieure, ce qui est précisément là où le problème de mesure de l'ARPU est autrement le plus difficile. Cela supprime la variance, pas le biais, donc c'est sûr d'une manière que l'écrêtage des valeurs aberrantes n'est pas.

   Fais celaCalcule la corrélation entre les revenus par client avant et pendant la période. Au-dessus de 0,5, applique CUPED avant d'ajouter un seul client à l'expérimentation.

5. 054.5%Dérivé dans ce rapportCopier la citation

   Le taux de faux positifs du test naïf sur des revenus à queue de distribution épaisse est de 4,5 % contre 5 % nominaux. La distribution n'est pas le problème.

   Il est important de le dire clairement, car la réaction habituelle face à des revenus asymétriques est de recourir à un test de rang ou à une transformation logarithmique, qui tous deux modifient l'estimateur de la moyenne des revenus en quelque chose qu'une équipe financière ne peut pas utiliser. À ces tailles de base, le théorème central limite fait son travail sur les moyennes des bras. Le problème avec les expérimentations de revenus est la puissance et les règles d'arrêt, pas la validité.

   Fais celaContinue de tester la moyenne, qui est la quantité qui intéresse l'entreprise. Consacre plutôt l'effort à la taille de l'échantillon, à la part de holdout et aux règles d'arrêt.

• Responsable growth

  Indique l'effet minimal détectable dans le brief de l'expérimentation, à côté de l' uplift attendu. Si l' uplift attendu est inférieur, l'expérimentation est déjà décidée et la lancer ne fait qu'acheter un faux négatif.

• Analyse

  Mesure le coefficient de variation des revenus par client sur ta période réelle, et la corrélation avec la période précédente. Ces deux chiffres modifient la conception de l'expérimentation plus que tout choix de modélisation à ta disposition.

• Finance

  Estime le holdout explicitement plutôt que d'en discuter. Sur le design de référence, c'est environ 75 600 US dollars de marge sur un trimestre, par rapport au coût de mise à l'échelle d'un programme qui ne fait rien sur toute la base.

• Sponsor exécutif

  Demande la date de lecture avant le lancement et refuse de regarder avant. Vingt regards désinvoltes transforment un taux d'erreur de 5 % en 27 %, et aucune analyse après coup ne peut l'annuler.

Coefficient de variation (CV)

L'écart-type des revenus par client sur la fenêtre de mesure, divisé par sa moyenne. C'est ce nombre unique, et non la taille de la base, qui rend les expérimentations de revenus difficiles. Les bases d'abonnements grand public se situent près de 1,4 lorsque tout le monde paie le même prix, et au-dessus de 3 partout où une petite part des clients génère une grande part des revenus.

Effet minimal détectable (EMD)

Le plus petit uplift d'ARPU relatif que le design détecterait, avec une puissance de 80 %, à un niveau de signification bilatéral de 5 %. Un résultat inférieur au MDE n'est pas une preuve d'absence d'effet ; c'est la preuve que l'expérimentation n'a rien pu voir.

Puissance

La probabilité de déclarer une victoire lorsque l'uplift est réellement là. Une puissance inférieure à 50 % signifie qu'un pile ou face décide si un programme réel survit à sa propre mesure.

Peeking

Évaluer la signification à plusieurs reprises pendant l'expérimentation et s'arrêter au premier résultat significatif. Ce n'est pas un péché véniel : cela gonfle le taux de faux positifs bien au-delà des 5 % nominaux.

CUPED

Controlled-experiment Using Pre-Experiment Data. Soustraction de la partie des revenus en période prédite par les revenus de la même cliente en pré-période. Cela supprime la variance plutôt que le biais, ce qui permet d'obtenir une taille d'échantillon gratuitement.

Deux sources. Les chiffres de puissance sont de forme fermée et exacts étant donné le CV. Les chiffres simulés comportent une erreur Monte Carlo : à 2,000 per cell (800 for the peeking table, 200 for CUPED), un taux proche de 5 % a un écart-type d'environ 0,5 point de pourcentage et un taux proche de 50 % d'environ 1,1 point. Les chiffres sont rapportés avec une décimale car c'est ce que le nombre de réplications supporte, et non parce qu'ils sont précis à une décimale.

• MDE de 4,6 % à n = 200.000

  À travers des valeurs de CV de 1,4 à 3,5. Mesurer ton propre CV est donc plus utile que toute autre amélioration d'input.

  2,9 % à 7,3 %

• Puissance de 46,3 % à un vrai lift de 3 %

  La valeur analytique est de 44,8 %, ce qui est à l'intérieur de l'erreur de simulation du résultat simulé. L'accord des deux méthodes est la raison de les exécuter toutes les deux.

  +/- 1,1 points d'erreur Monte Carlo

• Taux de faux positifs de 4,5 % sous l'hypothèse nulle

  Statistiquement indiscernable des 5 % nominaux. Les queues de distribution épaisses ne cassent pas le test à ces tailles de base ; le peeking le fait.

  +/- 0,5 points

• Multiplicateur d'échantillon effectif CUPED

  Suit 1 / (1 - rho^2) de près en simulation. Ton propre rho représente une après-midi de SQL, et il détermine si CUPED est une note de bas de page ou le plus grand gain unique disponible.

  1,1x à rho 0,3 jusqu'à 5,3x à rho 0,9

• La distribution de revenus simulée est une lognormale stylisée à zéro-inflation, pas ta base. Elle reproduit les deux caractéristiques qui importent, une masse importante à zéro et une longue queue droite, et rien d'autre concernant ton activité.
• Le calcul de puissance suppose des clients indépendants. Le partage de foyer, les effets de parrainage et les comptes partagés créent une corrélation qui gonfle la vraie variance au-delà de ce que le CV seul capture.
• Le peeking n'est simulé que sous sa forme naïve, s'arrêtant au premier p inférieur à 0,05. Le rapport nomme les corrections mais ne quantifie pas leurs caractéristiques de fonctionnement.
• Les gains du CUPED dépendent de la corrélation entre les revenus pré-période et intra-période de ta propre base. Les ratios simulés montrent la forme de la relation, pas le gain que tu obtiendras.
• Rien ici ne traite du biais. Une expérimentation parfaitement puissante sur un contrôle contaminé mesure toujours la mauvaise chose.

• Quelle doit être la taille d'un holdout pour mesurer l'uplift de l'ARPU ?
• Comment calculer la taille de l'échantillon pour une expérimentation de revenus ?
• Pourquoi mes expérimentations ARPU sont-elles toujours non concluantes ?
• Quel est l'effet minimal détectable pour un A/B test sur les revenus ?
• Est-ce une mauvaise chose de vérifier les résultats d'une expérimentation tôt ?
• Qu'est-ce que le CUPED et quand dois-je l'utiliser ?

• ManuelProposer une offre de rétention avant le renouvellement sans payer les clients qui seraient restés de toute façonOffres de sauvegarde avant renouvellement sur Stripe, dimensionnées par risque au lieu de l'appartenance à une liste.
• RechercheDes campagnes aux décisions par clientLe bloqueur n'est presque jamais le modèle. C'est l'identité, la latence, l'écriture différée (write-back), un chiffre de marge et la volonté de retenir.
• RechercheLa ligne de réduction de rétentionLa plupart des offres de rétention sont évaluées en fonction du nombre de clients qui sont restés. Le seul chiffre qui compte est le nombre de clients qui sont restés et qui seraient partis autrement.
• GuideComment Markin mesure l'incrémentalitéLa conception du holdout, la fenêtre de mesure et les règles d'arrêt que Markin utilise avant qu'un résultat ne soit autorisé à être mis à l'échelle. Rédigé pour être vérifié.
• GuideLe standard de preuve derrière chaque chiffre que nous publionsComment Markin décide de ce qu'il est autorisé à affirmer en public : le registre des allégations, les qualifications obligatoires, les dates de révision et les allégations que nous refusons de faire.