Projetando um holdout que pode realmente detetar uplift de ARPU

1. 014.6%Derivado neste relatórioCopiar citação

   A um coeficiente de variação de 2,2, uma base de 200.000 clientes com um holdout de 10% tem um efeito mínimo detetável de 4,6%. Um lift real de 2% é encontrado em 25,1% das vezes.

   Este é o resultado central e é desconfortável, porque 2% a 3% é exatamente o intervalo que a maioria dos programas next best action almeja, e 200.000 clientes parece uma base grande. O design não é marginal, está aquém por um fator de cinco: um uplift de 2% precisa de aproximadamente um milhão de clientes com o mesmo CV e holdout share. As equipas leem um p-value de 0,4 como evidência de que o programa não fez nada, quando é evidência de que o experimento não poderia ter visto nada.

   Faça istoCalcule o MDE antes do lançamento, não o p-value depois. Se o lift esperado estiver abaixo do MDE, redesenhe o experimento ou agrupe a janela em vez de executá-lo.

2. 0226.8%Derivado neste relatórioCopiar citação

   Vinte análises intermédias aumentam a taxa de falsos positivos de 4,9% para 26,8% sob um verdadeiro nulo. Quatro análises já a elevam para 13,6%.

   Simulado executando o mesmo experimento nulo com análises provisórias igualmente espaçadas e parando no primeiro p abaixo de 0,05. O dano começa imediatamente: duas verificações custam 7,5%, quatro custam 13,6%. Numa cultura de dashboard onde qualquer pessoa pode abrir o experimento diariamente, o número efetivo de verificações não é uma escolha de design que alguém fez. Os remédios são bem estabelecidos, uma única leitura pré-registrada, um limite de alpha-spending, ou uma sequência de confiança sempre válida, e todos eles exigem decisão antes do lançamento.

   Faça istoRegiste a data de leitura no resumo do experimento e cumpra-a ou mude para um procedimento sequencial. Não deixe um número de significância ativo num dashboard.

3. 032.05%Derivado neste relatórioCopiar citação

   Os retornos do holdout achatam rapidamente. Numa base de um milhão de clientes com CV 2.2, passar de 2% para 10% de holdout melhora o MDE de 4,40% para 2,05%; passar de 20% para 50% melhora-o apenas de 1,54% para 1,23%.

   A precisão vem do grupo menor, então 'privar' o controlo é a economia mais cara disponível. O custo do holdout também é menor do que parece: com 12 US dollar de ARPU, 70 % de margem e um uplift de 3 %, um holdout de 10 % em um milhão de clientes sacrifica aproximadamente 75.600 US dollar de margem ao longo de três meses, contra o custo de escalar um programa que não faz nada em toda a base. Dez por cento é o default correto, vinte onde a base permite, e abaixo de cinco apenas quando a base é muito grande.

   Faça istoPadrão para um holdout de 10%. Preencha-o explicitamente com a fórmula no bloco do modelo para que a conversa seja sobre um número e não sobre um princípio.

4. 041.96xDerivado neste relatórioCopiar citação

   CUPED oferece mais poder do que qualquer aumento de amostra disponível para a maioria das equipas: com uma correlação pré-período de 0,7, a amostra efetiva duplica aproximadamente.

   As razões de variância simuladas seguem de perto 1 / (1 - rho^2): 1,10x com rho 0,3, 1,33x com 0,5, 1,96x com 0,7 e 5,29x com 0,9. Empresas de subscrição com receita mensal estável situam-se no topo, que é precisamente onde o problema de medição do ARPU é, de outra forma, mais difícil. Remove a variância, não o viés, por isso é seguro de uma forma que o corte de outliers não é.

   Faça istoCalcule a correlação entre a receita por cliente do período pré-experimento e do período durante o experimento. Acima de 0,5, aplique CUPED antes de adicionar um único cliente ao experimento.

5. 054.5%Derivado neste relatórioCopiar citação

   A taxa de falso positivo do test ingénuo sobre receita com heavy-tailed é de 4,5 % contra um nominal de 5 %. A distribuição não é o problema.

   É importante afirmar claramente, porque a reação usual à receita distorcida é recorrer a um teste de classificação ou a uma transformação logarítmica, ambos alterando o estimand da receita média para algo que uma equipa financeira não pode usar. Nestes tamanhos de base, o teorema do limite central está a fazer o seu trabalho nas médias dos braços. O problema com os experimentos de receita é a potência e as regras de paragem, não a validade.

   Faça istoContinue a testar a média, que é a quantidade que interessa ao negócio. Concentre o esforço no tamanho da amostra, na quota de holdout e nas regras de paragem, em vez disso.

• Líder de growth

  Coloque o efeito mínimo detetável no resumo do experimento, próximo ao uplift esperado. Se o uplift esperado estiver abaixo disso, o experimento já foi decidido e executá-lo apenas resultará num falso negativo.

• Análise

  Meça o coeficiente de variação da receita por cliente na sua janela real e a correlação com o período anterior. Esses dois números alteram mais o design do experimento do que qualquer escolha de modelagem disponível para você.

• Finanças

  Precifique o holdout explicitamente, em vez de discutir sobre ele. No design de referência, são cerca de 75.600 USD de margem num trimestre, contra o custo de escalar um programa que não faz nada em toda a base.

• Patrocinador executivo

  Peça a data de leitura antes do lançamento e recuse-se a olhar antes dela. Vinte olhares casuais transformam uma taxa de erro de 5% em 27%, e nenhuma análise a posteriori pode desfazer isso.

Coeficiente de variação (CV)

Desvio padrão da receita por cliente ao longo da janela de medição, dividido pela sua média. Este único número, e não o tamanho da base, é o que torna os experimentos de receita difíceis. As bases de subscrição de consumidores ficam perto de 1,4 quando todos pagam um preço similar, e acima de 3 onde uma pequena parte dos clientes é responsável por uma grande parte da receita.

Efeito Mínimo Detetável (MDE)

O menor uplift relativo no ARPU que o design encontraria, com 80% de power, a um nível de significância de 5% bicaudal. Um resultado abaixo do MDE não é evidência de nenhum efeito; é evidência de que o experimento não conseguiu ver.

Poder

A probabilidade de declarar uma vitória quando o uplift está genuinamente presente. Power abaixo de 50 % significa que um lançamento de moeda decide se um programa real sobrevive à sua própria medição.

Peeking

Avaliar a significância repetidamente enquanto o experimento decorre e parar no primeiro resultado significativo. Não é um pequeno pecado: inflaciona a taxa de falsos positivos muito acima dos 5% nominais.

CUPED

Controlled-experiment Using Pre-Experiment Data. Subtrair a parte da receita no período prevista pela receita do mesmo cliente no período anterior. Remove a variância em vez do viés, o que permite obter tamanho de amostra gratuitamente.

Duas fontes. As figuras de power são de forma fechada e exatas dado o CV. As figuras simuladas carregam erro de Monte Carlo: em 2,000 per cell (800 for the peeking table, 200 for CUPED), uma taxa próxima de 5% tem um erro padrão de cerca de 0,5 pontos percentuais e uma taxa próxima de 50% cerca de 1,1 pontos. As figuras são reportadas com uma casa decimal porque é o que a contagem de replicação suporta, não porque são precisas a uma casa decimal.

• MDE de 4,6% a n = 200.000

  Através de valores de CV de 1,4 a 3,5. Medir o seu próprio CV vale, portanto, mais do que qualquer outro refinamento de input.

  2,9% a 7,3%

• Poder de 46,3% com um true lift de 3%

  O valor em closed-form é 44,8 %, o que está dentro do erro de simulação do resultado simulado. O facto de os dois métodos concordarem é o objetivo de executar ambos.

  +/- 1,1 pontos de erro Monte Carlo

• Taxa de falsos positivos de 4,5% sob a hipótese nula

  Estatísticamente indistinguível dos 5 % nominais. Heavy tails não invalidam o test nestes tamanhos de base; peeking sim.

  +/- 0,5 pontos

• Multiplicador de amostra efetiva CUPED

  Segue 1 / (1 - rho^2) de perto na simulação. O seu próprio rho é uma tarde de SQL, e decide se o CUPED é uma nota de rodapé ou o maior ganho único disponível.

  1,1x a rho 0,3 para 5,3x a rho 0,9

• A distribuição de receita simulada é uma lognormal estilizada com zeros inflacionados, não a sua base. Reproduz as duas características que importam, uma grande massa em zero e uma longa cauda direita, e nada mais sobre o seu negócio.
• O cálculo de power assume clientes independentes. Partilha familiar, efeitos de referência e contas partilhadas criam correlação que inflaciona a verdadeira variância para além do que o CV por si só captura.
• O peeking é simulado apenas na sua forma ingénua, parando no primeiro p abaixo de 0.05. O relatório nomeia as correções, mas não quantifica as suas características operacionais.
• Os ganhos do CUPED dependem da correlação entre a receita pré-período e a receita intra-período na sua própria base. Os rácios simulados mostram a forma da relação, não o ganho que você obterá.
• Nada disto aborda o viés. Um experimento perfeitamente potente num controlo contaminado ainda mede a coisa errada.

• Quão grande um holdout precisa de ser para medir o uplift de ARPU?
• Como calculo o tamanho da amostra para um experimento de receita?
• Por que os meus experimentos de ARPU são sempre inconclusivos?
• Qual é o efeito mínimo detetável para um A/B test na receita?
• É desaconselhável verificar os resultados do experimento precocemente?
• O que é CUPED e quando devo usá-lo?

• PlaybookExecutar uma oferta de retenção antes da renovação sem pagar clientes que iriam ficar de qualquer maneiraOfertas de poupança pré-renovação no Stripe, dimensionadas pelo risco em vez de pela pertença à lista.
• PesquisaDe campanhas a decisões por clienteO bloqueador quase nunca é o modelo. É a identidade, a latência, a gravação de dados (write-back), um número de margem e a disposição de reter.
• PesquisaA linha de desconto de retençãoA maioria das ofertas de poupança é avaliada pelo número de clientes que permaneceram. O único número que decide é quantos permaneceram que de outra forma teriam saído.
• GuiaComo a Markin mede a incrementalidadeO design do holdout, a janela de medição e as regras de interrupção que a Markin usa antes que qualquer resultado seja permitido escalar. Escrito para ser verificado.
• GuiaO padrão de evidência por trás de cada número que publicamosComo a Markin decide o que lhe é permitido reivindicar em público: o registo de reivindicações, qualificadores obrigatórios, datas de revisão e as reivindicações que nos recusamos a fazer.