A/B test
Também chamado: Split test, Randomised controlled trial
Um A/B test atribui aleatoriamente clientes a duas ou mais variantes e compara uma métrica pré-declarada entre elas. A randomização é o que legitima uma afirmação causal: qualquer diferença preexistente entre grupos é distribuída por acaso, e não por seleção.
Por que é importante para o ARPU
Permanece o instrumento mais barato para estabelecer que uma ação de growth funcionou, e a métrica pré-declarada é o que impede que um resultado nulo seja reinterpretado como um sucesso.
Termos relacionados
Holdout groupUm holdout é um conjunto de clientes selecionado aleatoriamente e deliberadamente excluído de uma ação, mantido como o contrafactual.Poder estatísticoO poder estatístico é a probabilidade de um teste detetar um efeito de um determinado tamanho quando esse efeito é real.Testagem sequencialA testagem sequencial permite que os resultados sejam monitorizados continuamente e parados mais cedo sem inflacionar falsos positivos, usando intervalos de confiança sempre válidos em vez de uma única verificação de horizonte fixo.Guardrail metricUma guardrail metric é uma medida que um experimento não deve danificar, mesmo que a primary metric melhore: taxa de cancelamento de subscrição, volume de reclamações, margem, contactos de suporte, desinstalações de aplicações.