Experimento
Um experimento é um lançamento controlado de uma ação candidata contra um holdout aleatório, dimensionado antecipadamente para que o resultado possa distinguir um efeito real do ruído. Tem uma métrica pré-registada, uma regra de paragem e guardrails, e produz uma estimativa de receita incremental em vez de uma taxa.
Por que é importante para o ARPU
O uplift reportado que nunca foi holdout é geralmente sazonalidade ou seleção. experimentos são o único mecanismo que converte atividade em ARPU growth defensável.
Termos relacionados
Holdout groupUm holdout é um conjunto de clientes selecionado aleatoriamente e deliberadamente excluído de uma ação, mantido como o contrafactual.IncrementalidadeIncrementality é a porção de um resultado que não teria acontecido sem a ação.Poder estatísticoO poder estatístico é a probabilidade de um teste detetar um efeito de um determinado tamanho quando esse efeito é real.Guardrail metricUma guardrail metric é uma medida que um experimento não deve danificar, mesmo que a primary metric melhore: taxa de cancelamento de subscrição, volume de reclamações, margem, contactos de suporte, desinstalações de aplicações.