Poder estatístico
O poder estatístico é a probabilidade de um teste detetar um efeito de um determinado tamanho quando esse efeito é real. É fixado antes do lançamento pelo tamanho da amostra, variância da linha de base e o efeito mínimo detetável, e um teste com baixo poder produz principalmente ambiguidade cara.
Como é calculado
Poder = 1 - P(falso negativo). Convenção: 80% a um nível de significância de 5%.
Decida o efeito mínimo detetável primeiro. Escolhê-lo depois de ver os dados invalida o test.
Por que é importante para o ARPU
A maioria dos growth tests enterprise é subdimensionada, então os efeitos reais são arquivados como inconclusivos e a organização lentamente deixa de acreditar em evidências.
Termos relacionados
A/B testUm A/B test atribui aleatoriamente clientes a duas ou mais variantes e compara uma métrica pré-declarada entre elas.Testagem sequencialA testagem sequencial permite que os resultados sejam monitorizados continuamente e parados mais cedo sem inflacionar falsos positivos, usando intervalos de confiança sempre válidos em vez de uma única verificação de horizonte fixo.ExperimentoUm experimento é um lançamento controlado de uma ação candidata contra um holdout aleatório, dimensionado antecipadamente para que o resultado possa distinguir um efeito real do ruído.Guardrail metricUma guardrail metric é uma medida que um experimento não deve danificar, mesmo que a primary metric melhore: taxa de cancelamento de subscrição, volume de reclamações, margem, contactos de suporte, desinstalações de aplicações.