Testagem sequencial
Também chamado: Always-valid inference
A testagem sequencial permite que os resultados sejam monitorizados continuamente e parados mais cedo sem inflacionar falsos positivos, usando intervalos de confiança sempre válidos em vez de uma única verificação de horizonte fixo. Formaliza a "espreitadela" que as equipas já fazem.
Por que é importante para o ARPU
É o que torna o decisioning contínuo estatisticamente legítimo: as decisões podem ser tomadas assim que as evidências as apoiam, não apenas numa data de read-out programada.
Termos relacionados
A/B testUm A/B test atribui aleatoriamente clientes a duas ou mais variantes e compara uma métrica pré-declarada entre elas.Poder estatísticoO poder estatístico é a probabilidade de um teste detetar um efeito de um determinado tamanho quando esse efeito é real.Multi-armed banditUm multi-armed bandit aloca tráfego adaptativamente para variantes que estão a ter um bom desempenho, enquanto continua a amostrar as outras.ExperimentoUm experimento é um lançamento controlado de uma ação candidata contra um holdout aleatório, dimensionado antecipadamente para que o resultado possa distinguir um efeito real do ruído.