Holdout group
Também chamado: Control group
Um holdout é um conjunto de clientes selecionado aleatoriamente e deliberadamente excluído de uma ação, mantido como o contrafactual. Um global holdout, excluído de toda a atividade, mede a contribuição incremental total de um programa de growth em vez de qualquer campanha individual.
Por que é importante para o ARPU
Sem um holdout, um programa reporta a receita que tocou, não a receita que criou. Cada experimento Markin inclui um exatamente por esta razão.
Termos relacionados
IncrementalidadeIncrementality é a porção de um resultado que não teria acontecido sem a ação.A/B testUm A/B test atribui aleatoriamente clientes a duas ou mais variantes e compara uma métrica pré-declarada entre elas.ExperimentoUm experimento é um lançamento controlado de uma ação candidata contra um holdout aleatório, dimensionado antecipadamente para que o resultado possa distinguir um efeito real do ruído.Modelo de upliftUm uplift model estima a alteração no resultado causada pelo tratamento de um cliente, em vez do resultado em si.