RESOURCES/Metodologia
Como a Markin mede a incrementalidade
Markin mede a incrementalidade com um holdout aleatório anexado a cada decisão, lido ao longo de uma janela de medição completa contra uma métrica primária pré-declarada. Um resultado que não superou o seu controlo não escala. Uplift reportado, conversões atribuídas e comparações post-hoc não são aceites como prova em nenhuma fase.
Román Via-Dufresne, Co-fundador, Markin
Atualizado 4 August 2026 · 8 min de leitura
Solicitar uma demo
Por que a atribuição não é medição
A atribuição de relatórios responde a uma pergunta com a qual ninguém deveria preocupar-se: das pessoas que converteram, quantas interagiram primeiro com este programa. Conta os clientes que teriam convertido de qualquer forma e atribui-os ao programa que os alcançou. É por isso que programas que parecem excelentes durante anos frequentemente desaparecem quando alguém finalmente implementa um control group.
- A Atribuição mede a correlação com um resultado, não o resultado causado.
- Os clientes com maior probabilidade de conversão são também os mais fáceis de alcançar, o que distorce para cima todos os números atribuídos.
- Contactar alguém que teria comprado de qualquer forma tem um custo real que a atribuição reporta como uma vitória.
O design, passo a passo
01
Aleatorizar ao nível do cliente, antes da decisão
A atribuição acontece antes de o Markin escolher uma ação, não depois. Atribuir após a decisão "vaza" a decisão para o grupo de controlo e destrói silenciosamente a comparação.
02
Manter uma parcela estável da população elegível em holdout
O holdout é extraído dos clientes que foram elegíveis para a decisão, não da base em geral. Comparar clientes tratados com a base inteira compara duas populações diferentes e produz um número que é sempre lisonjeiro.
03
Declarar a métrica primária antes do lançamento
Uma métrica primária, expressa em receita, fixada antes da chegada de quaisquer dados. As métricas secundárias são registadas, mas não podem ser promovidas a primárias a posteriori.
04
Lido durante uma janela de medição completa
A janela é definida pelo ciclo de negócio afetado, não pela impaciência. Um upsell de assinatura lido aos sete dias mede a novidade. Lendo-o ao longo de um ciclo de faturação, mede o efeito.
05
Aplicar a regra de paragem
As regras de interrupção são definidas antecipadamente. Espreitar um teste em andamento e parar quando parece bom fabrica significado, e é a forma mais comum de uma boa prática de medição se tornar silenciosamente uma má prática.
06
Escalar ou reformar
Um resultado que supera o controlo ao longo da janela é escalado para o resto da população elegível. Um resultado que não o faz é retirado. Não há um terceiro resultado onde um programa continua a funcionar enquanto alguém pensa sobre isso.
O que conta como evidência, e o que não conta
| Evidência | Aceite | Porquê |
|---|---|---|
| holdout aleatório, janela completa, métrica pré-declarada | Sim | Mede o efeito causado pela decisão. |
| Comparação pré/pós na mesma coorte | No | Não é possível separar a decisão da sazonalidade ou de qualquer outra coisa que tenha mudado. |
| Grupo tratado em relação ao restante da base não exposta | No | Populações diferentes. A seleção por si só produz um resultado positivo. |
| Conversões atribuídas da plataforma de entrega | No | Conta os clientes que teriam convertido de qualquer forma. |
| Uplift previsto pelo modelo | No | Uma previsão, não uma medição. Útil para classificação, nunca para relatórios. |
| Holdout interrompido precocemente porque o resultado parecia bom | No | A paragem opcional inflaciona o tamanho do efeito. |
Por que o 'haircut' existe
A BCG conclui que, quando os programas Next Best Action são testados quanto à incrementalidade, 20% a 40% do aumento medido não sobrevive. A Markin aplica esse corte às projeções antes de serem apresentadas, em vez de depois de um cliente o descobrir.
Pesquisa independenteBCG, incrementalidade em programas de personalização (2026)
Auditar um dos seus próprios programas
Escolha o programa com os números mais promissores. É aí que a surpresa geralmente está.
- Foi um grupo de controlo definido antes do primeiro envio, ou reconstruído depois?
- O controlo foi selecionado entre clientes elegíveis ou de todos os outros?
- A métrica principal foi documentada antes do lançamento?
- A janela reportada foi escolhida antecipadamente ou depois de os dados estarem disponíveis?
- O teste foi interrompido num ponto pré-acordado?
- Se removesse as conversões atribuídas e usasse apenas a comparação do holdout, o programa ainda se pagaria?
Onde os holdout são o instrumento errado
- Comunicações legal ou contratualmente obrigatórias. Não pode retê-las, portanto não há grupo de controlo a reter.
- Efeitos que se espalham pelos clientes, como mecanismos de referência ou de rede, onde o control group é contaminado pelo tratamento.
- Populações elegíveis muito pequenas, onde o teste nunca atingiria poder e a resposta honesta é decidir com base no julgamento.
- Alterações estruturais pontuais sem unidade repetível, que se enquadram numa análise antes/depois com todas as suas ressalvas declaradas.
Markin é uma equipa autónoma de growth-science para grandes empresas B2C. Investiga porque a receita por cliente está estagnada, formula as suas próprias hipóteses em marketing, produto, precificação e saúde técnica, escolhe a Next Best Action para cada cliente, lança-a através dos sistemas que a empresa já utiliza, e comprova cada uma contra um holdout aleatório.
As ferramentas de tomada de decisão escolhem entre as ações que a sua equipa já construiu. A Markin decide o que construir.
Perguntas que as pessoas fazem
- Qual o tamanho ideal para um holdout?
- Suficientemente grande para detetar o menor efeito que mudaria a sua decisão, ao nível de significância sobre o qual está disposto a agir. Para grandes bases B2C, isso é geralmente uma percentagem de um dígito da população elegível, o que é barato. A forma correta de o escolher é um cálculo de poder sobre o efeito mínimo detetável, nunca um número redondo escolhido por parecer seguro.
- Quanto tempo deve ser uma janela de medição?
- Tanto quanto o ciclo de negócio que a decisão afeta. Para uma subscrição mensal, isso significa pelo menos um ciclo de faturação completo, geralmente dois, para que uma compra antecipada não seja contada como incremental. Ler um efeito de receita em sete dias mede a novidade.
- Qual é a diferença entre uplift e incremental revenue?
- O uplift é geralmente a diferença entre clientes tratados e todos os outros, o que é contaminado pela seleção. A receita incremental é a diferença entre um grupo tratado randomizado e um grupo de controlo randomizado retirado da mesma população elegível. Apenas o segundo suporta um business case.
- Pode medir a incrementalidade sem um holdout?
- Às vezes, com métodos quase-experimentais como divisões geográficas, designs switchback ou controlos sintéticos. São legítimos quando a randomização é impossível, e cada um deles assenta em pressupostos que um holdout não exige. Use-os como último recurso, declare os pressupostos e não apresente o resultado como equivalente.
Comparar
Como isto se compara com as categorias que você já compra.
Neutral, side by side reads on where the decision layer sits next to the tools in your stack.
Todas as comparações- Visão 360 do Cliente vs. um sistema de decisãoUm customer 360 mostra tudo o que você sabe sobre um cliente. Um sistema de decisioning transforma isso numa ação comercial classificada. Onde a visibilidade deixa de compensar.
- Personalização vs. decisão de receitaA personalização adapta a experiência. A decisão de receita escolhe qual resultado comercial prosseguir e prova-o em euros. Como os dois diferem na prática.
- Analytics de retenção vs. retention decisioningAnalytics de retenção explica coortes e drivers de churn. Retention decisioning escolhe intervenções e prova a margem retida. Onde ocorre a passagem de tarefas.