O Relatório de ROI da Markin para Equipas de Enterprise GrowthLer agora
MARKIN

RESOURCES/Guia

Experiências de crescimento controladas: provar que uma ação causou o resultado

Um experimento de growth controlado mede o que uma ação causou, e não o que a seguiu. Uma população elegível é dividida em tratamento e um controlo randomizado, uma métrica primária e uma janela de observação são fixadas com antecedência, métricas de guardrail protegem contra danos, e o resultado final resolve-se em uma de três decisões: escalar, refinar ou parar.

Román Via-Dufresne, Co-fundador, Markin

Atualizado 7 August 2026 · 9 min de leitura

Solicitar uma demo

A maioria dos relatórios de crescimento não é evidência

Um relatório de campanha informa o que os clientes tratados fizeram. Não pode dizer o que eles teriam feito de qualquer forma, e numa grande base B2C a maioria deles teria feito muitas coisas de qualquer forma. A lacuna entre esses dois números é toda a questão, e geralmente fica sem medição porque medi-la significa deliberadamente reter a ação de alguém.

  • A receita atribuída contabiliza os clientes que iriam converter de qualquer forma.
  • As comparações pré e pós absorvem a sazonalidade, as mudanças de preço e a mistura de tráfego.
  • Uplift sem controlo é uma descrição do grupo tratado, não um efeito.

As seis coisas corrigidas antes de um experimento ser executado

Cada uma destas é escrita antes que o primeiro cliente seja atendido. Decidir qualquer uma delas depois transforma um experimento numa história.

  1. 01

    População elegível

    Quem poderia receber esta ação. Tudo é medido dentro desta população, não na base inteira.

  2. 02

    Tratamento e controlo

    Atribuição aleatória dentro da população elegível. O grupo de controlo não recebe nenhuma ação, nem uma ação diferente, a menos que a questão seja explicitamente uma comparação entre duas ações.

  3. 03

    Métrica primária

    Uma métrica, escolhida antecipadamente, ao nível que o negócio realmente se importa: margem incremental ou receita por cliente elegível, e não taxa de abertura.

  4. 04

    Janela de observação

    Tempo suficiente para capturar o comportamento e qualquer efeito de antecipação. Uma janela que para no primeiro bom número mede o timing, não o valor.

  5. 05

    Salvaguardas

    Métricas que podem parar o experimento independentemente do resultado primário: limites de margem, taxas de cancelamento de subscrição, volume de reclamações, carga de suporte.

  6. 06

    Regra de decisão

    Que resultado leva à escala, ao refinamento ou à interrupção, acordado antes que alguém veja os dados.

A leitura: escalar, refinar ou parar

ResultadoO que significaDecisão
Efeito positivo claro na métrica primária, guardrails intactosA ação vale mais do que não fazer nada para esta população.Escalar, mantendo um pequeno holdout permanente para detetar declínio.
Positivo num subgrupo, estável no geralA população elegível era muito ampla, não a ação errada.Refinar a população e executar novamente, em vez de escalar como está.
Plano ou inconclusivo com poder adequadoA ação não move a métrica a este custo.Parar. Este é um resultado barato e normal, não uma falha.
Subdimensionado, direção incertaA base ou a janela não puderam suportar a questão.Parar ou redesenhar. Não escalar com base numa leitura direcional.
Métrica primária em alta, um guardrail violadoO ganho está a ser pago noutro lugar.Parar e, em seguida, testar novamente com a restrição já incluída no preço.

Por que a disciplina compensa o custo de um holdout

Antes de chamar um resultado de resultado

  • O controlo foi aleatorizado dentro da população elegível ou selecionado posteriormente?
  • A métrica principal foi escolhida antes da chegada dos dados?
  • A janela de observação foi longa o suficiente para ver a reversão do pull-forward?
  • O experimento teria detetado um efeito que valesse a pena, dado o tamanho da base?
  • Algum guardrail moveu-se enquanto a métrica primária melhorou?
  • A regra de decisão é aquela que foi acordada no início?

Quando um experimento controlado é o instrumento errado

  • Populações muito pequenas para atingir a potência numa janela razoável. O julgamento e a evidência qualitativa superam um teste com baixa potência.
  • Alterações que não podem ser eticamente ou legalmente retidas, como uma correção de segurança ou um aviso regulatório.
  • Mudanças estruturais pontuais sem um grupo de controlo comparável, onde um método de série temporal ou de mercado correspondente é mais honesto.
  • Perguntas sobre por que algo acontece. Um experimento mede o efeito, não o mecanismo.

Markin é uma equipa autónoma de growth-science para grandes empresas B2C. Investiga porque a receita por cliente está estagnada, formula as suas próprias hipóteses em marketing, produto, precificação e saúde técnica, escolhe a Next Best Action para cada cliente, lança-a através dos sistemas que a empresa já utiliza, e comprova cada uma contra um holdout aleatório.

As ferramentas de tomada de decisão escolhem entre as ações que a sua equipa já construiu. A Markin decide o que construir.

Perguntas que as pessoas fazem

O que torna um experimento de growth controlado?
Um grupo de controlo randomizado retirado da mesma população elegível, uma métrica primária e uma janela de observação fixadas antes da execução do test, e métricas de guardrail que podem pará-lo. Sem atribuição aleatória dentro da população elegível, as diferenças entre os grupos explicam o resultado tão bem quanto a ação.
Qual o tamanho ideal para um holdout?
Suficientemente grande para detetar o menor efeito que vale a pena agir, e não maior. holdouts superdimensionados custam receita real; os subdimensionados produzem um número sobre o qual ninguém pode agir, o que custa mais. O tamanho resulta da base, da taxa de conversão de linha de base e do tamanho do efeito com o qual se escalaria.
Um resultado nulo é um experimento desperdiçado?
Não. Um resultado neutro com power adequado diz-lhe para não gastar nessa action, o que é uma decisão com valor real. O resultado caro é escalar algo que nunca funcionou, o que é exatamente o que acontece quando não há controlo.

Comparar

Como isto se compara com as categorias que você já compra.

Neutral, side by side reads on where the decision layer sits next to the tools in your stack.

Todas as comparações

Continuar a ler

Como a incrementalidade é medida

O método completo, incluindo as escolhas de janela e de guarda.

Arbitragem de Ações do Cliente

O que está a ser testado quando várias ações competem.

Padrões de evidência

O que um resultado tem que satisfazer antes de o publicarmos.

Experimentação versus tomada de decisão contínua

Onde um programa de teste termina e um sistema de decisão começa.

Vocabulário

Os termos em que este guia se baseia.

Each one is defined on its own page, precisely enough to quote.

Glossário completo