Grupo de controle: o que é e por que sem ele você não sabe o que funcionou
O que é grupo de controle, por que ele é essencial para medir campanhas e mudanças, como montar um no seu negócio e os erros que invalidam a comparação.
As vendas subiram 15% no mês da campanha. A campanha funcionou? Talvez. Ou talvez fosse um mês naturalmente mais forte, ou o concorrente tivesse ficado sem estoque, ou o salário tivesse caído mais cedo. Sem um grupo de controle, não há como saber.
Este guia explica o conceito, mostra como montar grupos de controle no dia a dia da empresa e os erros que tornam a comparação inútil.
O que é grupo de controle
Em um experimento, o público é dividido em dois grupos:
- Grupo de tratamento: recebe a ação (a campanha, o desconto, o novo processo).
- Grupo de controle: não recebe, ou recebe a versão atual.
A diferença de resultado entre os dois é a estimativa do efeito da ação. A ideia vem da pesquisa científica, especialmente dos ensaios clínicos, em que um grupo recebe o tratamento e outro não, para separar o efeito do remédio de todo o resto.
Por que antes e depois engana
| Fator | Como distorce o "antes e depois" |
|---|---|
| Sazonalidade | Dezembro vende mais que novembro com ou sem campanha |
| Tendência | Um negócio em crescimento sobe mesmo sem ação nova |
| Eventos externos | Clima, notícias, feriados, ações dos concorrentes |
| Regressão à média | Depois de um mês muito ruim, o seguinte tende a ser melhor naturalmente |
| Acaso | Variações normais de semana para semana |
Com um grupo de controle, todos esses fatores atingem os dois grupos igualmente. A diferença que sobra é o efeito da ação. O artigo sobre correlação e causalidade aprofunda esse raciocínio.
Como montar um grupo de controle
- Defina a ação e o resultado que vai medir (vendas, recompra, cancelamento).
- Separe o público por sorteio, e não por escolha. Um sorteio simples numa planilha resolve.
- Decida o tamanho do controle. Muitas empresas usam de 10% a 50% do público, dependendo do custo de deixar pessoas sem a ação.
- Aplique a ação só no grupo de tratamento e mantenha tudo o mais igual.
- Meça o resultado nos dois grupos pelo mesmo período.
- Compare a diferença e verifique se ela é maior que a variação esperada por acaso.
Exemplos práticos
- E-mail de reativação: envie para 80% dos clientes inativos, sorteados; os outros 20% não recebem. Compare a taxa de volta.
- Programa de fidelidade: ofereça em algumas lojas, sorteadas entre lojas parecidas, e compare com as demais.
- Desconto para clientes antigos: sorteie quem recebe o cupom e compare a compra dos dois grupos.
- Treinamento da equipe: treine parte dos vendedores primeiro e compare os resultados antes de treinar todos.
Qual deve ser o tamanho dos grupos
Grupos pequenos variam muito por acaso. Com 30 clientes em cada lado, uma diferença de alguns pontos pode ser pura sorte. O tamanho necessário depende do tamanho do efeito esperado e da variação natural do resultado. O guia de tamanho de amostra e o de significância estatística explicam como avaliar.
Grupo de controle permanente (holdout)
Algumas empresas mantêm um pequeno grupo de clientes que não recebe nenhuma comunicação de marketing por um período, o chamado holdout. Isso permite medir o efeito acumulado de todas as ações juntas, algo impossível de ver campanha a campanha.
Quando não dá para ter grupo de controle
Às vezes não é possível: uma mudança de preço na loja física, uma campanha na TV aberta, uma nova embalagem no supermercado. Alternativas:
- Comparar regiões ou lojas parecidas, aplicando a mudança em umas e não em outras.
- Introduzir a mudança em etapas, usando as unidades que ainda não mudaram como controle temporário.
- Simular antes, comparando as versões com um público sintético, para escolher a melhor opção antes de aplicar a todos.
O que é grupo de controle?
É a parte do público que não recebe a ação avaliada. Comparar o resultado dele com o do grupo que recebeu mostra o efeito real da ação.
Por que o grupo de controle precisa ser sorteado?
Porque o sorteio faz os dois grupos ficarem parecidos em todas as características, conhecidas ou não. Escolher a dedo cria diferenças que se misturam com o efeito da ação.
Qual a diferença entre grupo de controle e teste A/B?
O teste A/B compara duas versões. Quando uma das versões é "não fazer nada" ou "manter como está", ela funciona como grupo de controle. O conceito é o mesmo.
Deixar clientes sem a campanha não é perder vendas?
No curto prazo, pode ser. Mas sem o controle você pode estar gastando em ações que não trazem nada. O custo de um grupo de controle pequeno costuma ser bem menor que o de investir no escuro.