Teste A/B em tráfego pago: como testar sem se enganar

A maior parte dos testes A/B em tráfego pago não prova nada. Não porque o método seja ruim, mas porque a forma de rodar invalida o resultado antes de ele existir.

Testar bem é menos sobre ferramenta e mais sobre disciplina.

As três regras que quase sempre são quebradas

1. Uma variável por vez. Se você troca o criativo e o texto ao mesmo tempo, descobre que uma versão ganhou e não descobre por quê. E como não sabe o porquê, não consegue repetir.

2. Tempo suficiente. Encerrar em três dias é ler ruído. Campanha tem variação por dia da semana, e os primeiros dias ainda refletem a fase de aprendizado do sistema.

3. Volume suficiente. Dez conversões em cada lado não sustentam conclusão nenhuma. Uma diferença de duas conversões parece 20% e pode ser puro acaso.

O que testar, em ordem de impacto

Quase todo mundo começa pelo fim dessa tabela. Testar cor de botão é confortável e raramente muda o resultado do mês. Testar oferta dá trabalho e muda tudo — o ponto de partida está em como montar uma oferta irresistível.

Testar dentro da plataforma ou criando campanhas separadas?

Ferramenta nativa de experimento. Tanto Google quanto Meta oferecem teste A/B nativo, que divide o público de forma limpa entre as versões. É o método mais confiável, porque garante que a mesma pessoa não veja as duas versões.

Campanhas duplicadas. É o que a maioria faz e o que mais produz conclusão errada. Duas campanhas paralelas competem entre si no leilão, podem receber orçamentos desiguais e alcançar públicos diferentes. A diferença de resultado pode não ter nada a ver com a variável testada.

Se for para testar, use a ferramenta nativa. Ela existe justamente para isolar a variável.

Como saber se a diferença é real

Um teste em que a versão A teve 42 conversões e a B teve 47 não mostra vencedor — mostra empate com ruído. A diferença precisa ser grande o bastante para não caber dentro da variação normal.

Uma régua prática, sem estatística formal:

• Diferença abaixo de 10% com poucas dezenas de conversões: inconclusivo.
• Diferença acima de 25%, mantida ao longo de duas semanas completas: provavelmente real.
• Diferença que aparece e some conforme os dias passam: ruído.

Quando o resultado der inconclusivo, a conclusão útil é que aquela variável não importa tanto. Isso também é aprendizado — e libera você para testar algo com mais potencial.

O erro de leitura mais caro

Declarar vencedor pela métrica errada.

A versão B teve custo por lead 30% menor. Parece vitória clara. Mas se os leads da versão B fecham metade das vezes, a versão A é mais lucrativa. Custo por lead é métrica intermediária; a que decide é o custo por cliente fechado.

Esse descompasso aparece o tempo todo em anúncio com formulário simplificado: atrai mais contato, mais barato, e menos qualificado. A hierarquia das métricas está em CPC, CPM, CPA e CTR.

Como isso mudou com a automação

As plataformas passaram a distribuir orçamento automaticamente entre criativos, procurando o vencedor sozinhas. Isso reduz a necessidade de testar criativo manualmente — o sistema já faz isso.

O que continua exigindo teste deliberado:

• Oferta. O sistema não testa a sua oferta; ele distribui a que você deu.
• Página de destino. Fora do alcance da otimização da plataforma.
• Estrutura de campanha. Consolidar ou separar, ligar ou desligar um recurso de automação.
• Meta econômica. CPA ou ROAS mais agressivo ou mais frouxo.

Ou seja: o teste desceu de nível. Em vez de testar qual imagem performa melhor, teste qual proposta comercial converte melhor.

Um método simples que funciona

1. Escreva a hipótese antes de começar: "acredito que X vai melhorar Y porque Z".
2. Defina a métrica de decisão antes de ver qualquer dado.
3. Defina o prazo mínimo antes de começar, e não olhe para encerrar antes.
4. Rode uma variável só.
5. Registre o resultado por escrito, inclusive os inconclusivos.

O item cinco é o que constrói vantagem ao longo do tempo. Empresa que registra o que testou para de repetir o mesmo teste a cada troca de responsável.

← Ver todos os artigos