Posso encerrar o teste A/B assim que bater significância?

O teste está rodando há três dias. Você abre o painel e vê a variante B na frente, com significância de 95%. A tentação é encerrar, declarar o vencedor e seguir para o próximo teste.

A resposta depende de como o seu teste calcula a significância. Em um tipo de teste, parar nesse momento invalida o resultado. Em outro, é permitido.

Resumo rápido: em um teste de amostra fixa, como o teste t, olhar o resultado várias vezes e parar quando ele fica significativo aumenta a chance de falso positivo. Em um teste sequencial, o resultado continua válido a qualquer momento. Mesmo assim, significância não é suficiente: confira a divisão do tráfego, o efeito ao longo do tempo e o público do teste.

A resposta curta: depende do método

Existem duas famílias de métodos, e a pergunta tem respostas diferentes em cada uma.

• Amostra fixa (horizonte fixo): você define o tamanho da amostra antes, espera chegar a ele e só então lê o resultado. Parar antes, só porque ficou significativo, invalida a leitura.
• Sequencial: o método é feito para acompanhar o resultado conforme os dados chegam. A significância continua válida quando você olha.

Descubra qual dos dois a sua ferramenta usa antes de decidir qualquer coisa.

Por que espiar infla os falsos positivos

A significância de 95% vale para um cenário específico: uma única leitura, feita no tamanho de amostra definido antes do teste. Se você olha várias vezes, cada olhada é uma nova chance de o acaso parecer um efeito.

Evan Miller, em How Not To Run an A/B Test (2010, atualizado em 2013, consultado em 17/10/2026), mostra isso com contas. Num exemplo com taxa de conversão base de 50% e limiar de 5%, checar o resultado a cada observação leva a 26,1% de falsos positivos. Ele diz que esse valor é mais de cinco vezes o nível que se imagina ter. Quando o tamanho da amostra não é fixado antes, afirma o autor, os níveis de significância reportados perdem o sentido.

O Amplitude Experiment (consultado em 17/10/2026) descreve o mesmo problema. Segundo a documentação, testes de horizonte fixo, como o teste t, podem dar falsos positivos inflados quando se revisam os resultados no meio do teste. Nas simulações da página, os falsos positivos do teste t chegaram a 30% a 50%. No teste sequencial, com alfa de 0,05, ficaram perto de 5%. São simulações da própria ferramenta, e servem como ilustração do efeito, não como número para o seu caso.

A página de significância do Amplitude (consultada em 17/10/2026) segue a lógica de amostra fixa. O teste t só roda depois que cada variante atinge a amostra calculada, e analisar os dados antes disso aumenta as taxas de erro.

O que muda no teste sequencial

Johari, Pekelis e Walsh propuseram valores-p e intervalos de confiança "sempre válidos" no artigo Always Valid Inference (2015, revisado em 2019, consultado em 17/10/2026). A ideia é que a inferência permaneça válida mesmo quando o usuário monitora o teste continuamente e decide quando agir. Os autores dizem que o método foi implementado em uma grande plataforma comercial de testes A/B.

O Amplitude usa uma família de testes sequenciais chamada mSPRT. A documentação diz que, com o teste sequencial, os resultados permanecem válidos sempre que você os vê. Também diz que dá para encerrar o teste cedo, com base nas observações até aquele ponto. O número médio de observações necessárias é bem menor do que no teste t.

Isso responde à pergunta para quem usa um método sequencial: sim, é permitido parar quando o valor-p cai abaixo do limiar. Mas confirme na sua ferramenta como o cálculo é feito. Um painel pode mostrar um valor-p de amostra fixa e deixar você olhar o tempo todo.

Mesmo com método válido, significância não basta

O método estatístico só garante que o acaso é pouco provável. Ele não garante que o ganho se sustente. Três checagens continuam valendo.

1. A divisão do tráfego saiu como planejada? Um erro de instrumentação pode produzir um resultado significativo que não é real. Veja Por que o vencedor do teste A/B some depois do rollout?.
2. O efeito se mantém ao longo do tempo? Um teste curto pode medir a reação à novidade, não a preferência pelo novo desenho.
3. Os eventos medidos estão corretos? Um evento duplicado ou fora do padrão distorce o resultado. Veja Como montar um tracking plan antes da feature ir ao ar.

As fontes dessas checagens estão nos dois textos ligados acima. A recomendação de fazê-las antes de declarar o vencedor é minha.

Teste sem vencedor é tempo perdido?

Não. Esta é minha opinião, e a defendo assim: um teste sem vencedor informa que o efeito, se existe, é menor do que o teste conseguia detectar. Isso evita um rollout caro com ganho incerto.

O que torna o teste inconclusivo um desperdício é não registrar nada. Anote a hipótese, o tamanho da amostra, o resultado e a decisão. Com esse histórico, você aprende que tipo de mudança tende a mover a métrica no seu produto.

Como decidir quando encerrar

1. Escolha o método antes de começar. Amostra fixa ou sequencial, e registre a escolha.
2. Se for amostra fixa, defina a amostra antes. O Amplitude oferece um estimador de duração que calcula a amostra necessária por variante. Use uma calculadora equivalente em outras ferramentas.
3. Escreva a regra de parada. Por exemplo: "encerrar ao atingir a amostra por variante" ou "encerrar quando o resultado sequencial passar do limiar e as checagens de integridade estiverem corretas".
4. Não mude a regra depois de ver os dados. Ajustar o critério depois de olhar o resultado reabre a porta para o falso positivo.
5. Cubra um ciclo completo de uso. Se o seu produto tem padrão semanal, o teste deve incluir semanas inteiras. Isso é uma recomendação minha, sem fonte específica.
6. Faça as três checagens da seção anterior antes de declarar o vencedor.
7. Registre o resultado, mesmo sem vencedor.

Perguntas frequentes

Posso olhar o painel antes de o teste terminar?

Olhar não é o problema. O problema é decidir parar com base no que você viu, quando o método é de amostra fixa.

O que é peeking?

É espiar o resultado várias vezes durante o teste e parar quando ele fica significativo. Em amostra fixa, isso aumenta a taxa de falsos positivos.

O teste sequencial resolve tudo?

Resolve a questão de olhar o resultado várias vezes. Não resolve erro de medição, efeito de novidade ou diferença entre o público do teste e o do rollout.

Quanto tempo um teste deve rodar?

Depende do tamanho da amostra necessária e do seu tráfego. Use o estimador da sua ferramenta e inclua ciclos completos de uso. Não existe um número de dias que sirva para todo produto.

O que fazer agora

Abra o último teste que você encerrou e responda a três perguntas: qual método ele usava, qual era a regra de parada e quando ela foi escrita. Se a regra surgiu depois de ver o resultado, trate o vencedor como hipótese a confirmar.

Nota de IA: usei inteligência artificial na pesquisa e no rascunho deste texto. As fontes foram conferidas nas páginas citadas, e a revisão e as opiniões são minhas. Trabalho com Amplitude e tenho a certificação Amplitude Data Management, sem patrocínio nem parceria com Amplitude ou Google. Este texto usa apenas fontes públicas. Como escrevo.