O que é "Teste A/B"

Metodologias

Definição

Teste A/B, ou teste dividido, é um método de testagem do Design, que compara o mesmo elemento de um sistema em cenários distintos e controlados.

 

Origem do termo

Sua primeira menção foi no Google Trends, em novembro de 2008, sendo o próprio Google responsável por popularizar o tema ao realizar uma infinidade de testes diferentes comparando o tráfego e o sucesso em cenários diferentes. Você sabia que a cor dos links dos resultados de busca do Google foi otimizada utilizando a metodologia de teste A/B para definir qual azul conseguia mais cliques?

 

Como calcular o resultado do teste

Tipicamente, em testes A/B, a variável que apresenta maior relevância estatística é a declarada “vencedora”.

Como usar o termo "Teste A/B" na prática

Para este exemplo, utilizaremos o CRO, Conversion Rate Optimization (Otimização da Taxa de Conversão), como base.

Em um ambiente onde você pretende otimizar a Taxa de Conversão, os testes devem ser direcionados para encontrar formas diferentes de provocar um aumento no sucesso desta taxa, que significa aumentar o % de pessoas que entram em um fluxo e finalizam com o sucesso desejado. 

No exemplo abaixo, temos um exemplo de teste, onde os botões para contratação terão suas cores testadas:

 

O elemento testado neste caso é o botão Call-to-Action (CTA) e a variável dividida é a cor deles. O elemento que apresentar melhor taxa de cliques, CTR (cliques que resultem em uma venda), é o vencedor. Para realizar a otimização, devemos adotar o elemento que apresentou melhor performance.

 

Erros de teste

Durante a realização do teste de variáveis divididos, é importante sempre manter a mentalidade de Mínimo Teste Viável e “travar as variáveis”. Para cada teste A/B realizado, é necessário que apenas uma variável seja testada, pois uma mudança nas variáveis pode enviesar o resultado do teste. Considere variáveis:

  • Origem do tráfego: o teste deve ser realizado com tráfego de segmentação igual;
  • Recurso modificado: o teste deve ter somente um recurso modificado por ensaio;
  • Período: realizar os testes em janelas simétricas de tempo;
  • Sazonalidade: não deslocar os testes em períodos distintos, como um mês comum vs black friday.

 

O teste não é válido neste exemplo, pois há uma quebra na trava das variáveis. Há mais que uma modificação no recurso que irá gerar desvios no teste: a cor do botão e o texto do botão foram modificados.

 

Testes A/B nos cursos da PM3

Há dois cursos que abordamos com muita profundidade este tema. O primeiro é o Curso de Product Management, no qual o Thiago Belluf dá uma aula completa de como desenvolvem testes A/B no OLX Brasil – chegando a abrir a ferramenta e mostrar no detalhe como analisava cada interação.

 

No Curso de Product Growth, o Eduardo Horvath, CPO no Getninjas mostra as melhores práticas para otimizar as suas conversões e assim aumentar as chances de sucesso nos seus testes A/B.

Conteúdos sobre o tema

Confira o conteúdo abaixo para se aprofundar mais no tema de Testes A/B: 

 

Você tem vontade de elevar a barra em produto no Brasil?

A PM3, contando com a ajuda da comunidade, está construindo o primeiro Glossário de Produto do Brasil e você pode fazer parte disso!

Ficou com vontade de ajudar também?

Clique aqui e registre sua colaboração. Ah, nós sempre damos os devidos créditos às pessoas. 😉