A criação de um Produto não acontece do dia para a noite, e para que tenha sucesso é preciso ter uma base concreta sobre como trabalhar a sua gestão para Produtos com alto tráfego ou mais maduros, vale citar a necessidade dos testes A/B para evolui-lo. Aliás, esta é uma das estratégias utilizadas por Product Managers em Product Analytics, pois traz vantagens enormes para o negócio (além de ser uma prática que acaba beneficiando os usuários, no final das contas).
Mas o que é teste A/B?
De maneira clara, um teste A/B nada mais é que a apresentação de duas ou mais versões de uma situação cada uma com uma determinada alteração, que são analisadas após receberem interações. Este método científico adaptado do marketing permite que os profissionais tirem conclusões sobre, por exemplo, qual é formulário que entrega uma experiência melhor para o usuário.
Entre as práticas de uso a estratégia é indicada para diversas situações, entre elas, analisar o desempenho de uma nova funcionalidade no site ou plataforma, verificar mudanças no layout ou até mesmo para descobrir como está a conversão de uma página específica.
Como formular um teste A/B? – e dicas para se colocar em prática
É essencial realizar um planejamento antes de colocar a mão na massa. A arte do achismo não dá certo e vai trazer resultados errôneos para o experimento. Então fique de olho no passo a passo para criar um teste A/B eficiente.
A primeira parte envolve levantar uma hipótese para que a mesma possa ser respondida no final do experimento. É bem provável que você tenha algumas dúvidas em relação às determinadas características de uma página ou performance da interface, pois saiba que agora é a hora de confirmar ou não nas suas suposições.
Caso queira algo mais concreto, faça uso de dados qualitativos para ter uma ideia do que deveria ser testado – aliás, nos módulos 3 e 5 do curso há orientações de como conseguir estes dados.
De acordo com Marcell Almeida, um dos fundadores da PM3 e líder do Product Lab da Catho/Seek, para formular uma hipótese é preciso contar com uma variável, um suposto resultado e um lado racional. Por exemplo, “Se as imagens chamarem mais atenção [variável], então a taxa de clique vai aumentar [resultado], porque sabemos que as imagens são um dos fatores mais importantes para quem busca um imóvel [racional]”.
Ele ainda comenta que o planejamento de um teste A/B precisa ter objetivos bem definidos, um cenário, uma lista de métricas que devem ser impactadas, e ainda uma colaboração direta com o time de UX, Design e Desenvolvimento.
Regras básicas para um teste A/B eficiente
É preciso ficar atento a alguns requisitos para não jogar todo o trabalho fora, afinal, o intuito é que os resultados tragam bons frutos.
O indicado é que o teste rode por pelo menos 2 semanas, ou seja, cerca de 15 dias. Se a página escolhida possuir um tráfego baixo, o tempo se torna ainda mais crucial para que apareçam dados significativos – e neste caso, estender o tempo de duração do teste é o ideal.
Outro ponto é não fechar os olhos para outras hipóteses que estão cercando o Produto. Enquanto um determinado teste está ativo, aproveite para criar outros que sejam relevantes para a evolução do serviço ou plataforma, mas fique sempre de olho no que está acontecendo nos experimentos.
E como se espera, os dados estatísticos vão surgir, e estes precisam ser analisados para que possa se chegar à conclusão de qual interface ou mudanças geraram uma melhor performance frente ao usuário. Os números são a prova concreta da real eficiência do teste, então é fundamental fazer uma análise a fundo e transformar em palavras o que as estatísticas estão mostrando.
Como grandes empresas trabalham com os testes A/B
Marcell realizou diversos testes enquanto ainda trabalhava no VivaReal (atual Grupo Zap, após a fusão) com o propósito de aumentar a taxa de conversão do site – que hoje é um dos maiores portais imobiliários do país.
Uma das dúvidas da equipe de Produto era que os filtros mais importantes não eram priorizados, por isso uma hipótese foi levantada para que houvesse uma investigação. A questão era a seguinte, “Se os usuários filtrarem mais, então a taxa de conversão vai aumentar, porque usuários que filtram mais convertem mais já que eles encontram com maior facilidade o imóvel relevante”.
Ao trazer outros exemplos, vale citar a Netflix, empresa que realiza constantemente testes A/B. O serviço de streaming aplica o experimento em diversas situações, pode ser na mudança do algoritmo, em uma simples mudança de interface ou na escolha das fotos para apresentar filmes e seriados. Um dos objetivos da equipe é analisar como o usuário se comporta frente a determinadas alterações e como é possível melhorar sua experiência na plataforma.
Outros cases são discutidos ao longo do curso da PM3 e você pode descobrir mais sobre a estratégia de testes A/B junto com o time de instrutores, inclusive na aula do Thiago Belluf, Product Manager na OLX. Ele tem uma aula completa, mostrando ferramentas, hipóteses e testes reais em sua aula no Módulo 5 do nosso curso.
Dica final
Para complementar, temos um conteúdo genial sobre o evento Productized, que aconteceu em Lisboa no início de novembro de 2018, uma das palestras foi com a Amber Van Hecke, PM da Atlassian, e ela dá 10 dicas para fazer testes A/B —-> https://www.cursospm3.com.br/blog/por-dentro-do-productized-lisboa
