Sean Ellis Survey: o que é, como aplicar e relação com o Product-Market Fit
Anselmo Filho

Anselmo Filho

Senior Product Manager

6 minutos de leitura

banner lateral lista de espera CP10

Startups em estágio inicial de desenvolvimento geralmente representam um ambiente de grandes incertezas. “Encontramos um problema a ser resolvido? Esse problema é grande o suficiente para ser resolvido? Como podemos obter retornos financeiros ao resolver esse problema?”

Quando conversamos com os nossos clientes, ou possíveis clientes, alguns podem dizer que o problema é muito importante. Inclusive podem até te dar uma solução, ou várias, logo de cara.

O fato é que, nesse momento de desenvolvimento do produto e negócio, há muita subjetividade nas decisões. São muitas demandas e poucos recursos.

Com esses poucos recursos, geralmente não há tempo para realizar trabalho tecnológico de compreensão de produto, como eventos, data lake e integrações com ferramentas focadas em análise de dados de produto. Afinal, o caixa é escasso e o tempo mais escasso ainda. Isso sem falar na ansiedade por resultados concretos e a ambição por um crescimento acelerado.

De fato, ser assertivo nas suas decisões para não perder caixa e tempo é extremamente importante. Encontrar esse equilíbrio entre um problema grande suficiente e a solução proposta não é uma tarefa fácil.

A aderência do seu produto ao mercado, também conhecido como Product-Market Fit (PMF), é determinante para definir quando você pode jogar gasolina na sua fogueira ao conciliar a entrega de valor do seu produto com um problema real.

Essa gasolina vai fazer você escalar (aumento da aquisição), seu produto vai segurar seus clientes (mantimento da retenção) e eles vão indicar o seu produto para outros possíveis clientes (aumento da referência).

Consequentemente, isso vai satisfazer sua ansiedade e ambição. Ou seja, seu produto vai se sustentar e escalar o próprio crescimento, pensando em uma estratégia de Product-led Growth.

Mas, como saber qual é o momento certo? A Sean Ellis Survey pode te ajudar.

O que é Sean Ellis Survey?

Sean Ellis, autor de “Hacking Growth” e guru de Product Growth, tem uma técnica simples que ajuda as equipes de Produto a medir se alcançaram seu PMF ou não através da sua satisfação com o próprio produto.

O teste, que é chamado de Sean Ellis Test ou The 40% Test, é uma pesquisa feita junto aos clientes.

Se 40% dos clientes pesquisados disserem que ficariam “muito desapontados” se não pudessem mais usar o produto, então o seu produto pode sustentar o seu crescimento.

A principal pergunta do teste é: “como você se sentiria se não pudesse mais usar o produto?

A partir dela, os participantes podem escolher entre as seguintes opções:

  • Muito desapontado;
  • De certa forma desapontado;
  • Não ficaria desapontado;
  • Eu não uso mais esse produto.

Parece mágica, né? Mas não é.

Ellis conduziu esse teste através de uma pesquisa extensiva com startups que conseguiram criar produtos e negócios com alto crescimento sustentável.

Um dos casos de uso mais famosos foi quando Raul Vhora, fundador do SuperHuman, se valeu dos ensinamentos de Sean e, em conjunto com algumas perguntas qualitativas, realizou a pesquisa com os seus Beta-testers.

Com isso, utilizou-se dos dados coletados para definir a estratégia da empresa e produto, visando escalar com sustentabilidade.

Sean Ellis Survey

Fonte: How Superhuman Built an Engine to Find Product-Market Fit

Como aplicar a Sean Ellis Survey

Para modelos B2B, a Sean Ellis Survey não é tão diretamente aplicável. Será necessário principalmente uma segmentação de cada perfil e persona. O case do SuperHuman explica muito bem isso.

Por exemplo: digamos que você tenha um produto que aumente a eficiência de times financeiros. A percepção de valor do seu produto de um CFO (Chief Financial Officer) é bem diferente do Analista de Contas a Pagar.

Compreender qual a jornada de cada tomador de decisão, suas alçadas de influência e utilização do produto é determinante para o seu sucesso.

Afinal, é possível que quem e como se usa (engajamento/retenção) é diferente de quem paga (receita), e a percepção de satisfação pode mudar com cada perfil.

Porém, para modelos mais B2C, o teste é mais apropriado.

A recomendação de Ellis é que a pesquisa ocorra em uma amostra aleatória de pessoas, das quais:

  • Experimentaram as funcionalidades chave que seu produto tem a oferecer;
  • Usaram o seu produto pelo menos duas vezes;
  • Usaram o seu produto nas duas últimas semanas.

E se eu ficar abaixo dos 40%?

“Devo fechar a minha startup?” Não, se acalme e olhe os dados.

É muito importante que você compreenda os números de cada segmento separadamente. Pode haver um caso em que o produto não dê tanta sensação de aderência nas primeiras tentativas. Sendo assim, cabe a você revisar as propostas de valor para o cliente em suas primeiras interações com o produto.

Sean Ellis recomenda que o seu foco nesse momento deve ser compreender cada vez mais a jornada do grupo que se encontra na categoria dos “de certa forma desapontados”. Esse grupo geralmente já experimentou funcionalidades que são mais “comodites” do seu produto e ainda não experimentaram o seu valor principal.

Lembrando que, por sí só, essa análise é até um pouco binária. Essa binaridade (abaixo ou acima do 40%) não nos dá muito insumo para iterar ou até mesmo pivotar o modelo de negócio. Dessa forma, Ellis também sugere uma sequência de perguntas mais abertas que podem engrossar mais o caldo do seu feijão, como:

  • Você já chegou a recomendar o produto para alguém?
  • Como você descobriu o produto?
  • Quais alternativas você utilizaria caso o produto deixasse de ser disponível?
  • Quais são os principais benefícios que você tira do produto?
  • Quem você acredita que se beneficiaria do produto?
  • Como você melhoraria o produto para melhor atender as suas necessidade?

Todas essas perguntas detalhadas e a forma de implementação você pode encontrar no site PM Survey.

Concluindo

É normal ter um olhar de desconfiança sobre a Sean Ellis Survey.

Temos que lembrar que essa métrica é uma definição empírica. Uma análise da sua retenção e ativação também é essencial para esse momento. Afinal, você está botando em jogo as decisões da sua startup em um número que muitas vezes parece mágico. No entanto, é muito mais sobre o processo de entendimento e descobrimento. Nesse sentido, essa pesquisa é mais um sinal dentro de uma análise mais robusta de métricas.

Na minha experiência, quando você está crescendo 10-15% por semana (as vezes até 30%), faturamento explodindo, indicação subindo loucamente (CAC diminuindo) e de repente começa a ter lucro, você já tem ótimos sinais de que já encontrou o seu PMF. Isso, é claro, além de compreender as dores e necessidades do seu nicho através de entrevistas com muitos clientes.

Aí não precisa mais de fé, os resultados falam por si só!

Leia também: