Glossário de CRO: significância estatística

Por que a significância estatística é importante?

Se você fizer cara ou coroa com uma moeda jogando-a 10 vezes seguidas, há uma chance de 1 em 1.024 de dar cara todas as vezes—devido simplesmente ao acaso. Essas chances podem parecer baixas, mas se 5.000 pessoas lerem isso e tentarem fazer esse experimento, há uma grande probabilidade de que pelo menos uma dessas pessoas obtenham 10 "caras" seguidas (as chances são de 99,24%). Ao executar qualquer experimento várias vezes seguidas, eventos improváveis (anomalias estatísticas) serão praticamente garantidos.

Da mesma forma, a aleatoriedade nos testes A/B pode produzir resultados que não refletem a realidade. A significância estatística ajuda a determinar o nível de risco que você está disposto a aceitar, e você pode equilibrar a sua busca pela precisão com os recursos disponíveis.

Por exemplo, uma significância estatística mais alta requer um tamanho de amostra maior (se todos os fatores forem iguais), portanto, caso você esteja disposto a aceitar um risco maior de que os seus resultados tenham sido causados por acaso, poderá executar testes com um tamanho de amostra menor. Isso geralmente é necessário quando o tráfego do site é baixo e leva mais tempo para criar um tamanho de amostra maior.

O que significa o "tamanho do efeito"?

O tamanho do efeito (também conhecido como upflit no caso de um aumento, ou downlift no caso de uma redução) é a porcentagem de aumento ou de redução nas conversões entre a Versão A e a Versão B de um teste A/B. Estas são as etapas para calculá-lo:

• Calcule o aumento/diminuição: novo número - número original

• Divida o resultado pelo número original

• Multiplique a resposta por 100

Exemplo #1: A versão A converte a 10% e a versão B converte a 8%. O tamanho do efeito é de 20% (já que a Versão B mostra uma redução de 20% nas conversões).

De acordo com as etapas acima:

• 10 - 8 = uma redução de 2

• 2/10 = 0.2

• 0,2 * 100 = 20% de redução

Exemplo #2: A versão A converte a 10% e a versão B converte a 12%. O tamanho do efeito é, mais uma vez, 20% (já que a Versão B mostra um aumento de 20% na conversão).

Mais uma vez:

• 10 - 12 = um aumento de 2

• 2/10 = 0.2

• 0,2 * 100 = 20% de aumento

PS: no link abaixo você encontrará uma prática calculadora para te ajudar: https://www.skillsyouneed.com/num/percent-change.html

Quando todas as outras variáveis permanecem constantes, um tamanho de efeito maior irá produzir um nível de confiança maior. O motivo é simples—uma grande diferença no desempenho tem menos probabilidade de ser causada pelo acaso, enquanto uma pequena diferença pode ser facilmente causada pela aleatoriedade.

Medição da significância estatística

Os estatísticos usam uma fórmula complexa para calcular a significância estatística, mas você não precisa se preocupar com nada disso. A calculadora de tamanho de amostra permitirá que você calcule o tamanho de amostra necessário ao inserir as informações a seguir:

• Taxa de conversão da linha de base (taxa de conversão atual do seu valor de controle—Versão A)

• Tamanho mínimo do efeito que você deseja detectar

• Significância estatística desejada (em CRO e UX, a porcentagem padrão aceita é de 95%)

Faça alguns experimentos com os números na calculadora acima, e você verá que a relação entre o tamanho da amostra, o tamanho do efeito e a significância estatística ficará evidente.

Mas e se você não tiver muito tráfego no seu site?

Quanto mais elementos você aplicar em testes A/B ou em testes multivariáveis (MVT), mais tráfego você precisará ter para conseguir chegar a conclusões estatisticamente significativas, nas quais possa confiar razoavelmente. Se o seu site não gerar o nível de tráfego necessário para obter esse tipo de tamanho de amostra, você precisará ser mais seletivo ao escolher o que irá testar.

6 maneiras de testar o que é mais importante

Para testar as coisas mais importantes, você precisa descobrir o que é mais importante para o seu mercado-alvo. Aqui estão seis maneiras de fazer suposições fundamentadas sobre o que realmente importa.

1. Examine as avaliações de produtos e o feedback do suporte ao cliente: veja o que os clientes estão dizendo sobre a sua marca e os seus produtos. Converse com as equipes de vendas, de suporte ao cliente e de design de produtos para descobrir o que os clientes realmente esperam obter do seu site/produto.

2. Descubra onde as pessoas estão abandonando o seu site: as ferramentas tradicionais de Web Analytics (como o Google Analytics) podem mostrar a você o ponto exato onde os visitantes estão desistindo e abandonando o seu site, e você pode combinar esses dados com a Ferramenta de Funis de Conversão da Hotjar para descobrir o que está acontecendo, e por que as pessoas estão saindo do site.

3. Descubra com quais elementos da página as pessoas interagem: mapas de calor mostram de uma forma agregada onde os usuários clicam, rolam a tela, e por onde deslizam os ponteiros do mouse (ou onde tocam na tela em um dispositivo móvel ou tablet). Identifique tendências na forma como as pessoas interagem com as principais páginas do seu site para decidir quais elementos devem ser mantidos por estarem funcionando, e quais elementos estão sendo ignorados e precisam ser alterados ou testados.

4. Colete feedback dos clientes: pesquisas na página, enquetes e widgets de feedback podem fornecer um valioso feedback de voz aberta do cliente que ajudará você a entender, através das próprias palavras dos seus clientes, o que precisa ser corrigido e o que mais você precisa fazer.

5. Revise gravações de sessões: veja como os usuários individuais (anônimos) percorrem o seu site, em que pontos das páginas eles tropeçam, e onde ficam presos ou perdidos quando não conseguem encontrar o que estão procurando—principalmente momentos antes de decidirem sair do site.

6. Dê uma olhada nos testes de usabilidade: as ferramentas de teste de usabilidade oferecem informações sobre como as pessoas usam um website. Obtenha feedback direto dos clientes sobre os problemas que estão encontrando durante a navegação, e descubra o que poderia ser feito para melhorar a experiência destes usuários

Dica avançada: a ideia de melhorar a experiência de todos os usuários pode parecer tentadora, mas você obterá resultados muito melhores ao priorizar as melhorias do seu site focando nos seus clientes ideais, antes de todo o resto.