Glossário de CRO: erro tipo 1

Em testes A/B, os erros tipo 1 ocorrem quando os experimentadores concluem equivocadamente que alguma variação do teste A/B ou teste multivariado superou a(s) outra(s) devido a algo mais que o acaso. Os erros tipo 1 podem prejudicar as conversões quando as empresas fazem alterações no site com base nessas informações incorretas.

Erro tipo 1 x erro tipo 2

Enquanto o erro tipo 1 gera um falso positivo (que uma versão supera a outra), o erro tipo 2 gera um falso negativo. Em outras palavras, um erro tipo 2 conclui falsamente que não há diferença estatisticamente significativa entre as taxas de conversão de diferentes variações quando, na verdade, existe uma diferença.

Veja como isso funciona:

O que causa erros tipo 1?

Os erros tipo 1 podem resultar de duas fontes: acaso aleatório e técnicas de pesquisa inadequadas.

Acaso aleatório: nenhuma amostra aleatória, seja ela uma pesquisa pré-eleitoral ou teste A/B, consegue representar perfeitamente a população que pretende descrever. Como os pesquisadores coletam amostras de uma pequena parte da população total, é possível que os resultados não prevejam ou representem com precisão a realidade — que as conclusões são produto do acaso.

A significância estatística mede as chances de os resultados de um teste A/B terem sido produzidos por acaso. Por exemplo, digamos que você tenha feito um teste A/B que mostra que a versão B supera a versão A com uma significância estatística de 95%. Isso significa que há 5% de chance de esses resultados terem sido produzidos por acaso. É possível aumentar o nível de significância estatística aumentando o tamanho da amostra, mas isso requer mais tráfego e, portanto, leva mais tempo. Basicamente, é preciso encontrar um equilíbrio entre o nível de precisão desejado e os recursos disponíveis.

Técnicas de pesquisa inadequadas: ao executar um teste A/B, é importante reunir dados suficientes para atingir o nível desejado de significância estatística. Pesquisadores descuidados podem começar a executar um teste e encerrá-lo quando sentirem que há um "vencedor claro", muito antes de terem reunido dados suficientes para atingir o nível desejado de significância estatística. Convenhamos, não há desculpa para um erro tipo 1 como esse.

Por que é importante evitar erros tipo 1?

Os erros tipo 1 podem ter um impacto enorme nas conversões. Por exemplo, se você fizer um teste A/B em duas versões de página e concluir incorretamente que a versão B é vencedora, poderá ter uma queda enorme nas conversões ao colocar essa alteração no ar para todos os seus visitantes. Como comentamos acima, isso pode ser o resultado de técnicas de experimentação inadequadas, mas também do acaso. Os erros tipo 1 podem resultar (e de fato resultam) de experimentos impecáveis.

Ao fazer alterações em páginas web com base em testes A/B, é importante entender que você pode estar trabalhando com conclusões incorretas produzidas por erros tipo 1.

Compreender os erros tipo 1 permite que você:

• Escolha o nível de risco que está disposto a aceitar (por exemplo, aumentar o tamanho da amostra para atingir um nível mais alto de significância estatística).

• Faça experimentos adequados para reduzir o risco de erros tipo 1 causados por humanos.

• Perceba quando um erro tipo 1 possa ter causado uma queda nas conversões para corrigir o problema.

É impossível atingir 100% de significância estatística (e geralmente é impraticável almejar 99%, pois isso requer um tamanho de amostra desproporcionalmente grande em comparação com 95%1$s de significância estatística). O objetivo da CRO não é acertar sempre — é fazer as escolhas certas na maioria das vezes. E quando você entende os erros tipo 1, aumenta suas chances de acertar.

Como minimizar os erros tipo 1?

A única maneira de minimizar os erros tipo 1, supondo que você esteja fazendo o teste A/B corretamente, é aumentar o nível de significância estatística. Logo, se quiser um nível maior de significância estatística, precisará de um tamanho de amostra maior.

Não é um desafio estudar grandes amostras se você tem grandes quantidades de tráfego, mas se seu site não gera esse nível de tráfego, precisará ser mais seletivo sobre o que deseja estudar, especialmente se estiver buscando uma maior significância estatística.

Veja a seguir como estreitar o foco de seus experimentos.

6 formas de encontrar os elementos mais importantes para testar

Para testar o que é mais importante, você precisa determinar o que realmente importa para seu público-alvo. Aqui estão seis formas de descobrir o que vale a pena testar.

1. Leia avaliações e fale com o departamento de suporte ao cliente: descubra o que as pessoas pensam da sua marca e dos seus produtos. Converse com as equipes de vendas, suporte ao cliente e design de produtos para ter uma ideia do que as pessoas realmente querem de você e seus produtos.

2. Descubra por que os visitantes saem sem comprar: ferramentas de análise tradicionais (como o Google Analytics) mostram onde as pessoas deixam o site. A combinação desses dados com a ferramenta de funis de conversão do Hotjar fornecerá uma boa noção de quais páginas merecem sua atenção.

3. Identifique elementos de página que as pessoas interagem: os mapas de calor mostram onde a maioria dos usuários clica, rola e passa o ponteiro do mouse (ou toca o dedo em celulares e tablets). Os mapas de calor ajudam você a encontrar tendências sobre como os visitantes interagem com as principais páginas do seu site, o que, por sua vez, o ajuda a decidir quais elementos devem ser mantidos (já que funcionam) e quais estão sendo ignorados e precisam ser examinados.

4. Obtenha feedback dos clientes: pesquisas nas páginas, enquetes e widgets de feedback oferecem aos seus clientes uma maneira rápida de enviar feedback sobre sua experiência. Isso alertará você sobre problemas ocultos e ajudará a priorizar correções para melhorar a experiência.

5. Dê uma olhada nas gravações de sessões: veja como usuários individuais (anônimos) se comportam no seu site. Observe onde eles têm dificuldades e como vão e voltam quando não conseguem encontrar o que precisam. Dica: preste atenção especial ao que eles fazem logo antes de sair do site.

6. Explore os testes de usabilidade: eles podem ajudá-lo a entender como as pessoas veem e experimentam seu site. Capture feedback das pessoas sobre os problemas que encontram e descubra o que poderia melhorar sua experiência.

Dica: você quer melhorar a experiência de todo mundo? Isso pode ser tentador, mas você irá muito mais longe se focar nos seus clientes ideais. Para saber mais sobre como identificar seus clientes ideais, confira nosso guia sobre criação de personas de usuário simples.