Testes multivariados: uma definição

Enquanto um teste A/B compara uma versão padrão "A" de uma página de destino com uma versão "B" (modificada), o teste multivariado altera mais de uma variável, testando todas as combinações resultantes, umas contra as outras, simultaneamente. Por exemplo, um teste multivariado que estuda duas imagens e quatro chamadas para ação (CTAs) testaria oito versões simultaneamente, permitindo que você possa determinar qual delas é a versão mais otimizada.

Quantas versões são necessárias para um determinado teste?

Use a seguinte fórmula para calcular quantas versões de sites são necessárias para um determinado teste multivariado:

[número de variações para o primeiro elemento] x [número de variações para o segundo elemento] = número total de versões a serem testadas.

Aqui está um exemplo prático: você está criando um botão clicável que requer uma imagem e uma linha de texto. Com base em pesquisas, você reduziu as suas opções para:

• 2 imagens diferentes (uma estrela e um smiley sorridente)

• 3 linhas diferentes ("experimente agora", "comprar" e "fazer o seu pedido")

De quantas versões você precisa?

[2 imagens] x [3 CTAs] = 6 versões

Por que o teste multivariado é importante?

Assim como o teste A/B, o teste multivariado elimina as suposições da otimização da taxa de conversão (CRO), e permite que você teste suas teorias de otimização. Os usuários informam qual versão do site provavelmente produzirá mais conversões, e com base nesse feedback, você pode efetuar alterações no seu site.

Duas vantagens do multivariate testing (MVT) em relação ao teste A/B

O teste multivariado tem as seguintes vantagens:

• Não existe a necessidade de executar uma longa série de testes A/B sequenciais.

  Ao invés disso, todos os testes são executados simultaneamente: isso permite uma rápida coleta de conhecimento através de um conjunto maior de combinações possíveis.

• Você pode visualizar rapidamente como uma série de variáveis interagem umas com as outras.

  Por exemplo, uma versão de um CTA pode funcionar melhor do que outro CTA como uma alteração isolada, mas seu desempenho pode cair quando combinado com uma imagem diferente. O teste multivariado mostra como um conjunto de variações de página se combina para aumentar ou diminuir as conversões.

A desvantagem do teste multivariado

A maioria dos softwares de teste de divisão A/B permite que você execute testes multivariados e calcule facilmente os resultados, mas há uma possível desvantagem: os testes multivariados exigem uma quantidade maior de tráfego para obter significância estatística do que os testes A/B, simplesmente porque há um número maior de páginas para testar.

Antes de executar um teste multivariado, use uma calculadora de tamanho de amostra para estimar a quantidade de tráfego que você precisará por variação, para obter resultados estatisticamente significativos. Se o tamanho da amostra necessário inviabilizar a execução do teste, reduza o número de variáveis e/ou teste somente as alterações mais importantes.

O teste multivariado NÃO é uma maneira de encontrar novas ideias

A otimização da taxa de conversão (CRO) não é apenas uma série de testes A/B ou multivariados, e os testes multivariados não servem para descobrir novas ideias. De fato, o teste é a última etapa do processo de CRO.

Antes de testar qualquer coisa (ou até mesmo antes de começar a fazer um brainstorming de diferentes versões de páginas de destino), primeiro crie hipóteses baseadas em dados sobre como criar uma experiência melhor e aumentar as conversões. Isso significa responder a perguntas como:

• Em que momento exato os visitantes desistem e abandonam o seu site?

• Com quais elementos os visitantes engajam?

• Quais elementos os visitantes ignoram?

• O que os visitantes almejam alcançar, e como seu website pode ajudá-los a atingir esses objetivos?

6 etapas para encontrar variáveis a serem testadas

Antes de se comprometer com esse método de teste, vale a pena fazer a devida diligência e entender os pré-requisitos para um teste bem-sucedido que obtenha resultados significativos:

1. Realize pesquisas informais: estude as avaliações de produtos deixadas pelos seus clientes, analise o feedback recebido pelo Suporte ao Cliente para ver o que as pessoas estão dizendo sobre você e sobre os seus produtos. Converse com os seus designers, com a equipe de vendas e de suporte.

2. Descubra o ponto exato onde as pessoas abandonam o seu site: use ferramentas (como o Google Analytics) e a Hotjar para descobrir o ponto onde os visitantes estão saindo do seu site, e os motivos por trás disso.

3. Descubra com quais elementos da página as pessoas estão mais engajando: veja onde a maioria dos usuários clica, rola a tela e passa o mouse (ou toca os dedos, no caso de dispositivos móveis). Identifique tendências que mostram como os visitantes interagem com as páginas mais importantes do seu site, e concentre-se nos elementos que podem afetar as conversões caso sejam alterados.

4. Obtenha feedback dos seus clientes: use widgets de feedback e pesquisas no site para coletar feedback aberto sobre como os visitantes veem o seu site e o que eles realmente esperam dele.

5. Observe: observe cada usuário individualmente (de forma anônima) à medida que eles navegam pelo seu site. Observe o que eles estavam fazendo logo antes de decidirem sair.

6. Explore os testes de usabilidade: obtenha insights valiosos sobre como as pessoas realmente usam o seu site. Obtenha feedback direto sobre os problemas que os visitantes estão encontrando, e as soluções que eles gostariam de ver para esses pontos de dor.

Depois de coletar alguns dados sólidos, é hora de formular uma hipótese e começar a pensar em elementos testáveis. Concentre a sua energia nos itens que provavelmente oferecerão o maior retorno, e encontre um equilíbrio ideal entre o seu desejo de testar muitas variáveis com o tráfego e os recursos que você tem à sua disposição.