Glosario CRO: Significación estadística

¿Por qué es importante la significación estadística?

Si lanzas una moneda al aire 10 veces seguidas, tienes una probabilidad de 1 sobre 1024 de que salga cara en todas las ocasiones, nada más que por azar. Esas probabilidades pueden parecer bajas, pero si 5000 personas leen estas palabras e intentan este experimento, la probabilidad de que al menos 1 de ellas obtenga 10 caras seguidas es alta (las probabilidades son del 99,24 %). Si se hace cualquier experimento las veces suficientes, los sucesos improbables (anomalías estadísticas) estarán prácticamente garantizados.

Del mismo modo, la aleatoriedad en las pruebas A/B puede generar resultados que no reflejen la realidad. La significación estadística te ayuda a determinar el nivel de riesgo que podrías aceptar y a encontrar un equilibrio entre la precisión que deseas y los recursos que tienes.

Por ejemplo, cuanto más grande sea el tamaño de la muestra, mayor será el nivel de significación estadística. Por lo tanto, si no te importara asumir un riesgo mayor de que tus resultados se deban al azar, puedes hacer pruebas con una muestra más pequeña, lo que suele ser necesario cuando el tráfico del sitio web es bajo y se tarda más en conseguir una muestra de gran tamaño.

¿Qué significa "tamaño del efecto"?

El tamaño del efecto (también conocido como upflit en caso de aumento o downlift en caso de disminución) es el porcentaje de aumento o disminución de las conversiones entre la versión A y la versión B de una prueba A/B. Para calcularlo, se deben seguir estos pasos:

• Calcula el aumento/disminución: número nuevo - número original

• Divide el resultado por el número original

• Multiplica por 100 el resultado de la división anterior

Ejemplo n.º 1: La tasa de conversión de la versión A es del 10 % y la de la versión B es del 8 %. El tamaño del efecto es del 20 % (ya que la versión B muestra una disminución del 20 % en las conversiones).

Según los pasos anteriores, este sería el cálculo:

• 10 - 8 = una disminución del 2

• 2 ÷ 10 = 0,2

• 0,2 x 100 = 20 % de disminución

Ejemplo n.º 2: La tasa de conversión de la versión A es del 10 % y la de la versión B es del 12 %. El tamaño del efecto es, una vez más, del 20 % (ya que la versión B muestra un aumento del 20 % en la conversión).

En este caso, el cálculo sería:

• 10 - 12 = un aumento del 2

• 2 ÷ 10 = 0,2

• 0,2 x 100 = 20 % de aumento

P. D.: Tienes una práctica calculadora en esta página: https://www.skillsyouneed.com/num/percent-change.html

Cuando todas las demás variables permanecen constantes, un tamaño del efecto mayor genera un nivel de confianza mayor. La razón es sencilla: es menos probable que una diferencia importante en el rendimiento se deba al azar, mientras que es más fácil que una diferencia pequeña sea resultado de la aleatoriedad.

Medición de la significación estadística

La fórmula para calcular la significación estadística es compleja, pero tú puedes utilizar una calculadora del tamaño de la muestra para conseguir la siguiente información:

• Tasa de conversión de referencia (tasa de conversión actual de la versión de control A)

• Tamaño mínimo del efecto que deseas detectar

• Significación estadística deseada (en CRO y UX, el estándar aceptado es del 95 %)

Prueba la herramienta anterior para calcular el tamaño de la muestra, el tamaño del efecto y la significación estadística.

¿Y si no recibes mucho tráfico?

Cuantos más elementos analices con test A/B o test multivariante más tráfico necesitarás para sacar conclusiones estadísticamente significativas en las que poder confiar. Si tu sitio web no genera el nivel de tráfico necesario para obtener el tamaño de muestra que necesitas, deberás acotar los elementos que quieres probar.

6 formas de identificar los elementos más importantes con los que debes hacer pruebas

Para hacer pruebas con los elementos más relevantes, debes averiguar qué le importa más a tu mercado objetivo. A continuación tienes 6 formas de hacer conjeturas con fundamento sobre qué importa realmente.

1. Consulta las reseñas de los productos y el feedback del equipo de atención al cliente: Entérate de qué dicen los clientes sobre tu marca y tus productos. Habla con tus equipos de ventas, atención al cliente y diseño de productos para averiguar qué quieren realmente tus clientes de tu sitio web o producto.

2. Averigua dónde abandona la gente tu sitio web: Utiliza herramientas de analítica tradicional (como Google Analytics) para observar dónde abandonan los visitantes tu sitio. Combina estos datos con la función Funnels de Hotjar para hacerte una idea clara de qué ocurre y por qué la gente abandona.

3. Descubre con qué elementos de la página interactúa la gente: Los heatmaps o mapas de calor muestran una representación visual de los lugares en los que los visitantes hacen clic, se desplazan y pasan el cursor del ratón (o tocan con los dedos en un dispositivo móvil o tableta). Identifica tendencias en la forma en que los usuarios interactúan con las páginas clave para decidir qué elementos debes mantener porque funcionan bien y cuáles debes cambiar o hacer pruebas con ellos porque los ignoran.

4. Recopila feedback de los clientes: Haz encuestas on-page o análisis de embudos o inserta widgets de feedback para que los clientes te expliquen libremente y con sus propias palabras lo que piensan sobre tu sitio web, lo que te ayudará a comprender qué debes solucionar o mejorar.

5. Revisa grabaciones de sesionespara ver cómo usuarios individuales anonimizados interactúan con tu sitio, en dónde se atascan y a dónde vuelven una y otra vez cuando no encuentran lo que buscan, sobre todo justo antes de que decidan abandonar el sitio.

6. Considera hacer pruebas de usabilidad: Con las herramientas para hacer test de usabilidad puedes obtener insights sobre cómo utiliza la gente un sitio web. Recopila feedback directo y verbal sobre los problemas que encuentran, y averigua qué mejoraría su experiencia de usuario.

Consejo avanzado: Es tentador tratar de mejorar la experiencia de absolutamente todo el mundo, pero obtendrás mejores resultados si te centras primero en mejorar la experiencia de tus clientes ideales.