Glosario CRO: Error de tipo 1

En A/B testing, los errores de tipo 1 se producen cuando las personas que hacen la prueba declaran ganadora a una variación de un test A/B o un test multivariante por otras razones aparte del azar. Los errores de tipo 1 pueden perjudicar las conversiones si las empresas hacen cambios en el sitio web basándose en información incorrecta.

Error de tipo 1 vs. error de tipo 2

Un error de tipo 1 implica un falso positivo, es decir, indica erróneamente que una versión obtiene mejores resultados que otra. En cambio, un error de tipo 2 describe un falso negativo, es decir, concluye erróneamente que no se alcanza significación estadística entre las tasas de conversión de las distintas variaciones, pero en realidad sí que hay una diferencia.

En el siguiente cuadro se explica con más claridad:

¿Cuáles son las causas del error de tipo 1?

Los errores de tipo 1 pueden deberse a dos causas: al azar y a utilizar técnicas de investigación inadecuadas.

Azar:Ninguna muestra aleatoria, ya sea la que se utiliza para hacer una encuesta preelectoral o una prueba A/B, representa perfectamente a la población que pretende describir. Dado que la muestra de las pruebas solo incluye a una pequeña parte de la población total, es posible que los resultados no reflejen o representen con exactitud la realidad, es decir, que las conclusiones sean producto del azar.

La significación estadística mide las probabilidades de que los resultados de una prueba A/B se deban al azar. Por ejemplo, supongamos que has hecho una prueba A/B y los resultados muestran que la versión B supera a la versión A con una significación estadística del 95 %. Esto quiere decir que hay un 5 % de probabilidades de que estos resultados se deban al azar. Puedes subir el nivel de significación estadística aumentando el tamaño de la muestra, pero para eso necesitas más tráfico y, por tanto, más tiempo. Al final, se trata de encontrar un equilibrio entre la precisión que deseas y los recursos que tienes.

Técnicas de investigación inadecuadas: Cuando se hace una prueba A/B, es importante recopilar suficientes datos para alcanzar el nivel de significación estadística deseado. A veces se da el caso de que se pone en marcha una prueba y, erróneamente, se detiene porque se cree que ya hay un claro ganador, a pesar de que no se hayan recopilado suficientes datos para alcanzar el nivel deseado de significación estadística. Realmente no hay excusa para un error alfa como este.

¿Por qué es importante el error de tipo 1?

Un error de tipo 1 puede tener un gran impacto en las conversiones. Por ejemplo, si se hace una prueba A/B de dos versiones de una página, se llega a la conclusión incorrecta de que la versión B es la ganadora y se aplica el cambio, las conversiones podrían caer drásticamente. Como se mencionó anteriormente, esto podría deberse a utilizar técnicas de experimentación inadecuadas, pero también podría ser fruto de la casualidad. En cambio, los errores de tipo 1 son resultado de un experimento impecable.

Cuando hagas un cambio en una página web basado en un test A/B, es importante que tengas presente que puedes estar trabajando con conclusiones incorrectas producidas por errores de tipo 1.

Comprender los errores de tipo 1 te permite:

• Decidir el nivel de riesgo que podrías aceptar (por ejemplo, aumentar el tamaño de la muestra para lograr un mayor nivel de significación estadística).

• Hacer experimentos adecuados para reducir el riesgo de errores de tipo 1 causados por el ser humano.

• Reconocer cuándo un type 1 error puede haber causado un descenso de las conversiones para poder solucionar el problema.

Es imposible alcanzar una significación estadística del 100 % (y suele ser poco práctico aspirar a lograr una significación estadística del 99 %, ya que requiere un tamaño de muestra desproporcionadamente grande en comparación con la significación estadística del 95 %-97 %). El objetivo de la CRO no es acertar siempre, sino tomar las decisiones correctas la mayoría de las veces. Y, cuando se comprenden los errores de tipo 1, aumentan las probabilidades de acertar.

¿Cómo minimizar los errores de tipo 1?

La única forma de minimizar los errores de tipo 1, suponiendo que estés haciendo las pruebas A/B correctamente, es aumentar el nivel de significación estadística. Si deseas un mayor nivel de significación estadística, obviamente necesitarás una muestra de mayor tamaño.

No es un desafío estudiar muestras de gran tamaño si tienes cantidades masivas de tráfico, pero si tu sitio web no genera ese nivel de tráfico, tendrás que acotar los elementos con los que deseas hacer pruebas, especialmente si buscas una mayor significación estadística.

A continuación encontrarás estrategias para acotar las pruebas.

6 formas de identificar los elementos más importantes con los que debes hacer pruebas

Para hacer pruebas con los elementos más relevantes, debes saber qué le importa más a tu audiencia objetivo. A continuación tienes 6 formas de averiguar con qué elementos merece la pena hacer pruebas.

1. Consulta las reseñas y habla con tu equipo de atención al cliente: Entérate de qué piensan los clientes sobre tu marca y tus productos. Habla con tus equipos de ventas, atención al cliente y diseño de productos para averiguar qué quieren realmente tus clientes de tu sitio web o producto.

2. Averigua por qué los visitantes se marchan sin comprar: Utiliza herramientas de analítica tradicional (por ejemplo, Google Analytics) para observar dónde abandonan los visitantes tu sitio. Combina estos datos con la función Funnels de Hotjar para hacerte una idea de en qué páginas merece la pena que te centres.

3. Descubre con qué elementos de la página interactúa la gente: Los heatmaps o mapas de calor muestran dónde hacen clic, se desplazan y pasan el cursor del ratón la mayoría de los usuarios (o tocan con el dedo en dispositivos móviles y tabletas). Los mapas de calor te ayudarán a identificar tendencias en la forma en que los usuarios interactúan con las páginas clave para decidir qué elementos debes mantener porque funcionan bien y cuáles debes analizar con más detalle porque los ignoran.

4. Recopila feedback de los clientes: Haz encuestas on-page, recopila feedback de tu sitio web o inserta widgets de feedback para que los clientes te envíen comentarios rápidamente sobre su experiencia con tu sitio. Con esta información podrás identificar problemas de los que no tenías constancia y priorizar cuáles debes solucionar para mejorar su experiencia.

5. Revisa grabaciones de sesiones para ver cómo usuarios individuales anonimizados interactúan con tu sitio, en dónde se atascan y a dónde vuelven una y otra vez cuando no encuentran lo que buscan. Consejo avanzado: Fíjate especialmente en qué hacen justo antes de abandonar el sitio.

6. Considera hacer pruebas de usabilidad: Pueden ayudarte a comprender cómo perciben y utilizan las usuarias y los usuarios tu sitio web. Recopila feedback verbal sobre los problemas que encuentran y descubre qué podría mejorar su experiencia.

Consejo avanzado: Es tentador tratar de mejorar la experiencia de absolutamente todo el mundo, pero obtendrás mejores resultados si te centras primero en mejorar la experiencia de tus clientes ideales. Para obtener más información sobre cómo identificar a tus clientes ideales, consulta nuestra entrada de blog sobre cómo crear user persona sencillos.