Glossaire CRO : erreur de type 1

Dans A/B testing, les erreurs de type 1 se produisent lorsque les expérimentateurs concluent à tort qu'une variation d'un test A/B ou multivariable a été plus performante que l'autre (les autres) en raison de quelque chose de plus qu'un hasard. Les erreurs de type 1 peuvent nuire aux conversions lorsque les entreprises modifient leur site web sur la base d'informations incorrectes.

Erreurs de type 1 vs. erreurs de type 2

Alors qu'une erreur de type 1 implique un faux positif - qu'une version est plus performante qu'une autre -, une erreur de type 2 implique un faux négatif. En d'autres termes, une erreur de type 2 conclut à tort qu'il n'y a pas de différence statistiquement significative entre les taux de conversion des différentes variantes alors qu'il y a en réalité une différence.

Voici à quoi cela ressemble :

Quelles sont les causes des erreurs de type 1 ?

Les erreurs de type 1 peuvent provenir de deux sources : le hasard et des techniques de recherche inadéquates.

Hasard : Aucun échantillon aléatoire, qu'il s'agisse d'un sondage préélectoral ou d'un test A/B, ne peut jamais représenter parfaitement la population qu'il est censé décrire. Étant donné que les chercheurs n'échantillonnent qu'une petite partie de la population totale, il est possible que les résultats ne prédisent ou ne représentent pas la réalité avec précision, et que les conclusions soient le fruit du hasard.

La signification statistique mesure les chances que les résultats d'un test A/B soient le fruit du hasard. Par exemple, disons que vous avez effectué un test A/B qui montre que la version B est plus performante que la version A avec une signification statistique de 95 %. Vous pouvez augmenter votre niveau de signification statistique en augmentant la taille de l'échantillon, mais cela nécessite plus de trafic et donc plus de temps. En fin de compte, vous devez trouver un équilibre entre le niveau de précision souhaité et les ressources dont vous disposez.

Techniques de recherche inappropriées: lors de l'exécution d'un test A/B, il est important de recueillir suffisamment de données pour atteindre le niveau de signification statistique souhaité. Les chercheurs négligents peuvent commencer un test et l'interrompre lorsqu'ils estiment qu'il y a un "gagnant évident", bien avant d'avoir recueilli suffisamment de données pour atteindre le niveau de signification statistique souhaité. Il n'y a vraiment aucune excuse pour une telle erreur de type 1.

Pourquoi les erreurs de type 1 sont-elles importantes ?

Les erreurs de type 1 peuvent avoir un impact considérable sur les conversions. Par exemple, si vous effectuez un test A/B sur deux versions de pages et que vous concluez à tort que la version B est la meilleure, vous risquez de constater une baisse massive des conversions lorsque vous mettrez ce changement en ligne pour que tous vos visiteurs puissent le voir. Comme indiqué plus haut, ce site pourrait être le résultat de mauvaises techniques d'expérimentation, mais il pourrait aussi s'agir d'un hasard. Les erreurs de type 1 peuvent résulter (et résultent) d'une expérimentation sans faille.

Lorsque vous modifiez une page web sur la base d'un test A/B, il est important de comprendre que vous pouvez travailler avec des conclusions erronées produites par des erreurs de type 1.

Comprendre les erreurs de type 1 vous permet de :

• Choisir le niveau de risque que vous êtes prêt à accepter (par ex, augmenter la taille de votre échantillon pour atteindre un niveau de signification statistique plus élevé)

• Réaliser des expériences appropriées pour réduire le risque d'erreurs de type 1 d'origine humaine

• Reconnaître quand une erreur de type 1 peut avoir causé une baisse des conversions afin de pouvoir résoudre le problème

Il est impossible d'atteindre une signification statistique de 100 % (et il n'est généralement pas pratique de viser une signification statistique de 99 %), car cela nécessite une quantité disproportionnée de données, car cela nécessite un échantillon d'une taille disproportionnée par rapport à une signification statistique de 95%1$s ). L'objectif de l'ORC n'est pas de réussir à chaque fois, mais de faire les bons choix la plupart du temps. Et lorsque vous comprenez les erreurs de type 1, vous augmentez vos chances de bien faire les choses.

Comment minimiser les erreurs de type 1 ?

Le seul moyen de minimiser les erreurs de type 1, en supposant que vous fassiez des tests A/B correctement, est d'augmenter votre niveau de signification statistique. Bien entendu, si vous souhaitez obtenir un niveau de signification statistique plus élevé, vous aurez besoin d'un échantillon de plus grande taille.

Il n'est pas difficile d'étudier des échantillons de grande taille si vous avez un trafic massif, mais si votre site web ne génère pas un tel niveau de trafic, vous devrez être plus sélectif sur ce que vous décidez d'étudier - en particulier si vous recherchez une signification statistique plus élevée.

Voici comment restreindre le champ de vos expériences.

6 façons de trouver les éléments les plus importants à tester

Pour tester ce qui compte le plus, vous devez déterminer ce qui compte vraiment pour votre public cible. Voici six façons de déterminer ce qui vaut la peine d'être testé.

1. Lisez les commentaires et parlez à votre service d'assistance à la clientèle: découvrez ce que les gens pensent de votre marque et de vos produits. Discutez avec le service des ventes, le service clientèle et le service de conception des produits pour avoir une idée de ce que les gens attendent vraiment de vous et de vos produits.

2. Déterminez pourquoi les visiteurs quittent le site sans acheter : les outils d'analyse traditionnels (par exemple, Google Analytics) peuvent montrer où les gens quittent le site. En combinant ces données avec l'outil de Hotjar Conversion Funnels Tool, vous aurez une idée précise des pages sur lesquelles il convient de se concentrer.

3. Découvrez les éléments de la page sur lesquels les internautes s'engagent: heatmaps montrent où la majorité des utilisateurs cliquent, font défiler et passent le pointeur de leur souris (ou tapent avec leur doigt sur les appareils mobiles et les tablettes). Les cartes thermiques vous aideront à trouver des tendances dans la manière dont les visiteurs interagissent avec les pages clés de votre site web, ce qui vous aidera à décider des éléments à conserver (puisqu'ils fonctionnent) et de ceux qui sont ignorés et nécessitent un examen plus approfondi.

4. Recueillez les commentaires des clients: les enquêtes sur les pages, polls et les widgets de commentaires donnent à vos clients un moyen d'envoyer rapidement des commentaires sur leur expérience à votre intention. Cela vous permettra de détecter des problèmes dont vous ne soupçonniez pas l'existence et vous aidera à définir les priorités pour améliorer l'expérience.

5. Regardez les enregistrements de sessions : voyez comment les utilisateurs individuels (anonymes) se comportent sur votre site. Remarquez où ils se débattent et comment ils vont et viennent lorsqu'ils ne trouvent pas ce dont ils ont besoin. Conseil de pro: soyez particulièrement attentif à ce qu'ils font juste avant de quitter votre site.

6. Explorez les tests de convivialité: ils peuvent vous aider à comprendre comment les gens voient et utilisent votre site web. Recueillez les commentaires des internautes sur les problèmes qu'ils rencontrent et découvrez ce qui pourrait améliorer leur expérience.

Conseil de pro: voulez-vous améliorer l'expérience de tout le monde ? C'est peut-être tentant, mais vous irez beaucoup plus loin en vous concentrant sur vos clients idéaux. Pour en savoir plus sur l'identification de vos clients idéaux, consultez notre article de blog sur la création de personas d'utilisateurs simples.