Glossaire de la CRO : signification statistique

Pourquoi la signification statistique est-elle importante ?

Si vous jouez à pile ou face 10 fois de suite, il y a une chance sur 1 024 que vous obteniez pile à chaque fois, ce qui n'est rien d'autre qu'un hasard. Cette probabilité peut sembler faible, mais si 5 000 personnes lisent ces mots et tentent cette expérience, il est fort probable qu'au moins l'une d'entre elles obtienne 10 "face" d'affilée : la probabilité est de 99,24 %. Réalisez une expérience suffisamment de fois et les événements improbables (anomalies statistiques) sont pratiquement garantis.

De la même façon, le caractère aléatoire des tests A/B peut produire des résultats qui ne reflètent pas la réalité. La signification statistique vous aide à déterminer le niveau de risque que vous êtes prêt à accepter, et vous pouvez équilibrer le désir de précision avec les ressources dont vous disposez.

Par exemple, une signification statistique plus élevée nécessite un échantillon de plus grande taille (toutes choses étant égales par ailleurs). Donc si vous êtes prêt à accepter un risque plus important que vos résultats soient dus au hasard, vous pouvez vous en tirer en effectuant des tests avec un échantillon de plus petite taille. C'est souvent nécessaire lorsque le trafic sur le site web est faible et qu'il faut plus de temps pour constituer un échantillon de grande taille.

Que signifie "taille d'effet" ?

La taille d'effet (également appelée "upflit" en cas d'augmentation ou "downlift" en cas de diminution) est le pourcentage d'augmentation ou de diminution des conversions entre la version A et la version B d'un test A/B. Voici les étapes à suivre pour le calculer :

• Calculez l'augmentation / la diminution : nouveau nombre - nombre d'origine

• Divisez le résultat par le nombre original

• Multipliez le résultat par 100

Exemple n° 1: la version A convertit à 10 % et la version B à 8 %. La taille d'effet est de 20 % (puisque la version B affiche une baisse de 20 % des conversions).

Selon les étapes ci-dessus :

• 10 - 8 = une diminution de 2

• 2/10 = 0.2

• 0,2 * 100 = diminution de 20

Exemple n° 2: la version A convertit à 10 % et la version B à 12 %. La taille d'effet est, une fois de plus, de 20 % (puisque la version B affiche une augmentation de 20 % de la conversion).

Encore une fois :

• 10 - 12 = une augmentation de 2

• 2/10 = 0.2

• 0,2 * 100 = 20 % d'augmentation

PS : vous trouverez ici un calculateur pratique https://www.skillsyouneed.com/num/percent-change.html

Lorsque toutes les autres variables restent constantes, une taille d'effet plus élevée produit un niveau de confiance plus élevé. La raison en est simple : une différence importante dans les performances est moins susceptible d'être due au hasard, alors qu'une petite différence peut facilement être le résultat du hasard.

La mesure de la signification statistique

Les statisticiens utilisent une formule complexe pour calculer la signification statistique, mais vous n'avez pas à vous en préoccuper. Un calculateur de taille d'échantillon vous permettra de calculer la taille de l'échantillon dont vous avez besoin en saisissant les informations suivantes :

• Taux de conversion de référence (taux de conversion actuel de votre contrôle - version A)

• La taille d'effet minimale que vous souhaitez détecter

• Signification statistique souhaitée (en CRO et UX, la norme acceptée est de 95 %).

Jouez avec les chiffres du calculateur ci-dessus et la relation entre la taille de l'échantillon, la taille d'effet et la signification statistique deviendra évidente.

Et si vous n'avez pas beaucoup de trafic ?

Plus vous soumettez d'éléments aux tests A/B ou MVT, plus vous aurez besoin de trafic pour tirer des conclusions statistiquement significatives auxquelles vous pouvez raisonnablement vous fier. Si votre site web ne génère pas le niveau de trafic nécessaire pour obtenir un échantillon de cette taille, vous devez être plus sélectif sur ce que vous testez.

6 façons de tester ce qui compte le plus

Pour tester les éléments les plus importants, vous devez déterminer ce qui compte le plus pour votre marché cible. Voici six façons de faire des hypothèses éclairées sur ce qui compte le plus.

1. Consultezles avis sur les produits et le feedback du support client: voyez ce que les clients disent de votre marque et de vos produits. Adressez-vous à vos équipes Sales, de support client et de Product Design pour savoir ce que vos clients attendent vraiment de votre site web ou de votre produit.

2. Déterminez où les internautes quittent votre site web : les outils d'analyse traditionnels (comme Google Analytics) peuvent vous indiquer où les visiteurs quittent le site, et vous pouvez combiner ces données avec l'outil Hotjar Conversion Funnels pour avoir une idée précise de ce qui se passe et des raisons pour lesquelles les visiteurs quittent votre site.

3. Déterminez les éléments de la page avec lesquels les internautes interagissent: les heatmaps montrent où (dans l'ensemble) les utilisateurs cliquent, font défiler la page et pointent leur souris (ou appuient sur mobile ou tablette). Repérez les tendances dans les interactions des visiteurs avec les pages clés afin de décider des éléments à conserver, parce qu'ils fonctionnent, et de ceux qui sont ignorés et qu'il convient de modifier / tester.

4. Recueillez le feedback client: les enquêtes sur les pages, les sondages et les widgets de feedback peuvent vous fournir un feedback client ouvert, qui vous aidera à comprendre ce que vous devez corriger et ce que vous devez faire de plus.

5. Revoyez les enregistrements de sessions : observez comment les utilisateurs (anonymes) parcourent votre site, où ils se perdent et où ils reviennent sans cesse lorsqu'ils ne trouvent pas ce qu'ils cherchent, en particulier juste avant qu'ils ne décident de quitter votre site.

6. Pensez aux tests d'utilisabilité: les outils de test d'utilisabilité permettent de comprendre comment les visiteurs utilisent un site web. Recueillez du feedback direct sur les problèmes qu'ils rencontrent et découvrez ce qui pourrait améliorer leur expérience utilisateur.

Conseil de pro: il est tentant d'essayer d'améliorer l'expérience de tout le monde, mais vous en aurez plus pour votre argent si vous vous concentrez d'abord sur l'amélioration de l'expérience de vos clients idéaux.