A/B Testing : Vérifier l'efficacité et l'impact de vos tests

AB-testing-verifier-efficacite-de-vos-tests-a-b

Vous faites des AB Testings successifs qui semblent améliorer votre site web petit à petit. A chaque fois, vous sélectionnez les versions qui ont un impact positif sur la variable testée (généralement le taux de transformation).

Tout semble rouler, et puis un jour vous sortez le nez du guidon (où quelqu’un vous le sort car il doute de l’efficacité de ces tests) et vous décidez de jeter une œil à l’évolution du taux de conversion pour voir comment cela a évolué depuis le début de vos tests.
L’impact semblait positif lorsque vous regardiez chaque test dans Analytics, mais à l’échelle macro les résultats sont mitigés !

taux-de-tranformation-brut

Vous avez beau trier par mois pour lisser tout ça, votre taux de conversion ne décolle pas comme vous le pensiez !

taux-de-conversion-mois
Dans mon exemple, notre taux de transformation est plutôt stable autour des 2%, et on se demande pourquoi il baisse en juin. Une goutte du sueur dégouline de votre front, vous vous dites que vous avez bossé pour rien… Stop ! Vous êtes en train de faire une grosse erreur.

Ah bon, c’est quoi cette erreur ?

Pourquoi ? Tout simplement car tous les visiteurs n’ont pas la même capacité de conversion par source. Autrement dit, si vous avez envoyé plus de visiteurs d’une source de trafic qui a un plus faible taux de conversion, cela va faire automatiquement baisser votre taux de transformation global. Prenons un exemple simple pour bien comprendre :

  • Mois 1 : j’ai 1000 visiteurs d’une source 1 qui convertissent à 1% + 2000 visiteurs d’une source 2 qui convertissent à 3% = (10+60)/3000 = 2,33%
  • Mois 2 : j’ai 2500 visiteurs d’une source 1 qui convertissent à 1,5% + 500 visiteurs d’une source 2 qui convertissent à 4% = (37,5+20)/2700 = 1,92%

Le taux de conversion pour chaque source à augmenté, le nombre de visiteurs uniques total reste le même, mais le taux de conversion global diminue !
Cela est simplement dût au fait que la proportion de trafic provenant des différents canaux à changée.
Voilà pourquoi vous ne devez pas regarder le taux de conversion global du site !

D’accord, mais comment mesurer l’efficacité de mes tests AB ?

Pour voir l’impact réel cumulé de vos AB testing, vous devez choisir un seul canal pour ne pas être gêné par les variations entre les différents canaux d’acquisition. En théorie, vous pourriez prendre n’importe lequel mais le mieux c’est d’en choisir un qui :

  • A constamment la même typologie de visiteurs (si vous choisissez Adwords, ce n’est pas bon car vous optimisez constamment les campagnes, ajoutez et supprimez des mots clés, …)
  • A un nombre suffisant et significatif de visiteurs

Dit de manière simple, il faut un canal stable dans le temps. Et on pense tout de suite à différentes possibilités :

  • Les accès directs. Cependant le trafic peut-être faible en fonction de la notoriété de votre site
  • La recherche naturelle sur le nom de votre site/marque. Même problème qu’avec les accès directs
  • Tous les résultats naturels. Si votre site ne bouge pas trop et que les termes de recherches sont les mêmes

Allons dans le détail du taux de conversion par source et sélectionnons tous les résultats de recherche naturels :

  1. On crée un rapport personnalisé avec les taux de conversion par source si ce n’est pas déjà fait.
  2. On tape dans la petite case en haut du tableau « organic » pour filtrer.
  3. On clique sur « Mois » pour lisser la courbe.

Et tadah :

taux-de-conversion-inscription

Avouez que la courbe a quand même une meilleure tête non ? Cette fois-ci le taux de conversion a plus que doublé et augmente continuellement !
Bravo, vous avez fait du bon boulot. Vous pouvez remettre le nez dans le guidon et continuer à pédaler. 😉

You may also like

One comment

  • communication-sur-le-web 5 septembre 2013   Reply →

    Un article très explicatif qui met la lumière sur des points auxquels on y pense pas forcément. Je partage pour la pertinence de cette démonstration! Merci!

Leave a comment