Lire les résultats d’un test A/B, choisir un gagnant et le gagnant automatique
Ouvrez un test depuis Tests A/B, ou touchez sa pastille A/B, pour voir ses résultats. Ils sont dessinés sous forme de lignes qui partent de ce que vous testez vers chaque version, plus épaisses pour les versions qui reçoivent plus de visiteurs, la version en tête étant mise en lumière. Chaque version a une carte avec son parcours : visiteurs → commandes → confirmées → livrées. Les commandes encore chez le livreur apparaissent comme « chez le livreur » et ne sont pas encore comptées comme livrées ou retournées. Une commande compte seulement si elle contient le produit testé.
L’objectif décide du gagnant. Vous le choisissez en créant le test :
- Bénéfice livré par visiteur (recommandé) : ce que vous gagnez vraiment après livraison, retours et coûts. Il utilise les mêmes coûts qu’Analytique.
- Commandes livrées par visiteur.
- Commandes passées par visiteur : le résultat le plus rapide, mais il ignore les colis refusés et retournés.
Chance de gagner est la probabilité qu’une version soit la meilleure pour l’objectif. La version qui a le plus de commandes n’est pas toujours la gagnante : la page vous prévient quand une version reçoit plus de commandes mais qu’une autre est plus livrée.
Quand un gagnant peut être désigné : au moins 7 jours, au moins 200 visiteurs par version et 30 commandes terminées (livrées ou retournées), et une version avec 95 % de chance de gagner. D’ici là, la page affiche Trop tôt pour conclure et pourquoi, avec une estimation des jours restants.
Choisir le gagnant automatiquement : un interrupteur sur la page du test et à la dernière étape de Nouveau test. Vous pouvez l’activer ou le désactiver à tout moment, même au milieu d’un test. Quand la règle ci-dessus est remplie, le test se termine seul dans l’heure, la version gagnante est gardée et vous recevez une notification.
Envoyer plus de visiteurs vers la gagnante avant la fin du test : la carte Répartition des visiteurs d’un test en cours ou en pause.
- Faites glisser les poignées blanches de la barre (ou touchez la barre, ou utilisez les flèches du clavier), ou saisissez la part d’une version : les autres versions s’ajustent pour que le total reste à 100 % (avec deux versions, saisir 80 pour A met B à 20). Répartition égale apparaît tant que la répartition n’est pas égale, et la flèche de retour dans le coin de la carte annule vos changements. Puis Enregistrer la répartition. Chaque version garde entre 1 % et 99 %.
- Basculer les visiteurs vers la version en tête automatiquement : chaque heure, dès que chaque version a 100 visiteurs et que le test tourne depuis un jour, la version en tête reçoit une plus grande part. Chaque version garde au moins 10 % pour que le test continue d’apprendre. Enregistrer une répartition à la main désactive ce basculement.
- Les personnes déjà dans une version la gardent ; seuls les nouveaux visiteurs suivent la nouvelle répartition.
Terminer un test vous-même :
- Garder la version X termine le test avec cette version :
- Images, titre ou description : la version gagnante remplace le contenu du produit. Garder la version A ne change rien.
- Thème : le thème gagnant devient votre thème publié.
- Pages : par défaut, tous les liens du test continuent d’ouvrir la page gagnante, donc les publicités qui pointent vers une page perdante arrivent sur la gagnante. Désactivez-le dans la confirmation, ou plus tard avec Ne plus envoyer les liens vers la gagnante.
- Terminer le test l’arrête sans gagnant. Tout le monde revient à l’original.
- Mettre en pause montre la version A à tous jusqu’à la reprise.
- Les résultats continuent de se mettre à jour après la fin d’un test, à mesure que ses commandes sont livrées ou retournées.
- Un test terminé ne peut pas être relancé. Créez-en un nouveau.
Aperçu (sur chaque version, pendant le test) ouvre votre boutique avec cette version, sans vous compter comme visiteur.
Sur une commande : la fenêtre de la commande indique quelle version de test A/B le client a vue.