A/B testing email : comment améliorer la performance de vos campagnes

Qu’est-ce que l’A/B testing en email marketing ?

Couramment employé dans l’univers du marketing digital, l’A/B testing (aussi appelé split testing) repose sur la comparaison de deux versions ou plus d’une même campagne email, qui ne diffèrent que par un élément. Chaque version est envoyée aléatoirement à une partie d’un échantillon de contacts. Celle qui obtient les meilleurs résultats est déclarée gagnante.

Lorsque plusieurs éléments sont modifiés en même temps et combinés entre eux (objet et visuel, par exemple), on parle de test multivarié. Plus riche, il demande en revanche des volumes d’envoi bien plus importants pour donner des résultats fiables. Pour la plupart des campagnes, mieux vaut s’en tenir à un A/B test sur une seule variable.

À ne pas confondre avec les tests de rendu réalisés avant envoi (affichage, liens, BAT) : ces derniers vérifient qu’un email fonctionne, l’A/B test mesure lequel performe le mieux.

Quels éléments tester dans un email ?

Tout élément qui compose votre message peut faire l’objet d’un A/B test. Le choix dépend de l’indicateur que vous voulez améliorer :

• Pour l’ouverture : la ligne d’objet (longueur, ton, question, emoji), le pré-header, le nom et l’adresse d’expéditeur.
• Pour le clic : le visuel principal, l’accroche, le texte et la couleur du bouton d’appel à l’action, l’ordre des contenus, le niveau de personnalisation.
• Pour le moment d’envoi : le jour et l’heure, en planifiant les versions à des horaires différents.

Comment réaliser un A/B test email en 5 étapes

1. Formulez une hypothèse et un objectif. Par exemple : « un objet sous forme de question augmentera le taux d’ouverture de notre newsletter ». L’objectif détermine l’indicateur qui désignera la version gagnante.
2. Ne modifiez qu’un seul élément entre les versions. Si les messages diffèrent sur plusieurs points, il devient impossible de savoir ce qui a fait la différence.
3. Choisissez un échantillon représentatif. Les contacts doivent être répartis aléatoirement entre les versions, au sein d’un ciblage cohérent. Visez idéalement 1 000 contacts au total pour l’échantillon test : en dessous de 100 envois par version, les écarts observés risquent de ne pas être significatifs.
4. Laissez le temps aux résultats de se stabiliser. Une partie des ouvertures et des clics intervient plusieurs heures après l’envoi : ne désignez pas un gagnant trop tôt.
5. Analysez, puis capitalisez. Envoyez la version gagnante au reste du ciblage et notez l’enseignement pour vos prochaines campagnes. Suivez les taux d’ouverture et de clic, mais aussi le désengagement.

Bon à savoir : depuis 2021, la protection de la confidentialité de Apple Mail précharge les emails et gonfle artificiellement les taux d’ouverture. Pour un test fiable, privilégiez le taux de cliqueurs comme critère de victoire, même lorsque vous testez un objet.

L’A/B testing sur la plateforme Campaign by Dolist

Proposé en option sur la plateforme Campaign by Dolist, l’A/B testing vous permet de tester jusqu’à 5 versions différentes de votre message email : objet, contenus, design, nom ou adresse d’expéditeur. Le paramétrage se fait en 4 étapes :

• Définition du nom de l’A/B test
• Sélection des messages à tester (entre 2 et 5 messages différents)
• Définition du ciblage et de l’échantillon test (un pourcentage du ciblage, auquel les différentes versions sont adressées aléatoirement). Le ciblage peut être filtré sur un abonnement fin, et il est recommandé de ne pas dépasser 50 % pour réserver la majorité des contacts à la version gagnante.
• Planification des envois (dates et heures d’envoi des tests)

Pour l’envoi final, les utilisateurs peuvent choisir entre deux modes de gestion :

• Mode automatique : Campaign analyse les résultats de chaque version testée et adresse automatiquement la version gagnante au reste du ciblage non adressé, selon l’indicateur choisi : meilleur taux d’ouvreurs, meilleur taux de cliqueurs ou taux de désengagement le plus bas.
• Mode manuel : l’utilisateur analyse lui-même les performances de chaque version et choisit celle qu’il envoie au reste du ciblage.

En mode automatique, trois critères sont disponibles : le meilleur taux d’ouvreurs, le meilleur taux de cliqueurs ou le taux de désengagement le plus bas.