Te souviens-tu de ton premier Test A / B E-mail? Je me souviens. Je me sentais à la fois anxieuse et effrayée. Maintenant, je devais mettre en pratique ce que j'avais appris à l'université.
Je savais que j'avais besoin d'une taille d'échantillon suffisamment grande pour exécuter le test des e-mails. Je savais que je devais tester assez longtemps pour obtenir des résultats statistiquement significatifs.
Je n'étais pas sûr de la taille de l'échantillon d'e-mail «suffisamment grand» et de la valeur «assez longue» pour la durée de la vérification.
Rechercher dans Google m'a donné de nombreuses réponses.
Il s'avère que je n'étais pas seul: ce sont les deux questions les plus courantes. UN B tests que nous recevons des clients. Et la raison pour laquelle les réponses de recherche Google typiques ne sont pas si utiles est qu'elles parlent de tests A / B dans un monde parfait, théorique et non marketing.
J'ai donc décidé de faire des recherches pour vous aider à répondre à cette question dans la pratique. À la fin de cet article, vous serez en mesure d'apprendre comment déterminer la taille d'échantillon et le calendrier corrects pour la prochaine soumission d'e-mail.
Содержание | Быстрая навигация
Théorie par rapport à la réalité de la taille de l'échantillon et du temps dans les tests A / B.
En théorie, pour déterminer le gagnant entre la variante A et la variante B, vous devez attendre d'avoir suffisamment de résultats. De cette façon, vous pouvez voir s'il existe une différence statistiquement significative entre les deux.
En fonction de votre entreprise, de la taille de l'échantillon et de la manière dont vous effectuez les tests A / B, des résultats statistiquement significatifs peuvent se produire en quelques heures, jours ou semaines. Il vous suffit de le publier jusqu'à ce que vous obteniez ces résultats. En théorie, vous ne devriez pas limiter le temps de collecte des résultats.
Pour de nombreux tests A / B, l'attente n'est pas un problème. Tester une copie d'en-tête sur une page de destination? C'est cool d'attendre un mois les résultats.
Mais sur les e-mails, l'attente peut être un problème - pour plusieurs raisons pratiques.
Chaque e-mail a une audience limitée.
Contrairement à une page de destination, où vous pouvez continuer à collecter de nouveaux membres d'audience au fil du temps, une fois que vous envoyez un e-mail de test A / B, c'est tout. Vous ne pouvez pas ajouter d'autres personnes à ce test A / B.
Vous devez trouver comment tirer le meilleur parti de vos e-mails.
Cela nécessite généralement:
- envoyer un test A / B à la plus petite partie de votre liste nécessaire pour obtenir des résultats statistiquement significatifs,
- choisissez un gagnant,
- envoyer l'option gagnante au reste de la liste de diffusion.
Vous manipulez au moins quelques e-mails par semaine.
Si vous passez trop de temps à collecter les résultats, vous pouvez ignorer l'envoi de votre prochain e-mail. Cela peut avoir des conséquences pires que l'envoi d'un e-mail gagnant non statistiquement significatif à un segment de votre base de données.
L'envoi d'e-mails est souvent chronométré.
Vos e-mails marketing sont optimisés pour être livrés à des moments précis de la journée, que vos e-mails suivent le moment du lancement d'une nouvelle campagne ou atterrissent dans la boîte de réception de votre destinataire au moment où il souhaite la recevoir.
Si vous attendez que votre e-mail soit complètement statistiquement significatif, il se peut que vous manquiez de rapidité et de pertinence, ce qui pourrait nuire à l'objectif de l'envoi de votre e-mail en premier lieu.
C'est pourquoi les programmes de test d'e-mails A / B ont une option de «synchronisation» intégrée. À la fin de cette période, si aucun des résultats n'est statistiquement significatif, une option que vous choisissez à l'avance sera envoyée au reste de la liste.
De cette façon, vous pouvez toujours exécuter des tests A / B dans les e-mails. Vous pouvez également contourner vos exigences en matière de planification de marketing par e-mail et vous assurer que les gens reçoivent toujours un contenu opportun.
Ainsi, afin d'effectuer des tests A / B par e-mail tout en optimisant vos soumissions pour les meilleurs résultats, vous devez prendre en compte à la fois la taille de l'échantillon et le temps.
Comment déterminer la taille de votre échantillon et le calendrier des tests Courriel?
Ok, passons maintenant à la partie que vous attendiez:
Comment calculez-vous réellement la taille de l'échantillon et le temps requis pour votre prochain test A / B électronique?
Comme je l'ai mentionné ci-dessus, chaque test A / B par e-mail ne peut être envoyé qu'à un public limité, vous devez donc trouver comment maximiser ses résultats.
Pour ce faire, vous devez déterminer la plus petite partie de votre liste totale nécessaire pour obtenir des résultats statistiquement significatifs. C'est ainsi que vous le calculez.
Évaluez si vous avez suffisamment de contacts de messagerie dans votre liste.
Pour tester A / B un échantillon de votre liste, vous devez avoir une taille de liste suffisamment grande, au moins 1000 contacts. S'il y en a moins, la proportion de votre liste requise pour un test A / B pour obtenir des résultats statistiquement significatifs devient de plus en plus grande.
Par exemple, pour obtenir des résultats statistiquement significatifs à partir d'une petite liste, vous devrez peut-être vérifier le 85% ou 95% de votre liste. Et les résultats pour les personnes de votre liste qui n'ont pas encore été testées seront si petits que vous pourriez simplement envoyer la moitié de votre liste avec une version d'e-mail et l'autre moitié avec une autre, puis mesurer la différence.
Vos résultats peuvent ne pas être statistiquement significatifs à la fin de tout cela, mais au moins vous collectez des connaissances à mesure que vous élargissez vos listes pour avoir plus de 1000 contacts.
Utilisez une calculatrice.
Voici à quoi ressemble la calculatrice lorsque vous l'ouvrez:
Entrez le niveau de confiance, l'intervalle de confiance et la population dans l'instrument.
Population: Votre échantillon représente un grand groupe de personnes. Cela s'appelle votre population.
Dans les e-mails, votre population correspond au nombre de personnes sur votre liste pouvant recevoir des e-mails. Pas le nombre de personnes auxquelles vous avez envoyé des e-mails.
Pour calculer la population, je regarderais les trois à cinq derniers courriels que vous avez envoyés à cette liste et ferais la moyenne du nombre total de courriels livrés.
Utilisez une moyenne lors du calcul de la taille de l'échantillon car le nombre total d'e-mails livrés fluctuera.
Intervalle de confiance: Vous avez peut-être entendu dire que cela s'appelle la «marge d'erreur». De nombreux sondages l'utilisent, y compris les sondages politiques. Il s'agit de la plage de résultats que vous pouvez attendre de ce test A / B lorsqu'il est effectué avec l'ensemble de la population.
Par exemple, si vous avez un intervalle de 5 et 60% de votre échantillon de contrôle, vous pouvez être sûr que dans l'intervalle 55%, c'est-à-dire 60 moins 5, à 65%, 60 plus 5, cet e-mail s'est également ouvert.
Plus l'intervalle que vous choisissez est grand, plus vous pouvez être sûr que les véritables actions de la population ont été prises en compte dans cet intervalle. Dans le même temps, des intervalles plus longs vous donneront des résultats moins précis. C'est le compromis que vous devez faire dans vos e-mails.
Pour nos besoins, ne vous laissez pas trop emporter par les intervalles de confiance. Lorsque vous débutez avec les tests A / B, je vous recommande de choisir un intervalle plus petit, par exemple autour de 5.
Niveau fiabilité. Cela indique dans quelle mesure vous êtes sûr que les résultats de l'échantillon se situent dans l'intervalle de confiance ci-dessus. Plus le pourcentage est bas, moins vous pouvez être sûr des résultats. Plus le pourcentage est élevé, plus vous aurez besoin de personnes dans votre échantillon.
Exemple:
Imaginons que nous soumettions notre premier test A / B. Nous avons 1 000 personnes sur notre liste et le taux de livraison est de 95%. Nous voulons être à 95% avec la certitude que nos métriques de messagerie gagnantes se situent dans l'intervalle de 5 points de nos métriques de population.
Voici ce que nous avons ajouté à l'outil:
- Population : 950 personnes;
- Niveau de confiance : 95%;
- Intervalle de confiance : 5.
Cliquez sur Calculer.
Et voilà! La calculatrice établira la taille de votre échantillon. Dans notre exemple, la taille de notre échantillon est de 274.
C'est la taille de l'une de vos options. Donc, pour envoyer un e-mail, si vous avez un contrôle et une option, vous devez doubler ce nombre. Si vous aviez un contrôle et deux options, vous le tripleriez. Etc.
En fonction de votre programme de messagerie, vous devrez peut-être calculer le pourcentage de taille de l'échantillon pour tous les e-mails.
Clients HubSpot, lorsque vous effectuez des tests A / B par e-mail, vous devez choisir le pourcentage de contacts auxquels envoyer la liste, pas seulement la taille de l'échantillon.
Pour ce faire, vous devez diviser le nombre de votre échantillon par le nombre total de contacts de votre liste. Voici à quoi ressemble le calcul en utilisant les exemples ci-dessus:
274/1000 = 27,4%
Cela signifie que chaque échantillon et votre contrôle et votre variation doivent être envoyés 27-28% à votre public. En d'autres termes, environ 55% de votre liste totale.
Et c'est tout! Vous devez être prêt à choisir un délai de livraison.
Comment choisir le bon timing pour votre test A / B?
C'est donc là que nous entrons dans la réalité de l'envoi d'e-mails. Vous devez déterminer combien de temps pour terminer votre test de courrier électronique A / B avant de soumettre la version gagnante au reste de votre liste.
L'aspect temporel est légèrement moins motivé par les statistiques. Mais vous devez absolument utiliser les données passées. Cela vous aidera à prendre de meilleures décisions. Voici comment vous pouvez le faire.
Analytique.
Découvrez quand les clics, les ouvertures d'e-mails ou d'autres taux de réussite commencent à baisser. Regardez vos e-mails précédents pour comprendre cela.
Par exemple, quel pourcentage du nombre total de clics avez-vous enregistré le premier jour? Si vous constatez que vous obtenez 70% de vos clics dans les 24 premières heures, puis 5% tous les jours après cela, il est logique de limiter votre fenêtre de vérification des e-mails à 24 heures.
Dans ce scénario, vous souhaitez probablement laisser votre fenêtre de temps à 24 heures. Après 24 heures, votre programme de messagerie devrait vous dire s'il peut déterminer un gagnant statistiquement significatif.
Ensuite, c'est à vous de décider quoi faire ensuite. Si vous disposez d'un échantillon suffisamment grand et que vous trouvez un gagnant statistiquement significatif à la fin de la période de test, de nombreux programmes de marketing par e-mail enverront automatiquement et immédiatement l'option gagnante.
Si la taille de votre échantillon est suffisamment grande et qu'il n'y a pas de gagnant statistiquement significatif après la période de test, les outils de marketing par e-mail peuvent également vous permettre de soumettre automatiquement une variante de votre choix.
Si votre échantillon est plus petit ou si vous effectuez un test 50/50 A / B, le moment d'envoyer le prochain e-mail en fonction des résultats de l'e-mail d'origine dépend entièrement de vous.
Si vous avez des limites de temps pour envoyer l'e-mail gagnant au reste de la liste, découvrez à quelle heure vous pouvez envoyer le gagnant. S'il n'est pas obsolète ou n'affecte pas les autres e-mails, veuillez l'envoyer le plus tard possible.
Par exemple, si vous avez envoyé un e-mail à 18 h 00 HE pour une vente urgente qui se termine à minuit HE, vous ne voudrez peut-être pas déterminer le gagnant du test A / B à 23 h 00. Au lieu de cela, vous souhaitez envoyer un e-mail vers 20 heures ou 21 heures. Cela donnera aux personnes non impliquées dans les tests A / B suffisamment de temps pour agir par e-mail.
Et c'est à peu près ça les gars. Après avoir effectué ces calculs et examiné vos données, vous devriez être bien mieux équipé pour envoyer des tests A / B par e-mail. Ils sont suffisamment importants pour vous aider à faire de réels progrès dans le marketing par e-mail.
Basé sur les matériaux du site: https://blog.hubspot.com.
❤️ Sinon, comment pouvez-vous tester le courrier électronique?
Les tests A / B consistent à envoyer plusieurs lignes d'objet pour vérifier laquelle génère le plus d'ouvertures. Des tests A / B plus sophistiqués peuvent tester des modèles d'e-mails complètement différents les uns par rapport aux autres pour voir lequel génère le plus de clics.
⏩ Dans quelle mesure pouvez-vous vérifier vos e-mails en détail?
Tous les articles de courrier peuvent être testés.
❤️ Que rechercher lors de la vérification du texte des mailings?
Sur la longueur des textes, l'ordre des mots, le contenu, la présence d'un appel au destinataire par son nom ou son absence, le style et le ton des textes, etc.
⏩ Comment choisir les types de tests pour le courrier électronique?
Définissez des objectifs et envisagez des options de test pour les atteindre. Choisissez le plus pratique et le plus efficace pour vous.
⏩ Quand ne devriez-vous pas utiliser un test A / B?
4 raisons de ne pas tester.
S'il n'y a pas encore de trafic significatif.
S'il n'y a pas de théorie valable.
Si le risque d'action immédiate est faible.
Lorsqu'il est impossible d'assurer la sécurité des tests.
⏩ Quelle est l'une des erreurs courantes lors des tests A / B?
L'une des erreurs courantes dans les tests A / B est de faire un test fractionné trop tôt. Par exemple, si vous lancez une nouvelle campagne OptinMonster, vous devez attendre un peu pendant que les données sont disponibles pour créer la ligne de base.
⏩ Comment faire un test A / B dans Excel?
Calcul statistique de la puissance du résultat du test A / B dans Excel.
Choisissez si le test est unilatéral ou bilatéral (dans la plupart des cas, si vous exécutez des tests A / B en utilisant les principaux outils disponibles sur le marché, cela devrait être bilatéral).
Sélectionnez le niveau de confiance (90% / 95% / 99%).
Ajoutez des numéros de visiteurs pour le contrôle et la variation.
