Erinnerst du dich an deine erste? A / B-Tests Email? Ich erinnere mich. Ich fühlte mich gleichzeitig ängstlich und ängstlich. Jetzt musste ich das, was ich am College gelernt hatte, in die Praxis umsetzen.
Ich wusste, dass ich eine ausreichend große Stichprobe benötigte, um den E-Mail-Test durchzuführen. Ich wusste, dass ich lange genug testen musste, um statistisch signifikante Ergebnisse zu erhalten.
Ich war mir nicht sicher, wie groß das "groß genug" -E-Mail-Beispiel war und wie groß "lang genug" für die Dauer der Prüfung war.
Suchen in Google gab mir viele Antworten.
Es stellt sich heraus, dass ich nicht allein war: Dies sind die beiden häufigsten Fragen. A / B. Tests, die wir von Kunden erhalten. Der Grund, warum die typischen Antworten auf die Google-Suche nicht so nützlich sind, liegt darin, dass sie über A / B-Tests in einer perfekten, theoretischen Welt ohne Marketing sprechen.
Deshalb habe ich mich entschlossen, Nachforschungen anzustellen, um Ihnen zu helfen, diese Frage in der Praxis zu beantworten. Am Ende dieses Beitrags erfahren Sie, wie Sie die richtige Stichprobengröße und den richtigen Zeitplan für die nächste E-Mail-Übermittlung ermitteln.
Содержание | Быстрая навигация
Theorie versus Realität von Stichprobengröße und Zeit in A / B-Tests.
Theoretisch müssen Sie warten, bis Sie genügend Ergebnisse erzielt haben, um den Gewinner zwischen Variation A und Variation B zu ermitteln. Auf diese Weise können Sie feststellen, ob zwischen beiden ein statistisch signifikanter Unterschied besteht.
Abhängig von Ihrem Unternehmen, der Stichprobengröße und der Art und Weise, wie Sie A / B-Tests durchführen, können statistisch signifikante Ergebnisse innerhalb von Stunden, Tagen oder Wochen auftreten. Sie müssen es nur posten, bis Sie diese Ergebnisse erhalten. Theoretisch sollten Sie die Zeit für das Sammeln von Ergebnissen nicht einschränken.
Für viele A / B-Tests ist das Warten kein Problem. Testen einer Header-Kopie auf einer Zielseite? Es ist cool, einen Monat auf Ergebnisse zu warten.
Aber per E-Mail kann das Warten ein Problem sein - aus mehreren praktischen Gründen.
Jede E-Mail hat eine begrenzte Zielgruppe.
Im Gegensatz zu einer Zielseite, auf der Sie im Laufe der Zeit immer wieder neue Zielgruppenmitglieder sammeln können, ist das alles, sobald Sie eine A / B-Test-E-Mail gesendet haben. Sie können diesem A / B-Test keine weiteren Personen hinzufügen.
Sie müssen herausfinden, wie Sie den meisten Saft aus Ihren E-Mails herausholen können.
Dies erfordert normalerweise:
- Senden Sie einen A / B-Test an den kleinsten Teil Ihrer Liste, der für statistisch signifikante Ergebnisse erforderlich ist.
- wähle einen Gewinner,
- Senden Sie die Gewinnoption an den Rest der E-Mail-Liste.
Sie bearbeiten mindestens einige E-Mails pro Woche.
Wenn Sie zu viel Zeit damit verbringen, Ergebnisse zu sammeln, können Sie das Senden Ihrer nächsten E-Mail überspringen. Dies kann schlimmere Konsequenzen haben als das Senden einer nicht statistisch signifikanten Gewinner-E-Mail an ein Segment Ihrer Datenbank.
Das Senden von E-Mails ist häufig zeitlich festgelegt.
Ihre Marketing-E-Mails sind für die Zustellung zu bestimmten Tageszeiten optimiert, unabhängig davon, ob Ihre E-Mails mit dem Zeitpunkt des Starts einer neuen Kampagne Schritt halten oder zum Zeitpunkt des Empfangs im Posteingang Ihres Empfängers landen.
Wenn Sie warten, bis Ihre E-Mail vollständig statistisch signifikant ist, fehlt Ihnen möglicherweise die Aktualität und Relevanz, was den Zweck des Versendens Ihrer E-Mail beeinträchtigen könnte.
Aus diesem Grund verfügen A / B-E-Mail-Testprogramme über eine integrierte "Synchronisierungs" -Option. Wenn am Ende dieses Zeitraums keines der Ergebnisse statistisch signifikant ist, wird eine Option, die Sie im Voraus ausgewählt haben, an den Rest der Liste gesendet.
Auf diese Weise können Sie weiterhin A / B-Tests per E-Mail ausführen. Sie können auch Ihre Planungsanforderungen für das E-Mail-Marketing umgehen und sicherstellen, dass die Nutzer immer zeitnahe Inhalte erhalten.
Um A / B-Tests in E-Mails durchzuführen und gleichzeitig Ihre Einsendungen für die besten Ergebnisse zu optimieren, müssen Sie sowohl die Stichprobengröße als auch die Zeit berücksichtigen.
So bestimmen Sie Ihre Stichprobengröße und den Testzeitplan E-Mail-Newsletter?
Ok, jetzt gehen wir zu dem Teil über, auf den Sie gewartet haben:
Wie berechnen Sie tatsächlich die Stichprobengröße und die Zeit, die für Ihren nächsten elektronischen A / B-Test erforderlich sind?
Wie oben erwähnt, kann jeder A / B-Test nur per E-Mail an eine begrenzte Zielgruppe gesendet werden. Sie müssen also herausfinden, wie Sie die Ergebnisse maximieren können.
Dazu müssen Sie den kleinsten Teil Ihrer Gesamtliste bestimmen, der erforderlich ist, um statistisch signifikante Ergebnisse zu erhalten. So berechnen Sie es.
Bewerten Sie, ob Ihre Liste genügend E-Mail-Kontakte enthält.
Um ein Beispiel Ihrer Liste A / B-testen zu können, müssen Sie über eine ausreichend große Listengröße von mindestens 1000 Kontakten verfügen. Wenn es weniger davon gibt, wird der Anteil Ihrer Liste, der für einen A / B-Test erforderlich ist, um statistisch signifikante Ergebnisse zu erzielen, immer größer.
Um beispielsweise statistisch signifikante Ergebnisse aus einer kleinen Liste zu erhalten, müssen Sie möglicherweise die 85% oder 95% Ihrer Liste überprüfen. Die Ergebnisse für die Personen auf Ihrer Liste, die noch nicht getestet wurden, sind so gering, dass Sie nur die Hälfte Ihrer Liste mit einer E-Mail-Version und die andere Hälfte mit einer anderen senden und dann den Unterschied messen können.
Ihre Ergebnisse sind am Ende möglicherweise nicht statistisch signifikant, aber zumindest sammeln Sie Wissen, wenn Sie Ihre Listen auf über 1000 Kontakte erweitern.
Verwenden Sie einen Taschenrechner.
So sieht der Rechner aus, wenn Sie ihn öffnen:
Geben Sie das Konfidenzniveau, das Konfidenzintervall und die Grundgesamtheit in das Instrument ein.
Population: Ihre Stichprobe repräsentiert eine große Gruppe von Personen. Es heißt deine Bevölkerung.
In E-Mails ist Ihre Bevölkerung die Anzahl der Personen auf Ihrer Liste, die E-Mails empfangen können. Nicht die Anzahl der Personen, an die Sie E-Mails gesendet haben.
Um die Grundgesamtheit zu berechnen, würde ich mir die letzten drei bis fünf E-Mails ansehen, die Sie an diese Liste gesendet haben, und die Gesamtzahl der zugestellten E-Mails mitteln.
Verwenden Sie bei der Berechnung der Stichprobengröße einen Durchschnitt, da die Gesamtzahl der zugestellten E-Mails schwanken wird.
Konfidenzintervall: Möglicherweise haben Sie gehört, dass dies als "Fehlergrenze" bezeichnet wird. Viele Umfragen nutzen dies, einschließlich politischer Umfragen. Dies ist der Bereich von Ergebnissen, den Sie von diesem A / B-Test erwarten können, wenn er mit der gesamten Population durchgeführt wird.
Wenn Sie beispielsweise ein Intervall von 5 und 60% Ihrer Kontrollprobe haben, können Sie sicher sein, dass im Intervall 55%, dh 60 minus 5 bis 65%, 60 plus 5, diese E-Mail ebenfalls geöffnet wurde.
Je größer das von Ihnen gewählte Intervall ist, desto sicherer können Sie sein, dass die tatsächlichen Handlungen der Bevölkerung in diesem Intervall berücksichtigt wurden. Gleichzeitig führen längere Intervalle zu weniger eindeutigen Ergebnissen. Dies ist der Kompromiss, den Sie in Ihren E-Mails eingehen müssen.
Lassen Sie sich für unsere Zwecke nicht zu sehr von Konfidenzintervallen mitreißen. Wenn Sie gerade erst mit A / B-Tests beginnen, würde ich empfehlen, ein kleineres Intervall zu wählen, z. B. etwa 5.
Niveau Verlässlichkeit. Dies zeigt an, wie sicher Sie sind, dass die Probenergebnisse innerhalb des obigen Konfidenzintervalls liegen. Je niedriger der Prozentsatz, desto weniger können Sie sich auf die Ergebnisse verlassen. Je höher der Prozentsatz, desto mehr Personen benötigen Sie in Ihrer Stichprobe.
Beispiel:
Stellen wir uns vor, wir reichen unseren ersten A / B-Test ein. Wir haben 1.000 Personen auf unserer Liste und die Lieferrate beträgt 95%. Wir möchten bei 95% sicher sein, dass unsere erfolgreichen E-Mail-Metriken innerhalb des 5-Punkte-Intervalls unserer Populationsmetriken liegen.
Folgendes haben wir dem Tool hinzugefügt:
- Population : 950 Personen;
- Vertrauens Stufe : 95%;
- Konfidenzintervall : 5.
Klicken Sie auf Berechnen.
TA Dah! Der Taschenrechner legt Ihre Stichprobengröße fest. In unserem Beispiel beträgt unsere Stichprobengröße 274.
Dies ist die Größe einer Ihrer Optionen. Wenn Sie also zum Senden von E-Mails ein Steuerelement und eine Option haben, müssen Sie diese Anzahl verdoppeln. Wenn Sie ein Steuerelement und zwei Optionen hätten, würden Sie es verdreifachen. Usw.
Abhängig von Ihrem E-Mail-Programm müssen Sie möglicherweise den Prozentsatz der Stichprobengröße für alle E-Mails berechnen.
HubSpot-Kunden: Wenn Sie A / B-Tests per E-Mail durchführen, müssen Sie den Prozentsatz der Kontakte auswählen, an die die Liste gesendet werden soll, und nicht nur die Stichprobengröße.
Dazu müssen Sie die Anzahl in Ihrer Stichprobe durch die Gesamtzahl der Kontakte in Ihrer Liste teilen. So sieht die Mathematik anhand der obigen Beispiele aus:
274/1000 = 27,4%
Dies bedeutet, dass jede Probe und Ihre Kontrolle sowie Ihre Variation 27-28% an Ihr Publikum gesendet werden müssen. Mit anderen Worten, ungefähr 55% Ihrer Gesamtliste.
Und das ist alles! Sie sollten bereit sein, eine Lieferzeit zu wählen.
Wie wählen Sie das richtige Timing für Ihren A / B-Test?
Hier kommen wir in die Realität des Versendens von E-Mails. Sie sollten herausfinden, wie lange Sie Ihren A / B-E-Mail-Test abschließen müssen, bevor Sie die Gewinnerversion an den Rest Ihrer Liste senden.
Der Timing-Aspekt ist statistisch etwas weniger bedingt. Sie sollten jedoch auf jeden Fall frühere Daten verwenden. Dies wird Ihnen helfen, bessere Entscheidungen zu treffen. Hier erfahren Sie, wie Sie dies tun können.
Analytik.
Finden Sie heraus, wann Klicks, E-Mail-Eröffnungen oder andere Erfolgsraten sinken. Schauen Sie sich Ihre früheren E-Mails an, um dies herauszufinden.
Wie viel Prozent der Gesamtzahl der Klicks haben Sie beispielsweise am ersten Tag erhalten? Wenn Sie feststellen, dass Sie in den ersten 24 Stunden 70% Ihrer Klicks und danach jeden Tag 5% erhalten, ist es sinnvoll, das E-Mail-Überprüfungsfenster auf 24 Stunden zu beschränken.
In diesem Szenario möchten Sie Ihr Zeitfenster wahrscheinlich auf 24 Stunden verlassen. Nach 24 Stunden sollte Ihr E-Mail-Programm Ihnen mitteilen, ob ein statistisch signifikanter Gewinner ermittelt werden kann.
Dann liegt es an Ihnen, was als nächstes zu tun ist. Wenn Sie eine ausreichend große Stichprobe haben und am Ende des Testzeitraums einen statistisch signifikanten Gewinner finden, senden viele E-Mail-Marketingprogramme automatisch und sofort die Gewinnoption.
Wenn Ihre Stichprobengröße groß genug ist und es nach dem Testzeitraum keinen statistisch signifikanten Gewinner gibt, können Sie mit E-Mail-Marketing-Tools möglicherweise auch automatisch eine Variation Ihrer Wahl einreichen.
Wenn Sie eine kleinere Stichprobengröße haben oder einen 50/50-A / B-Test durchführen, liegt es ganz bei Ihnen, wann Sie die nächste E-Mail basierend auf den Ergebnissen der ursprünglichen E-Mail senden.
Wenn Sie eine zeitliche Begrenzung haben, wann die Gewinner-E-Mail an den Rest der Liste gesendet werden soll, finden Sie heraus, wie spät Sie den Gewinner senden können. Wenn es nicht veraltet ist oder andere E-Mails nicht betrifft, senden Sie es bitte so spät wie möglich.
Wenn Sie beispielsweise um 18:00 Uhr ET eine E-Mail für einen dringenden Verkauf gesendet haben, der um Mitternacht ET endet, möchten Sie möglicherweise nicht um 23:00 Uhr den Gewinner des A / B-Tests ermitteln. Stattdessen möchten Sie eine E-Mail näher an 20 oder 21 Uhr senden. Dies gibt Personen, die nicht an A / B-Tests beteiligt sind, genügend Zeit, um per E-Mail zu handeln.
Und das ist so ziemlich alles, Leute. Nachdem Sie diese Berechnungen durchgeführt und Ihre Daten überprüft haben, sollten Sie besser in der Lage sein, A / B-Tests per E-Mail zu senden. Sie sind statistisch signifikant genug, um Ihnen dabei zu helfen, echte Fortschritte im E-Mail-Marketing zu erzielen.
Basierend auf Materialien von der Website: https://blog.hubspot.com.
❤️ Wie können Sie E-Mails sonst noch testen?
A / B-Tests bestehen aus dem Senden mehrerer Betreffzeilen, um zu überprüfen, welche mehr Öffnungen erzeugen. Anspruchsvollere A / B-Tests können völlig unterschiedliche E-Mail-Vorlagen gegeneinander testen, um festzustellen, welche die meisten Klicks generiert.
⏩ Wie detailliert können Sie Ihre E-Mails abrufen?
Alle Mailings können getestet werden.
❤️ Worauf muss man achten, wenn man den Text von Mailings überprüft?
Über die Länge der Texte, die Wortreihenfolge, den Inhalt, das Vorhandensein eines Aufrufs an den Empfänger mit Namen oder seine Abwesenheit, den Stil und den Ton der Texte usw.
⏩ Wie wähle ich Testtypen für E-Mails aus?
Definieren Sie Ziele und prüfen Sie Testoptionen, um diese zu erreichen. Wählen Sie die bequemste und effizienteste für Sie.
⏩ Wann sollten Sie keinen A / B-Test verwenden?
4 Gründe, nicht zu testen.
Wenn noch kein nennenswerter Verkehr vorhanden ist.
Wenn es keine gültige Theorie gibt.
Wenn das Risiko sofortiger Maßnahmen gering ist.
Wenn es unmöglich ist, die Sicherheit der Prüfung zu gewährleisten.
⏩ Was ist einer der häufigsten Fehler bei A / B-Tests?
Einer der häufigsten Fehler bei A / B-Tests besteht darin, einen Split-Test zu früh durchzuführen. Wenn Sie beispielsweise eine neue OptinMonster-Kampagne starten, sollten Sie etwas warten, bis die Daten verfügbar sind, um die Baseline zu erstellen.
⏩ Wie mache ich einen A / B-Test in Excel?
Statistische Berechnung der Leistung des A / B-Testergebnisses in Excel.
Wählen Sie aus, ob der Test einseitig oder zweiseitig ist (in den meisten Fällen sollte dieser Test zweiseitig sein, wenn Sie A / B-Tests mit den wichtigsten auf dem Markt verfügbaren Tools durchführen).
Wählen Sie die Konfidenzstufe (90% / 95% / 99%).
Fügen Sie Besuchernummern zur Kontrolle und Variation hinzu.
