Tools und Methoden für A / B- und A / B / n-Standorttests.

Vom Testen der falschen Dinge bis zu den falschen A / B-Tests erhalten die Leute nicht die gewünschten Ergebnisse, wenn sie ihre testen Seite? ˅... In der Tat gibt es viele Nuancen, in denen sich ein Anfänger irren kann. Daher ist es notwendig, verantwortungsbewusst vorzugehen A / B. testen.

Was ist A / B-Test?

Wenn Forscher die Wirksamkeit neuer Medikamente testen, verwenden sie einen Split-Test. Tatsächlich könnten die meisten Forschungsexperimente als "Split-Test" betrachtet werden, da er durch Hypothese, Kontrolle, Variation und statistisch berechnetes Ergebnis ergänzt wird.

Auch beim A / B-Test wird der 50/50-Verkehr zwischen der Originalseite und der Variante aufgeteilt:

Bei der Conversion-Optimierung besteht der Hauptunterschied in Änderungen des Internetverkehrs. Es ist einfacher, externe Variablen im Labor zu steuern. Sie können sie online abschwächen, es ist jedoch schwierig, einen vollständig überwachten Test zu erstellen.

Darüber hinaus erfordert das Testen neuer Medikamente ein nahezu gewisses Maß an Präzision. Lebt in der Leitung. Aus technischer Sicht kann Ihre "Explorations" -Periode viel länger sein, da Sie sicher sein möchten, dass Sie nicht die erste Art von Fehler machen - ein falsches Positiv.

Online berücksichtigt der A / B-Split-Testprozess die Geschäftsziele. Er wägt Risiko und Belohnung ab. Daher betrachten wir die Ergebnisse aus einem anderen Blickwinkel und treffen Entscheidungen anders als im Labor.

Natürlich können Sie mehr als zwei Optionen erstellen. Tests mit mehr als zwei Variationen werden als A / B / n-Tests bezeichnet. Wenn Sie genug Verkehr haben, können Sie so viele Optionen testen, wie Sie möchten. Hier ist ein Beispiel für einen A / B / C / D-Test und wie viel Verkehr jeder Option zugeordnet ist:

A / B / n-Tests eignen sich hervorragend, um mehr Variationen derselben Hypothese zu realisieren. Sie erfordern jedoch mehr Datenverkehr, da sie auf mehrere Seiten aufgeteilt sind.

Obwohl A / B-Tests am beliebtesten sind, sind sie nur eine Art von Online-Experimenten. Sie können auch multivariate Tests ausführen.

Multivariate Tests und A / B / n-Algorithmen. Was ist der Unterschied?

A / B / n-Tests sind kontrollierte Experimente... Führt gleichzeitig eine oder mehrere Variationen der Originalseite aus. Um ein Ergebnis zu erhalten, werden die Conversion-Raten anhand einer Änderung zwischen den Optionen verglichen.

Multivariate Tests überprüfen mehrere Versionen einer Seite, um festzustellen, welche Attribute den größten Einfluss haben. Mit anderen Worten, multivariate Tests ähneln A / B / n-Tests dahingehend, dass sie das Original auf Abweichungen prüfen, aber jeweils unterschiedliche Designelemente enthalten. Beispielsweise:

Dieses mehrdimensionale Testbeispiel zeigt 3 Elemente auf einer Seite mit drei verschiedenen Optionen. Wenn ein solcher Test als AB-Test durchgeführt wird, müssen wir 3 Varianten dritten Grades durchführen. Insgesamt 27 Tests.

Verwenden Sie A / B-Tests, um die besten Layouts zu ermitteln.
Wenden Sie multivariate Tests an, um Ihre Layouts zu verfeinern und sicherzustellen, dass alle Elemente gut miteinander interagieren.
Sie müssen großen Datenverkehr auf der Seite haben, die Sie testen, bevor Sie multivariate Tests in Betracht ziehen.... Wenn Sie jedoch über genügend Datenverkehr verfügen, sollten Sie beide Arten von Überprüfungen in Ihrem Optimierungsprogramm verwenden.

Die meisten Agenturen bevorzugen A / B-Tests, weil Sie dazu neigen, größere Änderungen mit größeren potenziellen Auswirkungen zu testen, und weil sie einfacher zu implementieren sind. Wie Pip einmal sagte: "Die meisten Top-Agenturen, mit denen ich darüber gesprochen habe, führen ~ 10 A / B-Tests pro 1 MW durch."

A / B / n-Algorithmen sind A / B / n-Tests, die basierend auf der Leistung jeder Option in Echtzeit aktualisiert werden.

Grundsätzlich beginnt der A / B / n-Algorithmus mit dem Senden von Datenverkehr an zwei oder mehr Seiten: Original und Variante n. Um "öfter zu gewinnen", wird der Algorithmus dann aktualisiert, je nachdem, welche Option am erfolgreichsten ist. Am Ende nutzt der Algorithmus die beste Option voll aus:

Einer der Vorteile von A / B / n-Tests besteht darin, dass negative Ergebnisse gemindert werden.

A / B / n-Tests eignen sich hervorragend für:

• Schlagzeilen und kurzfristige Kampagnen;
• Automatisierung für Skalierung;
• Orientierung;
• Mischoptimierung mit Zuschreibung.

Unabhängig davon, welche Art von Test Sie durchführen, ist es wichtig, den Kern zu ermitteln, um den Test auszuwählen, der Ihre Erfolgschancen verbessert. Dies bedeutet, dass weitere Tests durchgeführt werden müssen.

Wie kann ich meine A / B-Testergebnisse verbessern?

Ignorieren Sie die Blog-Beiträge "99 Dinge, die Sie jetzt testen können". Dies ist eine Verschwendung von Zeit und Verkehr. Der Prozess wird Ihnen nicht mehr Geld einbringen.

Ungefähr 74%-SEOs mit einem strukturierten Conversion-Ansatz melden ebenfalls Verbesserungen Der Umsatz... Diejenigen ohne strukturierten Ansatz bleiben mit dem zurück, was Craig Sullivan als „Tiefpunkt der Frustration“ bezeichnet, es sei denn, ihre Ergebnisse werden mit falsch positiven Ergebnissen überschwemmt, über die wir später sprechen werden.
Um den Gewinnprozess zu vereinfachen, sieht die Struktur ungefähr so aus:

• Studie;
• Priorisierung;
• Experimentieren;
• Analyse, Buchhaltung und Wiederholung.

Um mit der Optimierung zu beginnen, müssen Sie wissen, was Ihre Benutzer tun und warum.

Sie müssen also in der folgenden Reihenfolge denken:

• Definieren Sie Ihre Geschäftsziele.
• Definieren Sie die Ziele Ihrer Seite? ˅.
• Definieren Sie Ihre KPIs.
• Definieren Sie Ihre Ziele.

Sobald Sie wissen, wohin Sie gehen. Sie können die Daten sammeln, die Sie zur Erreichung Ihrer Ziele benötigen. Wir empfehlen hierfür das ResearchXL Framework.

Hier ist ein Überblick über den Prozess, den wir in CXL verwenden:

• heuristische Analyse;
• technische Analyse;
• Analyse von Webanalysen;
• Maschinenverfolgungsanalyse;
• Qualitätsumfragen;
• Benutzertests und Kopieren.

Die heuristische Analyse kommt "Best Practices" nahe. Selbst nach jahrelanger Erfahrung können Sie nicht genau sagen, was funktionieren wird. Sie können jedoch Opportunitätsbereiche definieren.

Es hilft beim Aufbau von Strukturen. Bei der Durchführung einer heuristischen Analyse bewerten wir jede Seite anhand der folgenden Kriterien:

• Relevanz;
• Klarheit;
• Wert.

Technische Analysen werden oft übersehen. Fehler, falls vorhanden, töten Conversions. Sie könnten denken, dass Ihre Webseite funktioniert hervorragend in Bezug auf Benutzererfahrung und Funktionalität. Aber funktioniert es mit jedem Browser und Gerät gleich gut? Wahrscheinlich nein.

Beginnen wir also mit:

• Durchführen von browser- und geräteübergreifenden Tests.
• Geschwindigkeitsanalyse.
• Webanalyse-Analyse. Stellen Sie sicher, dass alles funktioniert. Sie werden überrascht sein, wie viele Analyseeinstellungen verletzt werden können.

Als Nächstes wird eine Mausverfolgungsanalyse angewendet, die Heatmaps, Scrollmaps, Heatmaps, Formularanalysen und Wiederholungen von Benutzersitzungen umfasst. Lassen Sie sich nicht von der Visualisierung von Heatmaps mitreißen.

Viele Menschen glauben an diese Qualität Analyse "Weicher" oder einfacher als quantitativ, aber es muss genauso streng sein und kann ebenso wichtige Erkenntnisse liefern wie Analysen.

Verwenden Sie für qualitative Forschung Dinge wie:

• Feldstudien;
• Kundenumfragen;
• Interviews mit Kunden und Fokusgruppen;
• Benutzertests.

Die Idee ist einfach: Beobachten Sie, wie echte Menschen Ihre Website nutzen und mit ihr interagieren. Achten Sie darauf, was sie sagen und was sie erleben.

Durch Testen des Originals erfahren Sie, wie Ihre reale Zielgruppe die Website wahrnimmt, was klar oder unklar ist, welche Argumente sie berücksichtigen und welche nicht.

Nach sorgfältiger Recherche haben Sie viele Daten. Der nächste Schritt besteht darin, diese Daten zum Testen zu priorisieren.

So priorisieren Sie eine A / B-Hypothese.

Es gibt viele Strukturen für die Priorisierung Ihrer A / B-Tests, und Sie können sogar mit Ihrer eigenen Formel innovieren. Eine Möglichkeit, Arbeit zu priorisieren. Nachdem Sie alle Schritte durchlaufen haben, werden Sie Probleme finden - Dur und Moll. Verteilen Sie jeden Fund in einem von fünf Segmenten:

• Prüfung. In diesem Teil veröffentlichen Sie Dinge zum Testen.
• Werkzeug. Dies kann das Korrigieren, Hinzufügen oder Verbessern der Behandlung von Tags oder Ereignissen in der Analyse umfassen.
• Eine Hypothese aufstellen. Hier finden Sie eine Seite, ein Widget oder einen Prozess, der nicht wie erwartet funktioniert.
• Mach es einfach... Hier ist alles klar. Arbeite an Fehlern.
• Erkunden... Sie müssen Fragen stellen oder tiefer graben.

Bewerten Sie die Signifikanz jedes Problems mit 1 bis 5 Sternen, 1 = geringfügig, 5 = kritisch.

Es gibt zwei Kriterien, die bei der Bewertung wichtiger sind als andere:

• Einfache Implementierung: Zeit, Komplexität, Risiko. Manchmal erzählen Ihnen die Daten, wie Sie eine Funktion erstellen, deren Entwicklung Monate dauern wird. Fang nicht damit an.
• Möglichkeit. Bewerten Sie die Fragen subjektiv, je nachdem, wie stark sie zu einer Hebung oder Veränderung führen können.

Erstellen Sie eine Tabelle mit all Ihren Daten. Sie haben einen vorrangigen Testplan. Wir haben unser eigenes Priorisierungsmodell entwickelt, um die Subjektivität so weit wie möglich auszumerzen. Dies basiert auf der Notwendigkeit, Daten in die Tabelle einzugeben. Es heißt PXL und sieht folgendermaßen aus:

Anstatt zu erraten, wie sich dies auswirken könnte, stellt Ihnen dieses Framework eine Reihe von Fragen:

• Über der Falte wechseln? Immer mehr Menschen bemerken Veränderungen, die sie übertreffen. Daher werden diese Änderungen wahrscheinlich Auswirkungen haben.
• Ist die Änderung in weniger als 5 Sekunden spürbar? Zeigen Sie einer Gruppe von Personen die Kontrolle und dann die Variation „und“. Können sie den Unterschied in 5 Sekunden zeigen? Wenn nicht, hat es möglicherweise weniger Auswirkungen.
• Fügt es etwas hinzu oder entfernt es etwas? Größere Änderungen, wie das Entfernen von Ablenkungen oder das Hinzufügen wichtiger Informationen, wirken sich stärker aus.
• Wird der Test auf stark frequentierten Seiten durchgeführt? Durch die Verbesserung einer stark frequentierten Seite erhalten Sie mehr Geld.

Viele potenzielle Testvariablen erfordern Daten, um Ihre Hypothesen zu priorisieren. Die wöchentlichen Diskussionen, in denen diese vier Fragen gestellt werden, helfen Ihnen dabei, datengesteuerte Tests zu priorisieren, nicht Meinungen:

• Behebt dies ein Problem, das beim Testen von Benutzern festgestellt wurde?
• Ist es eine Lösung für ein Problem, das durch Qualitätsfeedback entdeckt wurde: Umfragen, Interviews?
• Wird die Hypothese durch Maus-Tracking, Heatmaps oder Eye-Tracking unterstützt?
• Gibt es Inkonsistenzen bei den Ideen, die mit Hilfe der digitalen Analyse gewonnen wurden?

Wir beschränken auch die einfache Implementierung, indem wir die Antworten entsprechend der geschätzten Zeit einordnen. Im Idealfall ist der Testdesigner Teil der Prioritätsdiskussion.

PXL-Punktzahl.

Wir gehen von einer binären Skala aus: Sie müssen die eine oder andere auswählen. Wählen Sie daher für die meisten Variablen entweder 0 oder 1.

Wir wollen aber auch die Variablen nach Wichtigkeit gewichten. Wie auffällig ist die Änderung, wenn etwas hinzugefügt oder entfernt wird? Für diese Variablen sagen wir speziell, wie sich die Dinge ändern. Im Feld Sichtbarkeit der Variablen Ändern können Sie sie beispielsweise als 2 oder 0 markieren.

Anpassbarkeit.

Wir haben dieses Modell unter der Annahme erstellt, dass Sie Variablen basierend auf den für Ihr Unternehmen wichtigen Faktoren anpassen können und sollten.

Vielleicht arbeiten Sie mit einem Branding- oder User Experience-Team zusammen und die Hypothesen müssen mit den Markenrichtlinien übereinstimmen. Fügen Sie dies als Variable hinzu.

Sie befinden sich möglicherweise in einem Startup, dessen Engine SEO ist. Vielleicht hängt Ihre Finanzierung von diesem Kundenstrom ab. Fügen Sie eine Kategorie wie "SEO" hinzu, um einige Überschriften oder Kopiertests zu ändern.

Alle Organisationen arbeiten unter unterschiedlichen Annahmen. Durch Anpassen der Vorlage können diese berücksichtigt und Ihr Optimierungsprogramm verbessert werden.

Welche Struktur Sie auch verwenden, machen Sie sie systematisch und verständlich für alle im Team sowie für die Stakeholder.

Wie lange dauern A / B-Tests?

Erste Regel: Stoppen Sie einen Test nicht, nur weil er statistische Signifikanz erreicht. Dies ist wahrscheinlich der häufigste Fehler, den wohlmeinende Anfängeroptimierer machen.

Wenn Sie mit dem Testen aufhören, wenn Sie die Signifikanz erreicht haben, werden Sie feststellen, dass die meisten Methoden nicht zu einem höheren Einkommen führen.

Beachten Sie Folgendes: Wenn 1000 A / A-Tests durchgeführt wurden (zwei identische Seiten):

• 771 von 1000 Experimenten erreichten irgendwann eine Signifikanz von 90%.
• 531 von 1000 Experimenten erreichten irgendwann eine 95%-Signifikanz.

Das Stoppen von Signifikanztests birgt das Risiko von Fehlalarmen und eliminiert Gültigkeitsgarantien wie Saisonalität.

Bestimmen Sie Ihre Stichprobengröße und führen Sie Tests für volle Wochen durch, normalerweise mindestens zwei Arbeitszyklen.

Wie bestimmen Sie die Stichprobengröße? Es gibt viele großartige Tools. So können Sie die Stichprobengröße mit dem Tool von Evan Miller berechnen:

In diesem Beispiel haben wir dem Instrument mitgeteilt, dass wir einen Koeffizienten haben Umbauten 3% und wir wollen einen Anstieg von mindestens 10% feststellen. Dieses Tool sagt uns, dass wir für jede Variation 51.486 Besucher benötigen, bevor wir die statistische Signifikanz betrachten können.

Neben dem Signifikanzniveau gibt es eine sogenannte statistische Aussagekraft. Die statistische Leistung versucht, Fehler vom Typ II (falsch negative Ergebnisse) zu vermeiden. Mit anderen Worten, es erhöht die Wahrscheinlichkeit, dass Sie einen Effekt finden, wenn es tatsächlich einen gab.

Beachten Sie aus praktischen Gründen, dass 80% Power der Standard für A / B-Testwerkzeuge ist. Um dieses Niveau zu erreichen, benötigen Sie entweder eine große Stichprobengröße, eine große Effektgröße oder einen längeren Test.

Es gibt keine magischen Zahlen.

In vielen Blog-Posts werden magische Zahlen wie "100 Conversions" oder "1000 Besucher" als Haltepunkte beworben. Mathematik ist keine Magie. Wir haben es etwas komplexer als eine vereinfachte Heuristik wie diese Zahlen. Andrew Anderson von Malwarebytes hat es gut ausgedrückt:

Wir wollen eine repräsentative Stichprobe. Wie können wir das bekommen? Testen Sie zwei Geschäftszyklen, um externe Faktoren zu mindern:

• Wochentag. Ihr täglicher Verkehr kann sehr unterschiedlich sein.
• Verkehrsquellen. Es sei denn, Sie möchten die Erfahrung für eine dedizierte Quelle personalisieren.
• Blog-Posting-Zeitplan und Newsletter.
• Wiederkehrende Besucher. Die Leute können Ihre Website besuchen, über den Kauf nachdenken und dann 10 Tage später wiederkommen, um sie zu kaufen.
• Externe Ereignisse. Zum Beispiel kann ein Gehalt in der Mitte des Monats einen Kauf beeinflussen.

Seien Sie vorsichtig mit kleinen Stichproben. Das Internet ist voll von Fallstudien, die von unrealistischer Mathematik durchdrungen sind. Die meisten Studien würden, falls sie jemals vollständige Zahlen veröffentlichen würden, zeigen, dass Verlage Testoptionen pro 100 Besucher bewerteten.

Wenn Sie alles richtig eingerichtet haben, sehen Sie sich die Testergebnisse erst nach dem Test an. Dies kann aufgrund der "Trenderkennung" zu frühen Ergebnissen führen. Sie werden feststellen, dass viele der Testergebnisse auf den Mittelwert zurückfallen.

Regression zum Mittelwert.

Sie werden oft feststellen, dass die Ergebnisse in den ersten Testtagen stark variieren. Natürlich tendieren sie dazu, zu konvergieren, wenn der Test in den nächsten Wochen fortgesetzt wird. Hier ist ein Beispiel mit Seite? ˅ E-Commerce:

• Erste Tage: Blue Line oder Option 3 gewinnen - rund 16 US-Dollar pro Besucher gegenüber 12,50 US-Dollar für die Kontrolle. Viele Leute würden hier versehentlich testen.
• Nach 7 Tagen: Option 3 gewinnt immer noch und der relative Unterschied ist groß.
• Nach 14 Tagen: Orange Linie oder Option 4 gewinnt!
• Nach 21 Tagen: Nr. 4 gewinnt noch!

Wenn Sie den Test in weniger als vier Wochen abbrechen würden, wären Sie in der falschen Schlussfolgerung.

Es gibt ein verwandtes Problem: den Neuheitseffekt. Die Neuheit Ihrer Änderungen, wie z. B. ein großer blauer Knopf, lenkt die Aufmerksamkeit mehr auf die Variation.

Stoppen von A / B-Tests: Wie viele Conversions benötige ich?

Einige Experten sagen, dass Sie nicht mehrere Tests gleichzeitig ausführen sollten. Einige sagen, es ist okay. In den meisten Fällen funktionieren mehrere gleichzeitige Tests gut, extreme Wechselwirkungen sind unwahrscheinlich.

Wenn Sie nicht wirklich wichtige Dinge testen, wie z. B. etwas, das sich auf Ihr Geschäftsmodell und die Zukunft des Unternehmens auswirkt, überwiegen die Vorteile des Testvolumens wahrscheinlich das Rauschen in Ihren Daten und zufällige Fehlalarme.

Wenn ein hohes Risiko der Interoperabilität zwischen mehreren Tests besteht, reduzieren Sie die Anzahl der gleichzeitigen Tests und lassen Sie die Tests länger laufen, um die Genauigkeit zu verbessern.

Wie richte ich A / B-Tests ein?

Sobald Sie Ihre Prioritätenliste mit Testideen erstellt haben, ist es Zeit, Hypothesen aufzustellen und zu experimentieren. Die Hypothese bestimmt, warum dieses Problem auftritt. Auch eine gute Hypothese:

• Überprüfbar. Das Ergebnis ist messbar und kann daher überprüft werden.
• Behebt das Konvertierungsproblem.
• Bietet Marktkenntnisse. Mit einer gut formulierten Hypothese geben Ihnen die Ergebnisse Ihrer Split-Tests Informationen über Ihre Kunden, unabhängig davon, ob der Test "gewonnen" oder "verloren" hat.

Craig Sullivan hat eine Reihe von Hypothesen, um den Prozess zu vereinfachen:

• Was wir gesehen haben: Daten und Feedback,
• Wir erwarten, dass sich die Änderung auswirken wird.
• Wir werden dies anhand einer Datenmetrik messen.

Und fortgeschritten:

• Weil wir qualitative und quantitative Daten gesehen haben.
• Wir gehen davon aus, dass sich eine Änderung für auswirken wird.
• Wir erwarten, dass sich die Datenmetrik im Laufe des Zeitraums ändert.
• Gründe für die technische Transformation.
• Hier ist das letzte Stück: Sie können endlich über die Auswahl eines Werkzeugs nachdenken.

Während dies das erste ist, woran viele denken, ist es nicht das Wichtigste. Strategie und statistisches Wissen stehen an erster Stelle.

Es sind jedoch einige Unterschiede zu beachten. Eine der Hauptkategorien von Tools sind serverseitige oder clientseitige Testtools.

Serverseitige Tools zeigen Code auf Serverebene an. Sie senden eine zufällige Version der Seite an den Betrachter, ohne den Browser des Besuchers zu ändern. Clientseitige Tools senden dieselbe Seite, aber JavaScript im Browser des Clients steuert das Erscheinungsbild des Originals und seine Variation.

Zu den clientseitigen Testtools gehören Optimizely, VWO und Adobe Target. Conductrics bietet Funktionen für beide, und SiteSpect verwendet eine proxyseitige Methode.

Was bedeutet das alles für dich? Wenn Sie im Voraus Zeit sparen möchten oder Ihr Team klein ist oder keine Entwicklungsressourcen zur Verfügung stehen, können Sie mit clientseitigen Tools schneller loslegen. Das Backend erfordert Entwicklungsressourcen, kann jedoch häufig zuverlässiger sein.

Das Einrichten von Tests unterscheidet sich je nach verwendetem Tool geringfügig. Oft ist es jedoch so einfach, Ihr bevorzugtes Tool zu abonnieren und dessen Anweisungen zu folgen, z. B. ein Stück JavaScript auf Ihrer Website zu platzieren.

Außerdem müssen Sie Ziele festlegen, um zu wissen, wann die Konvertierung durchgeführt wurde. Ihr Testtool verfolgt, wann jede Variation Besucher in Kunden umwandelt.

Die folgenden Fähigkeiten sind beim Einrichten von A / B-Tests hilfreich: HTML, CSS und JavaScript / JQuery sowie Design- und Copywriting-Fähigkeiten zum Erstellen von Variationen. Bei einigen Tools können Sie einen visuellen Editor verwenden, dies schränkt jedoch Ihre Flexibilität und Kontrolle ein.

Wie analysiere ich A / B-Testergebnisse?

Okay. Sie haben Ihre Recherchen durchgeführt, Ihren Test korrekt eingerichtet und es ist endlich soweit. Fahren wir nun mit der Analyse fort. Es ist nicht so einfach wie das Betrachten eines Diagramms.

Eines sollten Sie immer tun: Analysieren Sie Ihre Testergebnisse in Google Analytik. Es erweitert nicht nur Ihre Analysefunktionen. Auf diese Weise können Sie sicherer auf Ihre Daten und Entscheidungen vertrauen.

Ihr Testtool zeichnet Informationen möglicherweise nicht korrekt auf. Wenn Sie keine andere Quelle für Ihre Testdaten haben, können Sie nie sicher sein, ob die Ergebnisse korrekt sind. Erstellen Sie mehrere Datenquellen.

Was passiert, wenn es keinen Unterschied zwischen Variationen gibt?

1. Ihre Hypothese mag richtig gewesen sein, aber die Implementierung war falsch.

Angenommen, Ihre qualitative Untersuchung legt nahe, dass das Problem nicht gefährlich ist. Wie viele Möglichkeiten gibt es, um die Wahrnehmung von Sicherheit zu verbessern?

Der Name des Spiels ist iteratives Testen. Wenn Sie also etwas wollten, probieren Sie einige Variationen aus.

2. Selbst wenn es insgesamt keinen Unterschied gab, kann die Variation die Kontrolle in ein oder zwei Segmenten übertreffen.

Wenn Sie Unterstützung für reguläre und mobile Besucher erhalten haben, jedoch nicht für neue Besucher und Desktop-Benutzer, können sich diese Segmente gegenseitig aufheben und den Eindruck erwecken, dass es „keinen Unterschied“ gibt. Analysieren Sie Ihren Test nach Schlüsselsegmenten, um diese Möglichkeit zu untersuchen.

Datensegmentierung für A / B-Tests.

Der Schlüssel zum Erlernen von A / B-Tests ist die Segmentierung. Während B A in der Gesamtleistung übertreffen könnte, könnte B A in bestimmten Segmenten übertreffen: regulär, Facebook, Handy usw.

Es gibt viele Segmente, die Sie analysieren können. Optimalerweise sind folgende aufgelistet:

• Browsertyp;
• Quelle Typ;
• mobiler oder Desktop-Computer oder Gerät;
• registrierte und angemeldete Besucher;
• PPC / SEM-Kampagne;
• geografische Regionen: Stadt, Region, Land);
• neue versus regelmäßige Besucher;
• neue und Stammkunden;
• Power-User versus Gelegenheitsbesucher;
• Männer gegen Frauen;
• Altersspanne;
• neue und bereits eingereichte Leads;
• Arten von Plänen oder Ebenen des Treueprogramms;
• aktuelle, potenzielle und ehemalige Abonnenten;
• Rollen: Zum Beispiel, wenn Ihre Website die Rolle des Käufers und Verkäufers spielt.

Schauen Sie sich zumindest unter der Annahme einer ausreichenden Stichprobengröße die folgenden Segmente an:

• Desktop versus Tablet oder Handy;
• neu relativ alt;
• Verkehr, der auf die Seite trifft, im Vergleich zum Verkehr mit internen Links.

Stellen Sie sicher, dass Sie genügend Stichprobengröße im Segment haben. Berechnen Sie es im Voraus und seien Sie vorsichtig, wenn es in diesem Segment weniger als 250-350 Conversions pro Variation gibt.

Wenn Ihre Verarbeitung für ein bestimmtes Segment gut funktioniert hat, ist es an der Zeit, einen personalisierten Ansatz für diese Benutzer in Betracht zu ziehen.

Wie archiviere ich bestandene A / B-Tests?

Beim A / B-Testen geht es nicht nur darum, zufällige Diagramme zu gewinnen, zu verlieren und zu testen. Wie Matt Gershoff sagte, bedeutet Optimierung "Informationen sammeln, um Entscheidungen zu treffen". Lehren aus statistisch signifikanten A / B-Tests führen zu großen Wachstums- und Optimierungszielen.

Intelligente Organisationen archivieren ihre Testergebnisse und planen ihren Testansatz systematisch. Ein strukturierter Optimierungsansatz sorgt für mehr Wachstum und ist weniger wahrscheinlich auf lokale Höchststände beschränkt.

Hier ist der schwierige Teil: Es gibt keinen einzigen besten Weg, um Wissensmanagement zu strukturieren. Einige Unternehmen verwenden ausgefeilte integrierte Tools, andere Tools von Drittanbietern. und wieder andere verwenden Excel und Trello.

Wenn dies hilfreich ist, finden Sie hier drei Tools, die speziell für die Verwaltung von Conversion-Optimierungsprojekten entwickelt wurden:

• Iridion;
• effektivexperiments.com;
• projects.growthhackers.com.

Es ist wichtig, zwischen Abteilungen und Managern zu kommunizieren. Oft sind A / B-Testergebnisse für den Laien nicht intuitiv.

A / B-Teststatistik.

Warum müssen Sie Statistiken kennen? Matt Gershoff zitiert gerne aus seinem Mathematiklehrer: "Wie kann man Käse machen, wenn man nicht weiß, woher die Milch kommt ?!"

Es gibt drei Bedingungen, die Sie kennen müssen, bevor wir uns mit den Details der A / B-Teststatistik befassen:

• Wert. Wir messen nicht alle Conversion-Raten, sondern nur eine Stichprobe. Der Mittelwert ist ein Vertreter des Ganzen.
• Abweichung. Was ist die natürliche Variabilität der Bevölkerung? Dies wirkt sich auf unsere Ergebnisse und deren Verwendung aus.
• Stichprobenauswahl. Wir können die wahre Conversion-Rate nicht messen, daher wählen wir eine repräsentative Stichprobe aus.

Was ist der p-Wert?

Viele Menschen verwenden den Begriff „statistische Signifikanz“ falsch. Die statistische Signifikanz ist selbst keine Stoppregel. Was ist das und warum ist es wichtig?

Schauen wir uns zunächst die p-Werte an, die ebenfalls sehr missverstanden werden. Wie FiveThirtyEight kürzlich hervorhob, können selbst Wissenschaftler p-Werte nicht einfach erklären.

Der p-Wert ist ein Beweismaß gegen die Nullhypothese oder -kontrolle in der Sprache der A / B-Tests. Der p-Wert sagt uns nicht die Wahrscheinlichkeit, dass B besser als A ist.

Ebenso sagt es nichts über die Wahrscheinlichkeit aus, dass wir einen Fehler machen, wenn wir B vor A wählen. Dies sind häufige Missverständnisse.

Der p-Wert ist die Wahrscheinlichkeit, das aktuelle Ergebnis zu sehen oder extremer, wenn die Nullhypothese korrekt ist. Oder "Wie erstaunlich ist dieses Ergebnis?"

Zusammenfassend wird eine statistische Signifikanz oder ein statistisch signifikantes Ergebnis erzielt, wenn der p-Wert unter dem Signifikanzniveau liegt, das normalerweise auf 0,05 eingestellt ist.

Konfidenzintervalle und Fehlerquote.

Ihre Conversion-Rate sagt nicht nur X% aus. Er sagt so etwas wie X% (+/- Y). Die zweite Zahl ist das Konfidenzintervall und ist äußerst wichtig für das Verständnis Ihrer Testergebnisse.

Bei A / B-Tests verwenden wir Konfidenzintervalle, um das Risiko von Stichprobenfehlern zu verringern. In diesem Sinne steuern wir das mit der Einführung einer neuen Option verbundene Risiko.

Wenn Ihr Tool also Folgendes sagt: "Wir bei 95% sind zuversichtlich, dass die Conversion-Rate X% +/- Y% beträgt", müssen Sie +/- Y% als Fehlerquote berücksichtigen.

Wie sicher Sie in Ihren Ergebnissen sind, hängt weitgehend davon ab, wie groß die Fehlerquote ist. Wenn sich die beiden Konvertierungsbereiche überschneiden, müssen Sie den Test fortsetzen, um ein gültiges Ergebnis zu erhalten.

Sinusdaten.

Eine stationäre Zeitreihe hat statistische Eigenschaften: Mittelwert, Varianz, Autokorrelation usw. Sie sind über die Zeit konstant. Aus vielen Gründen sind Website-Daten nicht stationär, was bedeutet, dass wir nicht dieselben Annahmen treffen können wie für stationäre Daten. Hier sind einige Gründe, warum die Daten schwanken können:

• Saison;
• Wochentag;
• Urlaub;
• positive oder negative Erwähnungen in der Presse;
• andere Marketingkampagnen;
• Checkpoint / SEM;
• SEO;
• Mundpropaganda.

Andere umfassen Probenkontamination, Flickereffekte, Fehler bei der Umsatzverfolgung, Auswahlverzerrung und mehr. Beachten Sie dies, wenn Sie Ihre A / B-Tests planen und überprüfen.

Bayesianische oder häufige Statistiken.

Bayesianische oder häufig auftretende A / B-Tests sind ein weiteres heißes Thema. Viele beliebte Tools haben ihre Statistik-Engines neu gestaltet, um die Bayes'sche Methodik zu verwenden.

Hier ist ein vereinfachter Unterschied in Bezug auf die Bayes'sche Wahrscheinlichkeit: Einer Hypothese wird eine Wahrscheinlichkeit zugewiesen. Laut Frequentist wird eine Hypothese ohne Wahrscheinlichkeitszuweisung getestet.

Versteh mich nicht falsch, jede Methodik hat praktische geschäftliche Auswirkungen. Wenn Sie mit A / B-Tests noch nicht vertraut sind, gibt es viel wichtigere Dinge, über die Sie sich Sorgen machen müssen.

A / B-Testwerkzeuge und -ressourcen.

Es gibt viele Tools für Online-Experimente. Hier ist eine Liste von 53 Tools zur Conversion-Optimierung, die von Experten überprüft wurden. Einige der beliebtesten A / B-Testwerkzeuge sind:

• Optimistisch;
• PUO;
• Adobe Target;
• Maximyser;
• Dirigenten.

A / B-Test von Taschenrechnern.

• AB Test Calculator von CXL;
• A / B-Separationstest-Signifikanzrechner von VWO;
• A / B Split und Multivariate Duration Calculator Test von VWO;
• Evan Millers Probengrößenrechner.

A / B-Teststatistikressourcen.

• A / B-Teststatistik: Eine leicht verständliche Anleitung
• Statistische Analyse und A / B-Tests;
• Grundlegendes zur Statistik von A / B-Tests, um REAL Lift bei Conversions zu erhalten.

Ausgabe.

A / B-Tests sind eine unschätzbare Ressource für alle, die in einer Online-Umgebung Entscheidungen treffen. Mit ein wenig Wissen und Sorgfalt können Sie viele der Risiken mindern, denen die meisten aufstrebenden SEOs ausgesetzt sind.

Wenn Sie sich eingehender mit diesen Informationen befassen, sind Sie den 90%-Testpersonen voraus. Wenn Sie an die Leistungsfähigkeit von A / B-Tests glauben, ist dies eine fantastische Gelegenheit für weiteres Umsatzwachstum.

Wissen ist ein begrenzender Faktor, der nur durch Erfahrung und iteratives Lernen übertroffen werden kann. Also lass dich testen!

✓ Was sind A / B / n-Tests?

A / B / n-Tests sind kontrollierte Experimente. Führt gleichzeitig eine oder mehrere Variationen der Originalseite aus. Um ein Ergebnis zu erhalten, werden die Conversion-Raten anhand einer Änderung zwischen den Optionen verglichen.

✓ Welche Verzerrungen werden bei A / B-Tests verwendet?

Bei A / B-Tests verwenden wir Konfidenzintervalle, um das Risiko von Stichprobenfehlern zu verringern. In diesem Sinne steuern wir das mit der Einführung einer neuen Option verbundene Risiko.

✓ Warum Ihre A / B-Testergebnisse archivieren?

Ein strukturierter Ansatz zur Optimierung und Analyse früherer Ergebnisse ermöglicht Ihnen mehr Wachstum und bessere Testergebnisse.

✓ Was ist der p-Wert bei A / B-Tests?

Der p-Wert ist ein Beweismaß gegen die Nullhypothese (Kontrolle in der Sprache der A / B-Tests). Der p-Wert sagt uns nicht die Wahrscheinlichkeit, dass B besser als A ist.

✓ Was bedeutet ein P-Wert von 1?

Wenn die Daten durch das eingeschränkte Modell vollständig beschrieben sind, beträgt die Wahrscheinlichkeit, weniger gut beschriebene Daten zu erhalten, 1. Wenn beispielsweise die Stichprobenmittelwerte in den beiden Gruppen identisch sind, sind die p-Werte des t-Tests 1 .

✓ In welcher Beziehung steht der P-Wert zu Fehlern vom Typ 1 und Typ 2?

Zum Beispiel würde ein p-Wert von 0,01 bedeuten, dass es eine 1%-te Wahrscheinlichkeit gibt, einen Fehler vom Typ 1 zu machen. Wenn Sie jedoch einen niedrigeren Wert für Alpha verwenden, ist es weniger wahrscheinlich, dass Sie einen echten Unterschied finden, wenn er existiert (welcher) schafft das Risiko eines Typfehlers 2).

✓ Was ist, wenn der P-Wert 0 ist?

1 zeigt die Ablehnung der Nullhypothese auf dem 5%-Signifikanzniveau an. 0 zeigt die Unfähigkeit an, die Nullhypothese auf dem 5%-Signifikanzniveau abzulehnen.