A / B-Test: Wie berechnet man die statistische Signifikanz der Ergebnisse?

Indem ich es tue A / B-TestHaben Sie sich jemals gefragt, ob die Ergebnisse statistisch signifikant sind?

Als Vermarkter werden wir nicht nur gebeten, die Ergebnisse unserer Kampagnen zu messen, sondern auch die Glaubwürdigkeit der Ergebnisse zu demonstrieren.

Wie berechnet man die statistische Signifikanz?

• Bestimmen Sie, was Sie testen möchten.
• Definieren Sie Ihre Hypothese.
• Sammeln Sie Ihre Daten.

Praktisches Beispiel. Jeder der beiden Vermarkter hat eine Version der Zielseite erstellt. Sie nutzten die Funktionalität ihrer A / B. HubSpot-Test zum Sammeln von Ergebnissen. Sie hatten eine freundliche Wette zu gewinnen.

Nach ein paar Tagen hatten sie Ergebnisse. Man bekam eine etwas höhere Conversion-Rate. Sie fragten sich, ob die Ergebnisse statistisch signifikant waren. 

Zur Berechnung der statistischen Signifikanz stehen eine Reihe kostenloser Tools zur Verfügung. Um wirklich zu verstehen, was diese Tools sagen, ist es hilfreich, sie zu studieren. Besonders was sie zählen und was es bedeutet. Wir werden Ihnen ein konkretes Beispiel geben, um Ihnen das Verständnis der statistischen Signifikanz zu erleichtern.

1. Bestimmen Sie, was Sie testen möchten.

Entscheiden Sie zunächst, was Sie testen möchten. Dies könnte ein Vergleich sein:

• Conversion-Raten auf zwei Zielseiten mit unterschiedlichen Bildern;
• Conversion-Raten für E-Mails mit unterschiedlichen Betreffzeilen;
• Conversion-Raten für verschiedene Call-to-Action-Schaltflächen am Ende des Blogposts. Die Auswahl ist endlos.

Wählen Sie den Inhalt aus, für den Sie zwei verschiedene Variationen erstellen möchten. Entscheiden Sie zunächst, ob Ihr Ziel eine bessere Conversion-Rate oder mehr Aufrufe ist.

Sie können natürlich zusätzliche Variationen testen oder sogar einen mehrdimensionalen Test erstellen. In diesem Beispiel bleiben wir bei zwei Zielseitenoptionen. Dies erhöht Ihre Conversion-Rate. 

2. Definieren Sie Ihre Hypothese.

Bevor ich mit dem Sammeln von Daten beginne, finde ich es hilfreich, meine Hypothese zu Beginn des Tests anzugeben. Ich muss auch den Grad der Zuverlässigkeit bestimmen, den ich überprüfen möchte. 

Ich teste eine Zielseite und möchte sehen, ob sie besser wird. Meine Hypothese: Es gibt eine Beziehung zwischen der Zielseite, die Besucher erhalten, und ihrer Conversion-Rate.

3. Sammeln Sie Ihre Daten.

Nachdem Sie festgelegt haben, was Sie überprüfen möchten, ist es Zeit, mit der Erfassung Ihrer Daten zu beginnen. 

Sie werden diesen Test höchstwahrscheinlich ausführen, um festzustellen, welcher Inhalt in Zukunft am besten verwendet werden kann. Sie müssen eine Stichprobengröße auswählen. Für eine Zielseite kann dies bedeuten, dass Sie einen bestimmten Zeitpunkt für die Ausführung eines Tests auswählen. Zum Beispiel, wenn Sie Ihre Seite innerhalb von 3 Tagen aktivieren.

Für so etwas wie eine E-Mail können Sie eine zufällige Stichprobe Ihrer Liste auswählen. Ihre E-Mail-Variationen werden spontan gesendet.

Die Bestimmung der richtigen Stichprobengröße kann schwierig sein. Dies hängt von den einzelnen Tests ab. 

Als allgemeine Faustregel möchten Sie, dass der erwartete Wert für jede Variation größer als 5 ist.

Wir werden uns die erwarteten Werte unten ansehen.

4. Berechnen Sie die Chi-Quadrat-Ergebnisse.

Es gibt verschiedene statistische Tests, die Sie ausführen können. Dadurch wird die Signifikanz anhand Ihrer Daten gemessen. Was ist am besten zu verwenden? Dies hängt davon ab, was Sie überprüfen möchten und welche Art von Daten Sie erfassen. 

In den meisten Fällen verwenden Sie den Chi-Quadrat-Test, da die Daten diskret sind.

Der diskrete Weg besagt, dass es eine endliche Anzahl von Ergebnissen gibt, die erzielt werden können. Beispielsweise wird ein Besucher entweder konvertieren oder nicht konvertieren. Es gibt keine unterschiedlichen Conversion-Raten für einen Besucher.

Sie können basierend auf unterschiedlichen Vertrauensgraden testen. Es wird manchmal als Alpha-Test bezeichnet. Wenn die statistische Signifikanz hoch sein soll, muss Alpha niedrig sein. Möglicherweise haben Sie eine statistische Signifikanz in Bezug auf die Zuverlässigkeit festgestellt.

Beispielsweise sind die erhaltenen Ergebnisse mit einem Konfidenzniveau von 95% statistisch signifikant. In diesem Szenario betrug das Alpha 0,05. Das Vertrauen wird als 1 minus Alpha berechnet. Dies bedeutet, dass die Wahrscheinlichkeit, in der angegebenen Beziehung falsch zu liegen, 1 zu 20 beträgt.

Nachdem ich die Daten gesammelt habe, habe ich sie in ein Diagramm eingefügt, um die Organisation zu vereinfachen. Ich teste 2 verschiedene Optionen A und B. Es gibt 2 mögliche Ergebnisse, konvertiert, nicht konvertiert. Ich werde ein 2 × 2-Diagramm haben. Ich werde jede Spalte und Zeile summieren, damit ich die Ergebnisse im Aggregat leicht sehen kann.

5. Berechnen Sie Ihre erwarteten Werte.

Jetzt werde ich die erwarteten Werte berechnen. Im obigen Beispiel erwarten wir für beide Versionen die gleichen Conversion-Raten. Dies ist der Fall, wenn kein Zusammenhang zwischen dem, was die Besucher der Zielseite sahen, und ihrer Conversion-Rate bestand. 1945 von 4.935 Besuchern stellte sich als Conversion heraus. Das sind ungefähr 39% Besucher.

Sie müssen die erwarteten Häufigkeiten für jede Version der Zielseite berechnen, sofern kein Unterschied besteht. Wir können: Die Anzahl der Zeilen für diese Zelle mit der Anzahl der Spalten für diese Zelle multiplizieren und durch die Anzahl der Besucher dividieren. In diesem Beispiel müssen Sie den erwarteten Konvertierungswert in Version A finden. Ich würde die folgende Gleichung verwenden: (1945 * 2401) / 4935 = 946.

6. Sehen Sie, wie sich Ihre Ergebnisse von Ihren Erwartungen unterscheiden.

Um das Chi-Quadrat zu berechnen, vergleiche ich die beobachteten Frequenzen mit den erwarteten Frequenzen. 

Dieser Vergleich wird folgendermaßen durchgeführt:

• subtrahiert das Beobachtete vom Erwarteten,
• quadrierte das Ergebnis,
• Das Ergebnis wird durch die erwartete Häufigkeit geteilt.

Ich versuche zu verstehen, wie sich meine tatsächlichen Ergebnisse von den erwarteten unterscheiden. Das Quadrieren der Differenz verstärkt den Effekt der Differenz, und das Teilen durch die erwartete Normalisierung normalisiert die Ergebnisse. Die Gleichung sieht folgendermaßen aus: (erwartet - beobachtet) ^ 2) / erwartet.

7. Finden Sie Ihren Betrag.

Ich addiere dann die vier Ergebnisse, um die Chi-Quadrat-Zahl zu erhalten. In diesem Fall ist es 0,95. Ich muss prüfen, ob die Conversion-Raten für meine Zielseiten von der statistischen Signifikanz abweichen. Ich vergleiche dies mit dem Wert aus der Chi-Quadrat-Verteilungstabelle. Es basiert auf meinem Alpha, in diesem Fall 0,05, und Freiheitsgraden.

Der Freiheitsgrad hängt davon ab, wie viele Variablen Sie haben. Bei einer 2 × 2-Tabelle wie in diesem Beispiel beträgt der Freiheitsgrad 1. 

In diesem Fall muss der Chi-Quadrat-Wert gleich oder größer als 3,84 sein. Dann sind die Ergebnisse statistisch signifikant. Da 0,95 weniger als 3,84 ist, unterscheiden sich meine Ergebnisse statistisch nicht. Es besteht keine Beziehung zwischen der Version der Zielseite, die ein Besucher erhält, und der Conversion-Rate mit statistischer Signifikanz.

Warum ist statistische Signifikanz wichtig?

Warum ist das wichtig, wenn Sie nur ein kostenloses Tool verwenden können, um die Berechnungen durchzuführen?

Wenn Sie verstehen, wie die statistische Signifikanz berechnet wird, bestimmen Sie, wie Sie die Ergebnisse Ihrer eigenen Experimente am besten testen können.

Viele Instrumente verwenden das Konfidenzniveau 95%. Für Ihre Experimente kann es sinnvoll sein, ein niedrigeres Konfidenzniveau zu verwenden. Dies ist der Fall, es sei denn, Sie möchten, dass der Test strenger wird.

Wenn Sie die grundlegenden Berechnungen verstehen, können Sie denjenigen erklären, die mit Statistiken nicht vertraut sind, warum Ihre Ergebnisse wichtig sind.

Basierend auf Materialien von der Website: https://blog.hubspot.com.

❤️ Wann ist der Test im Allgemeinen statistisch signifikant?

Wenn die Wahrscheinlichkeit sehr gering ist, dass das Ergebnis versehentlich passiert ist.

❤️ Warum ist es besonders wichtig, die statistische Signifikanz zu berechnen?

Um vielversprechende Hypothesen auszuschließen.

⏩ Was ist das Signifikanzniveau?

Dies ist die Wahrscheinlichkeit, die Nullhypothese abzulehnen, wenn sie korrekt ist.

⏩ Welchen Einfluss hat der p-Wert?

Je kleiner der p-Wert ist, desto sicherer kann die Nullhypothese verworfen werden.

⏩ Wie berechnet man die statistische Signifikanz?

Schauen Sie zunächst auf die linke Seite Ihrer Freiheitsgrade und finden Sie Ihre Varianz. Dann gehen Sie nach oben, um die p-Werte zu sehen. Vergleichen Sie den p-Wert mit dem Signifikanzniveau bzw. dem Alpha. Denken Sie daran, dass ein p-Wert von weniger als 0,05 als statistisch signifikant angesehen wird.

⏩ Wie werden statistisch signifikante Ergebnisse ermittelt?

Um einen Z-Test durchzuführen, suchen Sie den Z-Score für Ihren Test oder Ihre Studie und konvertieren Sie ihn in einen P-Wert. Wenn Ihr P-Wert unter dem Signifikanzniveau liegt, können Sie daraus schließen, dass das Ergebnis statistisch signifikant ist.

⏩ Was ist der p-Wert in der Statistik?

In der Statistik ist ein p-Wert die Wahrscheinlichkeit, Ergebnisse zu erhalten, die mindestens so extrem sind wie die beobachteten Ergebnisse eines statistischen Hypothesentests, vorausgesetzt, die Nullhypothese ist wahr. Ein kleinerer p-Wert bedeutet, dass es stärkere Beweise für die alternative Hypothese gibt.