Warum rennst du A / B-Tests?
Es ist ganz einfach: Sehen Sie, welche Version die meisten Publikumsreaktionen erhält.
Bis vor kurzem dachte ich, es gäbe nur eine Art A / B. Prüfung. Dann habe ich eine andere Version davon getroffen. Diese Methode wird als Bayesian A / B-Test bezeichnet. Wenn Sie einen spezifischeren taktischen Ansatz für das Testen von Anzeigen wünschen, ist dies möglicherweise die Antwort.
Es umfasst weiterhin die Variationsprüfung, um die Präferenzen der Zielgruppe zu ermitteln, erfordert jedoch mehr Berechnung sowie Versuch und Irrtum. Aber lassen Sie uns zunächst darüber sprechen, wie sich Bayes'sche A / B-Tests von herkömmlichen A / B-Tests unterscheiden. Split-Tests.
Содержание | Быстрая навигация
Traditionelle A / B-Tests.
Frequentist ist eine Standard-Split-Testmethode, bei der nur Daten aus dem aktuellen Experiment verwendet werden.
Jedermann A / B-Test hat die gleiche Anzahl von Komponenten. Sie verwenden Daten, die auf einer Metrik basieren, die die Optionen A und B identifiziert. Eine Metrik kann beispielsweise die Anzahl der Klicks auf eine Anzeige sein. Um den Gewinner zu ermitteln, wird dieser Indikator statistisch gemessen.
Wenden wir dies auf ein Beispiel an, das einen frequenzbasierten oder traditionellen Ansatz verwendet. In diesem Skript erstellen Sie zwei Deklarationen und ändern eine Variable, z. B. eine Kopie der Deklaration. Wählen Sie dann eine Metrik aus, z. B. die Anzahl der Anzeigenklicks.
In diesem Beispiel ist der Gewinner des A / B-Tests für häufige Benutzer derjenige, der Ihre Zielgruppe am meisten angeklickt hat, basierend auf den Ergebnissen dieses Experiments.
Wenn Sie diese Komponenten in einem Bayes'schen A / B-Test veranschaulichen würden, würden Sie sich dem Test mit unterschiedlichen Daten nähern.
Was ist ein Bayesian A / B-Test?
Der Bayes'sche Ansatz verwendet Informationen aus ähnlichen früheren Experimenten, kombiniert sie mit aktuellen Daten und zieht eine Schlussfolgerung.
Grundsätzlich würden Sie die Schlussfolgerung aus früheren Bayes'schen Experimenten als Option für einen neuen Test verwenden. Diese Art der Validierung verwendet Versuch und Irrtum, um fortlaufende Tests zu erstellen, bis Sie Statistiken finden, um Ihre gewünschten Ergebnisse zu sichern.
Diese Definition scheint ohne Beispiel etwas schwierig zu visualisieren. Schauen wir sie uns also an.
Wenn Ihre vorherige Facebook-Anzeige 867 eindeutige Besucher und 360 Conversions für eine 41%-Conversion-Rate hätte, würden Sie diese Daten verwenden, um Ihnen mitzuteilen, was Sie erwartet haben.
Wenn Sie davon ausgehen, dass Ihre nächste Facebook-Anzeige 5.000 eindeutige Besucher erreicht, können Sie daraus schließen, dass Sie aufgrund Ihrer bisherigen Erfahrungen 2.050 Conversions erzielen würden. Dies ist Option "A".
Angenommen, Sie sehen sich die Leistung einer ähnlichen Facebook-Anzeige an und erzielen am Ende eine Conversion-Rate von 52%. Dies ist Option "B."
Durch das Sammeln der Daten aus den beiden Optionen haben Sie die posteriore Verteilung berechnet. Die zuvor durchgeführten Tests sind nun die Grundlage für Ihren Bayes'schen Test.
Wenn Sie vor der Berechnung der posterioren Verteilung Schlussfolgerungen zu den Conversion-Raten für jede Variable hatten, können Sie diese jetzt basierend auf den gesammelten Daten aktualisieren.
Sie können hypothetische Fragen zu Ihrem Test stellen, z. B. "Wie wahrscheinlich ist es, dass B größer als Option A ist?" In diesem Fall können Sie den Schluss ziehen, dass die Antwort auf diese Frage 9% lautet.
Dann beginnt ein Versuch und Irrtum.
Die Bayes'sche Methodik trifft Entscheidungen, indem sie einige Schlussfolgerungen zieht. Sie können den erwarteten Verlust anhand der Abnahmerate Ihrer Metrik berechnen, wenn Sie eine Variable auswählen.
Legen Sie einen Rahmen fest, z. B. 2%, damit die Metrik niedriger wird. Sobald Sie genügend Daten gesammelt haben, um zu bestätigen, dass eine Variante unter 2% gefallen ist, haben Sie einen Testsieger.
Ihr geschätzter Verlust für eine Variation ist der Durchschnitt dessen, um den sich Ihre Metrik verringert, wenn Sie diese Variation auswählen. Die Grenze sollte klein genug sein. Dies ist notwendig, damit man sicher vorschlagen kann, einen so großen Fehler zu machen.
Die Methode geht davon aus, dass Sie eher bereit sind, einen Fehler in einer bestimmten Menge zu machen und dann mit einem subtileren Experiment fortzufahren, anstatt Zeit mit einem Fehler zu verschwenden, der unter diesen Schwellenwert gefallen ist.
Wenn Sie zwei Experimente durchführen, werden diese beendet, wenn die erwarteten Verluste unter dieser 4%-ten Grenze liegen. Sie sollten die Werte Ihrer Optionen verwenden, um den durchschnittlichen Verlust zu berechnen. Sie werden dann erneut mit dem Testen beginnen, indem Sie diese Werte als Vermögensverteilung verwenden.
Bayesianische A / B-Tests beweisen, dass Sie eine Geschäftsentscheidung treffen können, die nicht unter die von Ihnen festgelegten Grenzen fällt.
Sie können die gesammelten Daten verwenden, um Tests kontinuierlich auszuführen, bis Sie mit jedem Experiment eine Zunahme der Metriken feststellen.
Wenn Sie Bayes'sche Tests verwenden, können Sie den Test regelmäßig ändern und die Ergebnisse verbessern, während der Test ausgeführt wird. Bayesianische A / B-Tests verwenden ständige Innovationen, um konkrete Ergebnisse zu erzielen und kleine inkrementelle Verbesserungen vorzunehmen. Sie müssen die Ausgabe nicht als Ergebnis verwenden, sondern als Option.
Wenn Sie Split-Tests in Software oder anderen Kanälen ausführen, müssen Sie diese nicht ändern, um Bayes'sche A / B-Tests auszuführen.
Stattdessen können Sie sich die Tools ansehen, die Ihnen in dieser Software zur Verfügung stehen, um kalkulierte Ergebnisse zu erhalten. Führen Sie diese Tests dann ständig durch und analysieren Sie sie, um Ihre Gewinner auszuwählen.
Sie können einen Bayes'schen A / B-Test anstelle eines herkömmlichen A / B-Tests verwenden, wenn Sie mehr Metriken in Ihre Ergebnisse einbeziehen möchten. Dies ist ein wirklich guter Test zur Berechnung eines spezifischeren ROI für Ihre Anzeige. Wenn Sie weniger Zeit haben, können Sie natürlich immer den häufigen Ansatz verwenden, um mehr vom "Gesamtbild" zu erhalten.
Unabhängig von der gewählten Methode sind A / B-Tests beliebt, da sie Ihnen Einblicke geben, die Sie in zukünftigen Kampagnen möglicherweise nützlich finden.
Basierend auf Materialien von der Website: https://blog.hubspot.com.
❤️ Почему этот тест называется "Баесовским"?
Es funktioniert nach einer Formel, die vom englischen Mathematiker Thomas Baes entwickelt wurde.
✔️ Was kann Ihnen helfen, genauere Beaesian A / B-Tests durchzuführen?
Lesen Sie mehr über die Beta-Verteilung und das Thompson-Beispiel, um frühere Werte für A und B zu ermitteln.
✔️ Wie ist die Wahrscheinlichkeitsverteilung in einem Bayes'schen Split-Test?
Es ist eine Reihe möglicher Parameterwerte zusammen mit einer Funktion, die angibt, wie wahrscheinlich ein bestimmter Parameter ist.
❤️ Warum sind Bayes'sche A / B-Tests wichtig?
Es berücksichtigt die Ergebnisse früherer Prüfungen und Wahrscheinlichkeiten in der Analyse, wodurch die Ergebnisse der neuen Prüfung genauer werden.
❤️ Was ist Bayesian A / B Testing?
Bayesianische A / B-Tests akzeptieren zwar Optionen, die nur geringe Verbesserungen bieten, argumentieren jedoch, dass die falsch-positive Rate - der Anteil der Fälle, in denen wir eine Behandlung akzeptieren, wenn die Behandlung nicht wirklich besser ist - nicht sehr wichtig ist.
❤️ Was bedeutet Bayes'scher Ansatz?
Ein Ansatz zur Datenanalyse, der eine posteriore Wahrscheinlichkeitsverteilung für einen Parameter (z. B. einen Behandlungseffekt) liefert, der aus den beobachteten Daten abgeleitet wird, und eine vorherige Wahrscheinlichkeitsverteilung für den Parameter. Die posteriore Verteilung dient als Grundlage für statistische Inferenz.
❤️ Wo werden Bayes'sche Statistiken verwendet?
In jedem Bereich der Anwendung, in dem Sie viele heterogene oder verrauschte Daten haben oder in dem Sie ein klares Verständnis Ihrer Unsicherheit benötigen, können Sie Bayes'sche Statistiken verwenden.
