Wie man durch A/B-Tests neue Erkenntnisse gewinnt

A/B-Tests, bei denen Daten und Analysen stärker genutzt werden als bei dem einfachen (aber effektiven) obigen Beispiel, können dazu verwendet werden, die Auswirkungen einer Reihe verschiedener Tests zu messen, z. B. beim E-Mail-Marketing, beim Testen von PPC-Kampagnen, bei Website-Inhalten und mehr.

Hier wollen wir jedoch ein sehr einfaches Szenario besprechen. Nehmen wir an, wir möchten einen regionalen Marketingtest durchführen und seine Wirkung messen, um zu entscheiden, ob es sich lohnt, ihn in Zukunft zu wiederholen oder nicht. Aber was genau ist A/B-Testing, und wie kann es in diesem Fall helfen? Wie sollte man bei der Durchführung des Tests selbst vorgehen? Und wie misst man eigentlich die Wirkung des Tests?

Was ist A/B-Testing?

Beim A/B-Testing, auch bekannt als Split-Testing oder Test und Kontrolle, werden zwei Versionen von etwas miteinander verglichen und die Auswirkungen eines geänderten Elements gemessen. In unserem Beispiel eines regionalen Marketingtests wollen wir den Anstieg (falls vorhanden) in den Regionen messen, in denen das Marketing durchgeführt wurde, und in den Regionen, in denen es nicht durchgeführt wurde.

Wie führen Sie einen A/B-Test durch?

Beginnen Sie mit der zu testenden Hypothese. Sie glauben zum Beispiel, dass eine bestimmte Marketingmaßnahme besser abschneidet als die normale. Dies könnte durch eine Frage ausgelöst werden, z. B. "Warum funktioniert ein bestimmter Kanal nicht?" oder "Wir möchten diese Strategie in Zukunft erforschen, wie können wir testen, ob sie funktioniert?" Letzteres passt gut zu unserem Beispiel des regionalen Marketings.

Vergewissern Sie sich, dass Sie über die erforderlichen Daten verfügen, um den Test zu messen und ihn richtig einzurichten. Wenn Sie beispielsweise einen regionalen Test durchführen, sollten Sie sicherstellen, dass Sie in der Lage sind, Daten auf regionaler bzw. Filialebene zu sammeln. Besprechen Sie den Test mit den zuständigen Stellen, um sicherzustellen, dass die Ausgaben, die Flugzeiten und die für den Test gewählten Regionen ausreichend sind.

Zu jedem Zeitpunkt gibt es eine ganze Reihe von Faktoren, die den Umsatz beeinflussen. Wenn jedoch alles gleich bleibt, mit Ausnahme des getesteten Marketings, können wir getrost davon ausgehen, dass jede Steigerung auf den Test selbst zurückzuführen ist.

Wie misst man die Ergebnisse von A/B-Tests?

Zunächst müssen wir alle erforderlichen Daten sammeln. In unserem Beispiel für regionale Tests sollten die Verkaufsdaten in zwei verschiedene Gruppen aufgeteilt werden: eine Testgruppe und eine Kontrollgruppe. Die Sammlung von Verkaufsdaten auf Geschäftsebene würde in unserem Fall die Aufteilung der Verkaufsdaten unterstützen.

Als Nächstes müssen wir die Test- und die Kontrollmenge so indexieren, dass sie dieselbe Basislinie haben, damit ein fairer Vergleich möglich ist. Angesichts der Tatsache, dass die absoluten Werte unterschiedlich sein können, ist dies die beste Möglichkeit, die beiden zu vergleichen, wenn man die Veränderung der Umsätze betrachtet.

Da, wie bereits erwähnt, alle anderen Faktoren gleich bleiben (d. h. Produktverfügbarkeit, kein unterschiedliches Angebot in den einzelnen Geschäften usw.), kann jeder Unterschied in der Testgruppe auf die von uns durchgeführten Marketingmaßnahmen zurückgeführt werden. Das folgende Diagramm ist ein anschauliches Beispiel dafür.

Was A/B-Tests bewirken.

Mit A/B-Tests können wir den ROI genauer berechnen, als es sonst möglich wäre, z. B. durch die Modellierung des gesamten nationalen Umsatzes mit dem traditionellen MMM. Die Modellierung auf Geschäftsebene ist eine weitere Lösung, aber für kleinere Ad-hoc-Tests ist sie aufgrund der erforderlichen Ressourcen und der relativen Ausgaben für den Test oft nicht kosteneffizient.

A/B-Tests liefern nicht nur den datengestützten Beweis, dass ein Test funktioniert oder nicht funktioniert hat. Sie bieten auch die Möglichkeit, Erkenntnisse über das Verbraucherverhalten auf andere Bereiche Ihres Marketings zu übertragen. Wenn sich ein regionaler Test bei der Vermarktung eines bestimmten Produkts bewährt hat, kann er auch bei der Verwendung eines anderen Kanals funktionieren.

Regelmäßige Tests sind am besten, da sie dazu beitragen, die optimalen Marketingausgaben und -maßnahmen für jeden Kanal schneller zu erreichen, was wiederum zu einem erfolgreicheren Marketing führt. Und wie bei unserem Lieblingsexperiment mit dem Saatgut gilt natürlich auch hier: Wenn Sie mehr Licht ins Dunkel bringen, wird die Wirkung des Marketings nur noch größer! Erfahren Sie mehr darüber, wie wir Ihnen jetzt helfen können.