A/B-Test im Online-Marketing: sinnvoll oder Zeitverschwendung?

A/B-Test im Online-Marketing: sinnvoll oder Zeitverschwendung?

A/B-Tests gehören zum Online-Marketing wie das Klappern zum Handwerk. Moderne Tools machen die Durchführung kinderleicht. Doch genau hier liegt die Krux: A/B-Test-Tools führen häufig zu falschen Erkenntnissen. Sind sie deshalb reine Zeitverschwendung? 

Begriffserklärung

Der A/B-Test (auch bekannt unter A/B/n Test, Split Test, …) ist ein bewährtes Verfahren für direkte Leistungsvergleiche.

Anwendung findet es hauptsächlich im Online-Marketing. Hier lassen sich nämlich verschiedenen Varianten automatisiert und zeitgleich testen. Beim „Gewinner“ geht man davon aus, dass dieser den größten Erfolg verspricht.

Wissenschaftlich betrachtet gehört es zu den sogenannten Feldexperimenten. Anders als in Laborexperimenten wird ein A/B-Test nämlich unter realen Bedingungen durchgeführt. Er gilt unter Statistikern deshalb als Goldstandard.

Vorteile von A/B-Tests

Ein A/B-Test ist mit den entsprechenden Tools relativ „einfach“ umsetzbar. Daraus resultiert jedoch auch ein großes Risiko: Falsch umgesetzte A/B-Tests können ein Marketing Team mit einer Vielzahl irreführender „Erkenntnisse“ fluten, die in der Folge zu falschen Entscheidungen führen. 

A/B Split Test
Quelle: vwo.com

Nachteile von A/B-Tests

Conversion-Optimierung mithilfe von A/B Tests setzt voraus, dass ausreichend Daten generiert werden. Anders ausgedrückt: je weniger Website Traffic, desto langwieriger und schwieriger sind aussagekräftige Experimente. 

Tipps für A/B-Tests

1) Achte auf ein gutes Testdesign!

Ohne korrekte Planung, kaum brauchbare Testergebnisse. Lege deshalb viel Wert auf ein gut durchtachtes Testdesign. Dazu gehören Fragestellung nach der zu untersuchenden Einheit und dem zu untersuchenden Segment. Dazu kommt die Festlegung des angestrebten Uplifts, der statistischen Signifikanz und schließlich der Hypothese.

Statistische Signifikanz

Bei einem A/B-Test sollte der Unterschied mehr als das Doppelte der Quadratwurzel der Gesamtmenge betragen. Beispiel:

A bringt 50.000 Klicks
B bringt 40.000 Klicks
Summe = 90.000
Differenz= 10.000

Die doppelte Quadratwurzel der Summe beträgt 600.
Die doppelte Quadratwurzel der Differenz beträgt 200.

600 > 200


Resultat: Das Ergebnis ist signifikant, d.h. der Test ist aussagefähig – und A ist der Gewinner.

2) Überprüfe jedes Ergebnis!

Kausalität gibt es ohne Korrelation. Überprüfe das Ergebnis also immer auf weitere Einflussfaktoren. Lädt eine der Varianten langsamer? Gibt es Differenzen in den Wochentagen? Was ist mit wiederkehrenden Usern? Was ist mit Usern ohne Cookie Consent? Tatsächlich ist die Realität meistens viel komplexer als angenommen. 

3) Erspare Dir Tests für das eigene Ego!

A/B Tests sind nicht dazu da, eine Meinung durchzusetzen. Sie dienen allein dem Erkenntnisgewinn. Persönliches Ego und Bauchgefühl haben mit Data-Driven Marketing nichts zu tun.

4) Vermeide Risiken mittels Ramp-ups!

Ist die zu testenden Variante mit Risken verbunden? Dann macht es Sinn, sie vor dem eigentlichen Experiment innerhalb eines kleineren Segments zu testen.

5) Verändere eine Variation möglichst nur an einer Stelle!

Veränderst Du in der Variante sowohl eine Headline als auch eine Grafik, weißt Du am Ende nicht, was den möglichen Uplift verursacht hat. Zumal sich verschiedene Änderungen auch untereinander beeinflussen können. Teste deshalb möglichst immer nur kleine Änderungen, wenn Du etwas lernen möchtest. 

Vorsicht

A/B Tests kosten immer Geld. Ganz besonders schlechte Tests, welche potenzielle Kunden von einem Kauf abhalten. Du tust Dich schwer mit explorativer Statistik? Dann lass die Finger davon!

Tools für A/B-Tests

Für die Optimierung von Webseiten, Shops und Apps wird eine Vielzahl spezieller Tools angeboten. Die Bekanntesten sind:

Diese Tools arbeiten jedoch nicht immer sauber. Vor allem dann nicht, wenn es im Rahmen des Setups und bei der Konfiguration zu Fehlern kommt. Und das passiert erstaunlich häufig. 

UX Research
Quelle: maze

Alternative zum A/B-Test

Gemäß dem Pareto-Prinzip (80-20-Regel) lässt sich fast jede Websites und jeder Online-Shop auch ohne A/B Tests optimieren. Dazu werden offensichtliche Schwachstellen und Fehler identifiziert und behoben. 

Ein auf Pragmatismus setzende Verfahren nennt sich FBSFO (‚Fix broken shit first‘ Optimization) und wurde 2021 von Rich Page erstmals erwähnt. Es bringt handfeste Vorteile mit sich:

  • Geschwindigkeit: FBSFO lässt sich ohne große Vorbereitungen umsetzen. Anders als korrekt durchgeführte Experimemte, für die schon mal einige Wochen investiert werden muss.
  • Unabhängig vom Trafficvolumen: FBSFO ist auch für minimales Traffic geeignet. Also perfekt für B2B-Organisationen und Startups, die nicht über Big Data verfügen.
  • Kosten: Ander als CRO ist FBSFO kein kontinuierlicher Prozess. Entsprechend sind die Kosten für Personal und Technologie auch deutlich geringer.
  • Sicherheit und Compliance: FBSFO stellt sicher, dass Webseiten und Shops sicher sind und Cookies korrekt setzen.

Das FBSFO-Verfahren ist jedoch ebenfalls nichts für Anfänger. Auch hier sind Skills aus den Bereichen Analytics, UX Design, UX Writing und Frontend Development unverzichtbar. 

Fazit

Aussagekräftige A/B Tests sind komplex und zeitaufwendig. Häufig ist es sinnvoller, im Online-Marketing "Quick and Dirty"-Lösungen zu implementieren. Ideen liefern qualitative Analysen.

Ergänzende Artikel

Über den Autor
Über den Autor

Moin aus Hamburg! Mein Name ist Frank und ich beschäftige mich seit über 25 Jahren mit Content-Marketing, Automation, Analytics und Conversion-Optimierung.

Deine Kunden wollen partout nicht anbeißen? Gerne helfe ich Dir mit einem
kostenlosen Landingpage-Check.