Das fiese an manchen Fehlern ist, dass man sie zu spät oder gar nicht bemerkt. Im Rahmen der laufenden Conversion-Optimierung ist das besonders ärgerlich, weil falsche Entscheidungen viel Zeit und Geld verbrennen. A/A Tests helfen Dir ein Stück weit dabei, Fehler im Vorwege zu identifizieren.
Most winning A/B test results are illusory.”
Tatsächlich liefern viele A/B Tests falsche Ergebnisse. Häufig, weil die Test Tools nicht richtig funktionieren oder fehlerhaft eingerichtet wurden. So werden Experimente zu einer reinen Glückssache.
Typische Fehler von Testing Tools
Es sind vor allem zwei Schwachstellen, welche in Testing Tools ziemlich verbreitet sind.
Die Anzahl gemessener Views und Klicks ist falsch
Viele Tools tun sich schwer damit, tatsächliche Interaktionen eindeutig zu messen. Eine besondere Herausforderung stellen weitergeleitete URLs, Cache, aber auch Bots dar. Ein gutes Testing Tool muss mit diesen Widrigkeiten klar kommen.
Die Auslieferung von Control und Variante erfolgt unterschiedlich
Vor allem clientseitige Tests haben den Nachteil, dass die Variante mit leichter Zeitverzögerung erscheint. Manchmal wird auch ein Flackern festgestellt. Beides hat natürlich einen unerwünschten Einfluss auf die Konversionsrate.
Durchführung eines A/A Tests
Die Durchführung eines A/A Test erfolgt genauso wie die eines A/B Tests. Einziger Unterschied: Control und Variante sind identisch. (Das Tool sollte die Variante natürlich so ausspielen, als gäbe es einen Unterschied.)
Wenn das Tool sauber arbeitet, liegen die gemessenen Ergebnisse (z. B. die Konversionsrate) möglichst dicht beieinander. Tun sie es nicht, stellen sich folgende Fragen:
- Arbeitet das Tool tatsächlich sauber?
- Ist die Stichprobengröße ausreichend?
Mögliche Gründe müssen in nachgelagerten Schritten ermittelt werden. Ein A/A Test liefert lediglich Indizien.
Nachteil von A/A Tests
Aussagekräftige Tests stets viel Zeit. Vor allem dann, wenn das Trafficvolumen nicht besonders groß ist. Daher ist wenig praktikabel, vor jedem neuen Experiment einen A/A Test durchzuführen. Zumal die Ursachen weitgehend im Dunkeln bleiben.
Sinnvoller sind häufig manuelle Tests bei Einsatz professioneller Webanalyse-Tools.
Fazit
A/A Tests sind überaus sinnvoll, wenn ein neues Test Tool evaluiert oder eingerichtet wird. Für den operativen Betrieb sind A/A Test viel zu zeitaufwendig. Besser ist es, regelmäßig manuelle Tests durchzuführen und die Ergebnisse mit den Zahlen in Analytics Tools zu vergleichen.