A/A Test: lohnt sich der Aufwand?

A/A Test: lohnt sich der Aufwand?

Das fiese an manchen Fehlern ist, dass man sie zu spät oder gar nicht bemerkt. Im Rahmen der laufenden Conversion-Optimierung ist das besonders ärgerlich, weil falsche Entscheidungen viel Zeit und Geld verbrennen. A/A Tests helfen Dir ein Stück weit dabei, Fehler im Vorwege zu identifizieren.

Most winning A/B test results are illusory.”

Martin Goodson

Tatsächlich liefern viele Split Tests falsche Ergebnisse. Häufig, weil die Test Tools nicht richtig funktionieren oder fehlerhaft eingerichtet wurden. So werden Experimente zu einer reinen Glückssache.

Typische Fehler von Testing Tools

Es sind vor allem zwei Schwachstellen, welche in Testing Tools ziemlich verbreitet sind.

Die Anzahl gemessener Views und Klicks ist falsch
Viele Tools tun sich schwer damit, tatsächliche Interaktionen eindeutig zu messen. Eine besondere Herausforderung stellen weitergeleitete URLs, Cache, aber auch Bots dar. Ein gutes Testing Tool muss mit diesen Widrigkeiten klar kommen.

Die Auslieferung von Control und Variante erfolgt unterschiedlich
Vor allem clientseitige Tests haben den Nachteil, dass die Variante mit leichter Zeitverzögerung erscheint. Manchmal wird auch ein Flackern festgestellt. Beides hat natürlich einen unerwünschten Einfluss auf die Konversionsrate.

Durchführung eines A/A Tests

Die Durchführung eines A/A Test erfolgt genauso wie die eines A/B Tests. Einziger Unterschied: Control und Variante sind identisch. (Das Tool sollte die Variante natürlich so ausspielen, als gäbe es einen Unterschied.)

Wenn das Tool sauber arbeitet, liegen die gemessenen Ergebnisse (z. B. die Konversionsrate) möglichst dicht beieinander. Tun sie es nicht, stellen sich folgende Fragen:

  • Arbeitet das Tool tatsächlich sauber?
  • Ist die Stichprobengröße ausreichend?

Mögliche Gründe müssen in nachgelagerten Schritten ermittelt werden. Ein A/A Test liefert lediglich Indizien. 

Nachteil von A/A Tests

Aussagekräftige Tests stets viel Zeit. Vor allem dann, wenn das Trafficvolumen nicht besonders groß ist. Daher ist wenig praktikabel, vor jedem neuen Experiment einen A/A Test durchzuführen. Zumal die Ursachen weitgehend im Dunkeln bleiben.
Sinnvoller sind häufig manuelle Tests bei Einsatz professioneller Analytics Tools.

Über den Autor
Über den Autor

Moin aus Hamburg! Mein Name ist Frank Rix und ich beschäftige mich seit über 20 Jahren mit Content-Marketing und Conversion-Optimierung. Mein erstes Content-Projekt war 1997 ein Infotainment Special für otto.de.

Deine Kunden wollen partout nicht anbeißen? Klicke hier, wenn ich Dir helfen soll!

Fazit

A/A Tests sind überaus sinnvoll, wenn ein neues Test Tool evaluiert oder eingerichtet wird. Für den operativen Betrieb sind A/A Test viel zu zeitaufwendig. Besser ist es, regelmäßig manuelle Tests durchzuführen und die Ergebnisse mit den Zahlen in Analytics Tools zu vergleichen.

Artikel teilen

Share on linkedin
Share on twitter
Share on whatsapp
Share on email