Achtung!
Der erste A/B Test ist zu kompliziert und komplex.
Die ersten Testings zum Einstieg sollten simpel sein. So ist es möglich, sich mit dem gewählten Tool vertraut zu machen und auch zu testen, ob die Ziel- und Hypothesenvorstellung realistisch sind.
Es wurden keine Ziele und Hypothesen definiert.
A/B Tests ohne klare Strategie sind wenig zielführend. Sie sollten auf einer klaren Theorie basieren: Welche Änderungen müssen vollzogen werden, damit das Ziel erreicht werden kann?
Die A/B Tests wurden nicht priorisiert.
Dabei gilt das gleiche wie für den Punkt davor. Ohne eine festgelegte Roadmap für die Abfolge der zu testenden Elemente wird der Arbeitsaufwand für die Optimierung unnötig vergrößert.
Es werden zu viele Variablen auf einmal getestet.
Verändert man für einen A/B Test mehr als ein Element, dann ist es schwierig, aus den Daten herauszufiltern, welche Variable für die Veränderung der Conversion Rate verantwortlich ist.
Das A/B Testing wird zu früh beendet.
Für den richtigen End-Zeitpunkt eines Testings müssen mehrere Faktoren miteinbezogen werden: Der A/B Test sollte zumindest für zwei bis drei Wochen aktiv sein – je länger desto besser. Dadurch verringert sich nämlich auch die Datenvariabilität, die zu Beginn sehr hoch ist. Das Signifikanzniveau, die Wahrscheinlichkeit, dass die Ergebnisse statistisch gültig sind, muss mindestens 95 % betragen. Außerdem sollte die Stichprobe an getesteten Usern groß genug sein, um repräsentative Ergebnisse zu liefern.
Das A/B Testing wird zu spät beendet.
Sobald die oben angegebenen Werte erreicht sind, sollten die Ergebnisse eine ausreichende statistische Zuverlässigkeit besitzen und sind zur Auswertung bereit. Wenn der Test zu lange läuft, dann vergeht Zeit, die für weitere Optimierungen genutzt werden kann! Außerdem können die Cookies, die das A/B Test-Tool nutzt, das Ergebnis verfälschen. Mit ihnen wird das Verhalten der User gespeichert, um es auszuwerten. Ihre Gültigkeit ist jedoch meist zeitlich begrenzt (~ 30 Tage). Wenn der Test also länger als diese Begrenzung läuft, dann durchlaufen manche Nutzer den A/B Test zwei Mal. Außerdem ist auch davon auszugehen, dass Nutzer die gespeicherten Cookies manuell löschen.
Ereignisse der „realen“ Welt werden nicht in die Auswertung miteinbezogen.
Das Verhalten der User wird durch ihre Umgebung beeinflusst. Die Tageszeit, Feiertage oder das Wetter verändern die Nutzung des Internets. Auch aktuelle Ereignisse oder Nachrichten können zur Ablenkung beitragen.
Der A/B Test ist nicht mit allen Endgeräten oder Browsern kompatibel.
Wenn eine Version der Webseite auf bestimmten Geräten oder Browsern nicht funktioniert oder falsch angezeigt wird, ergibt das falsche Ergebnisse, da diese Störungen nicht in die Auswertung miteinbezogen werden. Der Code der beiden Varianten sollte also im Voraus auf verschiedenen Systemen getestet werden.
Kleine Erfolge werden ignoriert.
Auch wenn die neue Version der Webseite nicht um 50 oder sogar 100 % mehr Conversions liefert, war der A/B Test sinnvoll und zielführend. Auch geringe Steigerungen der Conversion Rate sind Erfolge und müssen in die Optimierung miteinbezogen werden. Falls sich bei dem Testing herausstellt, dass die neue Veränderung nicht die gewünschten Ergebnisse bringt, dann sollten die Daten und Erkenntnisse dennoch analysiert und gespeichert werden, denn auch sie sind kleine Schritte auf dem Weg zur perfekten Webseite!