Fuseon

Blog

CHECKLISTE: Durchführung eines A/B Tests

Wie führt man einen erfolgreichen A/B Test durch? A/B Test-Definition: Was ist ein A/B Test? Ein A/B Test ist eine Marketing Methode zum Vergleich und

FUSEON

Wie führt man einen erfolgreichen A/B Test durch?

A/B Test-Definition: Was ist ein A/B Test?

Ein A/B Test ist eine Marketing Methode zum Vergleich und zur Bewertung zweier Versionen einer Webseite. Dabei wird aus dem Original eine leicht veränderte Ausführung erstellt, der Erfolg beider Varianten innerhalb eines testzeitraums gemessen und gegenübergestellt. Die Variante mit der höheren Conversion Rate und den besseren Klickraten wird ausgewählt und weiter optimiert.

Die beiden Varianten A (Originalversion) und B (zu testende Version), deren Inhalt sich meist nur in einem kleinen Detail unterscheiden kann, werden den Usern nach dem Zufallsprinzip angezeigt. Ein Teil der Testgruppe landet auf Seite A, der andere auf Seite B. Dabei wird die Erfolgsquote anhand der Conversions ermittelt. So lässt sich analysieren, welche Änderungen bei den Seitenbesuchern besser ankommen und welche Version weiter optimiert werden sollte. Als Beispiel können schon kleine Änderungen wie die Platzierung und das Design bestimmter Schaltflächen oder Überschriften bessere Klickraten und Conversions erzielen.

Ein A/B Testing kann auf jeder Seite durchgeführt werden, die über ein messbares Ziel verfügt. Eine mögliche Zielsetzung ist die Generierung von Leads, beispielsweise potenziellen Neukunden in einer bestimmten Zielgruppe. Dabei ist es von Vorteil, zusätzlich in einer Datenerfassung demographische Informationen über die Besucher zu sammeln, etwa die Altersgruppe oder das Geschlecht. Bei A/B Tests in Onlineshops wird mittels der abgeschlossenen Bestellungen überprüft, welche Version bessere Conversions erzielt. Getestet werden können zum Beispiel der Bestellvorgang oder eine Landing Page.

Im Bereich des Direktmarketings wird dieses Verfahren schon seit langem angewendet. Verschiedene Varianten einer Botschaft, die sich nur in einem Merkmal unterscheiden, werden Konsumenten bzw einer Zielgruppe vorgelegt, um zu messen, welche Version die besten Ergebnisse erzielt.

Vorteile eines A/B Tests: Warum sollte man einen A/B Test durchführen?

Die einfache Antwort auf diese Frage lautet: Man sollte einen A/B Test zur Conversion-Optimierung durchführen. Durch eine optimierte Website wird eine größere Anzahl an interessierten Besuchern davon überzeugt, dem Call to Action zu folgen und somit wird der eigene Umsatz gesteigert.

💭 Ein Viertel der Google Ads Nutzer haben eine Conversion Rate unter 1%. In den meisten Branchen liegt sie zwischen 1-3%.

💭 Die meisten Unternehmen haben kein Problem mit zu wenig Traffic: Sie investieren durchschnittlich 80 €, um die Besucherzahlen zu erhöhen, aber nur 1 €, um aus diesen Usern auch zahlende Kunden zu machen.

💭 78 % der Unternehmen sind mit ihrer Conversion Rate unzufrieden. Ein durchdachtes A/B Testing mit anschließender Optimierung kann die Conversion Rate um bis zu 300 % steigern.

Hat man es bereits geschafft, den Traffic auf der eigenen Webseite zu steigern, ist die Grundlage für die strategische Erhöhung der Conversions gelegt! Mithilfe eines A/B Tests können Unterseiten mehr und mehr optimiert werden – indem man verschiedene Varianten und Aspekte testet und dann jeweils die Variante mit der besseren Conversion Rate weiterentwickelt. Auch die Verbesserung der Usability oder der Website-Performance ist mittels A/B Testing möglich. Man kann den Aufbau einer Seite oder die Qualität des Contents analysieren, oder ausprobieren, ob bestimmte Zusatzleistungen, wie eine kostenlose Rücksendung zu mehr Bestellungen und somit einem höhren Umsatz führen würden.

A/B Test-Varianten: Welche Arten von A/B Tests gibt es?

A/B Split Test

Ist von einem klassischen A/B Test die Rede, ist meist das Split Test-Verfahren gemeint. Bei einem Split Test werden zwei Varianten einer Seite innerhalb eines Testzeitraums zeitgleich getestet. Dadurch lässt sich der Besucherstrom gleichmäßig aufteilen und äußere Umweltfaktoren und Aspekte (Feiertage, Wetter etc.) können in die Datenerfassung miteinbezogen werden. Mit den entsprechenden Testing Tools kann so ein möglichst reliables Test-Ergebnis erzielt werden.

Besonders gut, lassen sich mit einem Split Test Veränderungen im Design oder Layout einer Seite testen, wie beispielsweise unterschiedliche Überschriften oder unterschiedlichen Platzierungen von Schaltflächen. Jedoch sollten diese Änderungen immer dasselbe Conversion-Ziel haben, um auch aussagekräftige Werte ermitteln zu können. Auch ist dies die optimale Methode, um Backend-Änderungen wie Registrier- oder Login-Prozesse zu vergleichen. Zudem kann ein Split Test bereits bei einem geringen Traffic-Volumen durchgeführt werden. Natürlich können damit auch mehrere Varianten einer Webseite gleichzeitig getestet werden (A/B/n Test).

Weiterleitungstest

Im Gegensatz zum Split Test werden bei einem Weiterleitungstest zwei Seiten getestet, die sich deutlich in Inhalt und Aufbau voneinander unterscheiden, aber dennoch dasselbe Conversion-Ziel verfolgen. Die beiden Seiten unterscheiden sich bei diesem Testverfahren auch anhand ihrer URL oder ihrer Pfade. Möchte man beispielsweise die Conversions einer Leistungsseite mit der Landing Page der gleichen Dienstleistung miteinander vergleichen, so kann der sogenannte Weiterleitungstest durchgeführt werden.

Multivariater Test

Mit einem klassischen A/B Test werden die Conversionzahlen mindestens zweier unterschiedlicher Varianten einer Seite miteinander verglichen. Bei einem multivariaten Test geht man noch einen Schritt weiter. Hier werden zusätzlich verschiedene Kombinationsmöglichkeiten unterschiedlicher Elemente getestet. Ein Testing-Tool kombiniert also verschiedene Elemente und Aspekte miteinander bis die optimale Kombination gefunden ist.

A/B Testing: Welche Tools kann man für einen A/B Test nutzen?

Google Optimize

Das A/B Testing-Tool des Google Unternehmens bietet eine kostenlose Version, in der bereits die wichtigsten Anwendungen enthalten sind. Aufgrund dessen ist es auch gut für kleine Unternehmen oder Start-Ups geeignet. Für die kostenpflichtige Version ohne Limitierung bei gleichzeitig laufenden Tests und inklusive Google Analytics Audience Targeting erhält man einen Kostenvoranschlag vom Google Sales Team. Mit diesem Tool können sowohl A/B/n, Split als auch Multivariante Tests und Experimente durchgeführt werden.

Besonders praktisch ist der Visual-Editor, der nach dem „What You See Is What You Get“-Prinzip (WYSIWYG) funktioniert. Die Webseiten können auch ohne HTML- oder Coding-Kenntnisse verändert werden, denn die Änderungen an den Elementen sind sofort sichtbar. Zusätzlich ist ein Mobile Web Editor verfügbar, der für die Kompatibilität auf mobilen Endgeräten sorgt. Natürlich ist es aber auch möglich, die Änderungen direkt im HTML-Dokument durchzuführen.

Bei Google Optimize wird außerdem Besucher-Targeting auf Grundlage von Cookies, JavaScript Variablen oder des Standorts des Besuchers angeboten. Es kann definiert werden, welche Teile der Webseite sich an die Zielgruppe anpassen, um zu ermitteln, was genau zum Erfolg führt.

Die Ergebnisse des durchgeführten A/B Tests werden mittels Google Analytics abgerufen. Auf einen Blick sieht man dabei den Verlauf der Besucherzahlen, die Klickraten, die Conversion Rate, die Absprungrate,als auch die Verkaufszahlen der einzelnen Versionen.

  • Kostenlose Version verfügbar
  • Visual Editor nach dem WYSIWYG-Prinzip
  • Mobile Site Editor
  • Besucher-Targeting
  • Limitierte Testanzahl in der kostenlosen Version

AB Tasty

Das Unternehmen AB Tasty möchte es auch Anwendern ohne Coding-Kenntnisse ermöglichen, ihre Conversions zu optimieren. Es ist dabei nicht nur die Durchführung von A/B/n- und Multivarianten Tests, sondern auch sogenannter Multipage Tests möglich. Letztere werden auch als Funnel Tests bezeichnet. Die Änderungen werden bei dieser Methode anstatt auf nur einer einzelnen Seite auf verschiedenen Seiten angewendet, etwa das Design der Headlines bzw Überschriften oder der verschiedenen Schaltflächen.

Zur Zielgruppe von AB Tasty zählen sowohl kleine Unternehmen als auch internationale Konzerne. Der relativ hohe Preis stellt sich jedoch als Hindernis für KMUs heraus. Die monatlich zu begleichenden Kosten ergeben sich aus der Anzahl der Unique Visitors. Auf Basis dieser Zahl wird ein Pauschalpreis vereinbart. Zusätzlich ist die Buchung individueller Beratung gegen Aufpreis möglich. Der AB Tasty Support sowie der kostenlos verfügbare Blog bieten umfangreiche Informationen für Einsteiger. Video-Anleitungen unterstützen zusätzlich bei der Erstellung der ersten Testings.

Auch dieses Tool verfügt über einen visuellen Editor, der ohne Vorkenntnisse zu verwenden ist. Die Zielgruppe des A/B Testings kann dabei nach über bereits gespeicherten 100 Kriterien definiert werden. Außerdem ist wie bei Google Optimize Besucher-Targeting möglich. Der User sieht eine an seine Interessen angepasste Version der Webseite.

Die Auswertung der durchgeführten A/B Testings ist sehr simpel und übersichtlich. Es wird beispielsweise eine Heatmap erstellt, die – ähnlich dem Bild einer Wärmebildkamera – Teile der Seite hervorhebt, denen besonderes Interesse entgegengebracht wurde und somit das Nutzerverhalten der Testgruppen aufzeigt. Auch Stellen, die von den Testgruppen weniger beachtet wurden, werden angezeigt und können so gezielt optimiert werden.

  •  Neben A/B/n- und Multivarianten Tests sind auch
    Multipage Tests verfügbar.
  •  Das Tool ist besonders für Einsteiger geeignet.
  •  Umfangreiche Support-Angebote
  •  Einfache Auswertung
  •  Hoher Preis
  •  Viele Anwendungen sind nur für Enterprise User verfügbar.

Für die Durchführung erfolgreicher A/B Tests sollte jedoch keine Beschränkung auf nur ein Tool stattfinden. Zusätzlich sollten etwa Daten aus Analyse-Tools herangezogen werden. Dadurch lassen sich nicht nur das Nutzerverhalten der User, sondern auch Conversion-Probleme verstehen. Auch Usability-Tests, Heatmaps sowie Eye-/Click-Tracking geben einen Einblick über die Handlungen der User und deren Nutzerverhalten auf der Webseite.

A/B Testing: Welche Elemente einer Webseite können getestet werden?

Titel und Überschriften können inhaltlich als auch in ihrer Form getestet werden. Eine längere, kürzere oder in der Farbgebung veränderte Headline bzw. Überschrift  kann eine Wirkung auf die Besucher haben.

Der Call to Action als besonders wichtiges Element könnte ebenso mit einem alternativen Text oder einer anderen Farbe versehen werden.

Das Gleiche gilt für Buttons und Schaltflächen.

Fotos und Abbildungen haben eine wichtige Bedeutung für den ersten Eindruck, den sich der Besucher einer Webseite macht. Hier gibt es zahlreiche Möglichkeiten. Einerseits kann die Größe, Platzierung und unterschiedliche Filter getestet werden, andererseits auch der Inhalt der Bilder, etwa ob ein Produkt mit oder ohne Model abgebildet wird. Die Models können außerdem noch an die jeweilige Zielgruppe angepasst werden, sodass potenzielle Kunden sich mehr angesprochen fühlen.

Formulare können für das Erreichen einer Conversion bedeutsam sein, denn wenn sie zu lang sind, ist die Wahrscheinlichkeit höher, dass sie abgebrochen werden. Auch die Platzierung der Formulare kann beeinflussen, wie viele User die Formulare tatsächlich ausfüllen. Bei einem A/B Test kann überprüft werden, welche Auswirkung etwa das Entfernen optionaler Felder oder eine Anmerkung zum Datenschutz hat und ob ein Formular eher ausgefüllt wird, wenn es gleich am Anfang der Seite platziert ist oder erst weiter unten.

Möglicherweise ist die Struktur der Webseite für die Nutzer nicht logisch oder unübersichtlich und hat Verbesserungspotenzial durch die Erstellung von Kategorien oder wiederkehrenden Elementen.

Algorithmen, zum Beispiel in Onlineshops können dabei helfen, den Wert des Warenkorbs zu steigern, indem sie dem User ähnliche Produkte oder weitere beliebte Artikel vorschlagen. Auch sie haben A/B Test-Potenzial.

A/B Test Checkliste zum Ablauf: Wie führt man einen A/B Test durch?

A/B Testing Probelauf: Der erste A/B Test

Für den Einstieg ins A/B Testing empfiehlt sich die Durchführung eines ersten einfach gestalteten Tests. So kann man sich auch besser mit dem gewählten Tool vertraut machen.

Fürs Erste kann beispielsweise analysiert werden, welche Auswirkung es hat, wenn ablenkende Elemente auf einer Landing Page reduziert werden. Auch die Optimierung der Headline einer Seite ist möglich. Für Onlineshops werden Trust Elemente immer bedeutsamer. Darum könnte überprüft werden, welche Auswirkungen es hat, wenn vor dem Bestellvorgang auf den Datenschutz verwiesen wird. Auch Testsiegel oder Kundenbewertungen haben häufig einen Einfluss auf die Conversion Rate.

A/B Test Schritt 1: Ideen sammeln und Ziele definieren

Wenn der erste Testlauf geglückt und auch die Bedienung des gewählten A/B Test Tools verstanden ist, kann es an das erste richtige A/B Testing gehen. Aber wie findet man eigentlich heraus, welche Aspekte  man testen sollte?

Um Einflussfaktoren auf die Conversion Rate zu identifizieren, benötigt man zusätzliche Informationen. Die Quellen für die Datenerfassung sind vielfältig. Zunächst können die Analysedaten aus Web Analytics Tools herangezogen werden. Die Click through Rate, die Bounce Rate oder ähnliche Statistiken zu Klickraten helfen bei der Auswahl des Untersuchungsgegenstands. Stolperfallen für User können auch mithilfe von Usability Tests, Heatmaps oder Session Recording aufgedeckt werden.

Anhand der ermittelten Informationen über die Schwierigkeiten, die auf der Website auftreten, lassen sich Ziele definieren, die aus dem A/B Test resultieren sollen. Natürlich wäre eine deutliche Steigerung der Conversion Rate als das oberste Ziel anzusehen. Der Weg dorthin erfolgt jedoch nur schrittweise. Zum Beispiel wird eine kleine Änderung an einer Unterseite vermutlich nicht sofort zu dem gewünschten Ziel führen. A/B Testing und Website-Optimierung verlaufen in kleinen Schritten!

In einem Online-Shop beispielsweise kann bereits das Hinzufügen eines Artikels in den Warenkorb oder die Erstellung eines Kundenkontos als „Mikro-Conversion“ und somit als Zieldefinition gewertet werden.

A/B Test Schritt 2: Hypothesen aufstellen

Sind die Ziele festgelegt, dann muss eine Hypothese entwickelt werden. Diese bezieht sich auf das identifizierte Problem und die wahrscheinliche Ursache. Dafür hilft es, sich in die Situation des Users hineinzuversetzen. Vielleicht ist das auszufüllende Formular zu umfangreich oder der Call to Action nicht auffällig genug platziert? Daraus lässt sich eine mögliche Lösung ableiten, die ebenfalls Teil der Hypothese ist. Abschließend wird das zu erreichende Ziel definiert.

Wenn beispielsweise die erhöhte Abbruchquote beim Ausfüllen eines Formulars als Problem identifiziert wurde, weil es höchstwahrscheinlich zu umfangreich ist, lässt sich folgende Hypothese ableiten: „Wenn das Registrierungsformular während des A/B Tests um die Angabe der Anschrift sowie der Telefonnummer verkürzt wird, wird die Anzahl der Registrierungen steigen.“

A/B Test Schritt 3: Durchführung

Priorisierung: Welcher A/B Test soll als erster durchgeführt werden?

Mithilfe der Analysen werden Verbesserungspotenziale aufgedeckt und zu Test-Hypothesen formuliert. Diese müssen nun nach ihrer Priorität und Signifikanz geordnet werden, um einen sinnvollen Projektplan zu erstellen. Die optimale Abfolge der A/B Testings kann etwa nach dem geschätzten Nutzen ermittelt werden: Wie hoch stehen die Chancen für eine deutliche Steigerung der Conversion Rate? Genauso kann erste die meisten Ergebnisse zu erwarten. Sind Ressourcen (zeitlich, personell, budgetär, …) beschränkt, dann sollte man sich zuerst den Tests widmen, von denen man sich das höchste Conversion-Steigerung erwartet.

Bei einem besonders umfangreichen A/B Test-Plan sollte eine Roadmap über den Ablauf erstellt werden. Sie fasst die wichtigsten Informationen schriftlich zusammen:

  • Test-Bezeichnung
  • URL der zu testenden Seite
  • Datum des Testbeginns
  • Hypothese
  • Betreffende KPIs
  • Schätzung der Auswirkung
  • Schätzung des Aufwandes
Umsetzung: Nach welcher Dauer ist das Ergebnis des A/B Tests signifikant?

Sobald Ziele definiert und Hypothesen aufgestellt sind, kann nach der Auswahl des passenden Tools mit der Durchführung des A/B Tests begonnen werden. Während der Testlaufzeit gibt es einige Dinge zu beachten, damit das Ergebnis aussagekräftig und reliabel ist.

Die Dauer der Datenerhebung ist eine Variable, die von verschiedenen Faktoren abhängig ist. Prinzipiell ist es empfehlenswert, in vollen Wochen zu rechnen. Das gilt auch, wenn die Webseite ein hohes Traffic Volumen hat, denn User reagieren je nach Wochentag anders. Das Nutzerverhalten wird stark von äußeren Faktoren und Aspekten, wie der Tageszeit, eventuellen Feiertagen oder auch dem Wetter beeinflusst. Auch außergewöhnliche Ereignisse haben Auswirkung auf die Besucher. Darum sollte die Dauer eines A/B Testings zumindest über zwei bis drei Wochen umfassen. Falls der Test verlängert werden muss, sollte das ebenfalls in kompletten Wochen passieren.

Je höher das Signifikanzniveau, desto besser!

Ein grundlegender Wert einer jeden Statistik ist das Signifikanzniveau. Natürlich ist es eine erste positive Rückmeldung, wenn die veränderte Version der alten Webseite bei den Testgruppen höhere Conversions erreicht. Jedoch sollte immer auf die statistische Signifikanz geachtet werden. Darüber informiert das Tool beispielsweise folgendermaßen: „Die Variante hat x % Wahrscheinlichkeit, besser als die Kontrollversion abzuschneiden.“ Diese Prozentangabe sollte für eine aussagekräftige Statistik bei mindestens 95 % liegen. Erst dann ist die Wahrscheinlichkeit, dass das Testergebnis nur auf Zufälligkeiten besteht, mit 5 % niedrig genug.

 

Je größer die Stichprobe, desto besser!

Diesen Wert beeinflusst unter anderem die Stichprobengröße. Für zuverlässige Ergebnisse wird eine repräsentative Stichprobe benötigt, denn die Besucher werden zufällig zu den beiden Versionen zugeteilt. Bei der Auswertung wird dann die Schlussfolgerung getroffen, dass das Verhalten einer Teilmenge der User dem des gesamten Traffics entspricht. Die Herausforderung ist also, sicherzustellen, dass die Stichprobe repräsentativ ist und zur Zielgruppe passt. Leider lässt sich keine absolute Aussage über die Zahl treffen.

 

Je geringer die Datenvariabilität, desto besser!

Eine andere statistische Größe, die auch beim A/B Testing beachtet werden sollte, ist die Datenvariabilität. Diese ist besonders zu Beginn der Durchführung sehr hoch. Das passiert unter anderem durch den Neuigkeitseffekt: Besucher reagieren eher auf eine Änderung einer Webseite, wenn sie neu ist. Außerdem schwanken die Ergebnisse am Anfang der Änderung sehr stark, weil Sonderfälle bei einer geringen Zahl an Messwerten noch einen stärkeren Einfluss haben (Regression zur Mitte). Der Test sollte folglich erst beendet werden, sobald die Signifikanzkurve flach ist.

A/B Test Schritt 4: Auswertung und Interpretation der Ergebnisse

Sind alle Voraussetzungen zur statistischen Reliabilität erreicht, kann schließlich mit der Auswertung Datenerfassung des A/B Tests begonnen werden. Die meisten Daten, die ein Analysetool liefert, sind aggregiert. Die dargestellten Grafiken haben wenig Aussagekraft, da sie aus so vielen verschiedenen Daten zusammengestellt wurden. Es ist darum wichtig, die Testergebnisse der Experimente vor der Auswertung zu segmentieren. Die Daten können zum Beispiel nach ihrem Ursprung geordnet werden, also ob die Besucher über Werbeanzeigen, Social Media Plattformen oder Links in Suchmaschinen, etc. auf die Webseite gelangen, denn diese Angabe kann unter anderem über den Grund des Besuchs Aufschluss geben und Grundlage für weitere Segmentierungen sein. Interessant ist auch das Verhalten der jeweiligen User der Testgruppen auf der Webseite und mit welchem Ergebnis ihr Besuch endete, also ob sie sich zum Beispiel für einen Newsletter registriert oder etwas heruntergeladen haben.

Auch wenn der durchgeführte A/B Test nicht die erhofften Ergebnisse liefert und die neue getestete Version nicht zu besseren Conversions führt, ist das kein Grund, die Daten zu verwerfen. Sie haben trotzdem eine gewissen Signifikanz und können hilfreiche Einblicke in das Nutzerverhalten der Zielgruppe geben. Abgesehen davon, dass die Ergebnisse dokumentiert und archiviert werden sollten: Auch wenn sie auf den ersten Blick unnötig erscheinen, sollten sie dennoch detailliert analysiert werden. So wird nichts Wichtiges übersehen, woran anfangs vielleicht gar nicht gedacht wurde.

Hat sich eine getestete Variante als erfolgreicher als das Original herausgestellt und besitzt bessere Klickraten und Conversions, ist die Lösung, diese als fixe Webseite einzubauen. Manche Tools ermöglichen es, alle User bis zum fertigen Release der neuen Webseite auf die Testversion umzuleiten. Sobald die neue Variante fertig umgesetzt wurde, müssen die Conversions und Analysedaten weiterhin im Auge behalten werden, denn A/B Testing bedeutet einen steten Optimierungsprozess. Aus den Ergebnissen des vorhergehenden Tests müssen Schlüsse für neue Hypothesen getroffen werden, um die Seite weiterhin zu optimieren.

A/B Testing Fehler und Fallen

Der erste A/B Test ist zu kompliziert und komplex.

Die ersten Testings zum Einstieg sollten simpel sein. So ist es möglich, sich mit dem gewählten Tool vertraut zu machen und auch zu testen, ob die Ziel- und Hypothesenvorstellung realistisch sind.

 

Es wurden keine Ziele und Hypothesen definiert.

A/B Tests ohne klare Strategie sind wenig zielführend. Sie sollten auf einer klaren Theorie basieren: Welche Änderungen müssen vollzogen werden, damit das Ziel erreicht werden kann?

 

Die A/B Tests wurden nicht priorisiert.

Dabei gilt das gleiche wie für den Punkt davor. Ohne eine festgelegte Roadmap für die Abfolge der zu testenden Elemente wird der Arbeitsaufwand für die Optimierung unnötig vergrößert.

 

Es werden zu viele Variablen auf einmal getestet.

Verändert man für einen A/B Test mehr als ein Element, dann ist es schwierig, aus den Daten herauszufiltern, welche Variable für die Veränderung der Conversion Rate verantwortlich ist.

 

Das A/B Testing wird zu früh beendet.

Für den richtigen End-Zeitpunkt eines Testings müssen mehrere Faktoren miteinbezogen werden: Der A/B Test sollte zumindest für zwei bis drei Wochen aktiv sein – je länger desto besser. Dadurch verringert sich nämlich auch die Datenvariabilität, die zu Beginn sehr hoch ist. Das Signifikanzniveau, die Wahrscheinlichkeit, dass die Ergebnisse statistisch gültig sind, muss mindestens 95 % betragen. Außerdem sollte die Stichprobe an getesteten Usern groß genug sein, um repräsentative Ergebnisse zu liefern.

 

Das A/B Testing wird zu spät beendet.

Sobald die oben angegebenen Werte erreicht sind, sollten die Ergebnisse eine ausreichende statistische Zuverlässigkeit besitzen und sind zur Auswertung bereit. Wenn der Test zu lange läuft, dann vergeht Zeit, die für weitere Optimierungen genutzt werden kann! Außerdem können die Cookies, die das A/B Test-Tool nutzt, das Ergebnis verfälschen. Mit ihnen wird das Verhalten der User gespeichert, um es auszuwerten. Ihre Gültigkeit ist jedoch meist zeitlich begrenzt (~ 30 Tage). Wenn der Test also länger als diese Begrenzung läuft, dann durchlaufen manche Nutzer den A/B Test zwei Mal. Außerdem ist auch davon auszugehen, dass Nutzer die gespeicherten Cookies manuell löschen.

 

Ereignisse der „realen“ Welt werden nicht in die Auswertung miteinbezogen.

Das Verhalten der User wird durch ihre Umgebung beeinflusst. Die Tageszeit, Feiertage oder das Wetter verändern die Nutzung des Internets. Auch aktuelle Ereignisse oder Nachrichten können zur Ablenkung beitragen.

 

Der A/B Test ist nicht mit allen Endgeräten oder Browsern kompatibel.

Wenn eine Version der Webseite auf bestimmten Geräten oder Browsern nicht funktioniert oder falsch angezeigt wird, ergibt das falsche Ergebnisse, da diese Störungen nicht in die Auswertung miteinbezogen werden. Der Code der beiden Varianten sollte also im Voraus auf verschiedenen Systemen getestet werden.

 

Kleine Erfolge werden ignoriert.

Auch wenn die neue Version der Webseite nicht um 50 oder sogar 100 % mehr Conversions liefert, war der A/B Test sinnvoll und zielführend. Auch geringe Steigerungen der Conversion Rate sind Erfolge und müssen in die Optimierung miteinbezogen werden. Falls sich bei dem Testing herausstellt, dass die neue Veränderung nicht die gewünschten Ergebnisse bringt, dann sollten die Daten und Erkenntnisse dennoch analysiert und gespeichert werden, denn auch sie sind kleine Schritte auf dem Weg zur perfekten Webseite!

A/B Testing Best Practice Beispiele

Best Practice A/B Test-Element Call to Action

  • Situation: Ein Onlineshop für Kleidung möchte die Anzahl der zum Warenkorb hinzugefügten Produkte erhöhen.
  • Hypothese: Wird der Button, mit dem man Produkte zum Warenkorb hinzufügt, deutlicher gestaltet, wird sich die Anzahl der zum Warenkorb hinzugefügten Kleidungsstücke erhöhen.
  • Ergebnis: Ein mit Text versehener Call to Action-Button steigerte die CTR um bis zu 50 %. Der Nutzen des Buttons war für die User offensichtlich besser zu erfassen.

Der Call to Action-Button bietet vielfältige Testmöglichkeiten. Wie oben beschrieben kann mit der Formulierung des CTA oder unterschiedlichen Positionen experimentiert werden.

Best Practice A/B Test-Element Content

  • Situation: Eine kleine Naturschutzorganisation ist auf Spenden angewiesen. Um die Anzahl der Spenden von neuen Usern zu erhöhen wenden sie einen A/B Test an.
  •  Hypothese: Wenn man den Besuchern mehr Informationen über die Verwendung des Geldes bereitstellt, wird sich die Anzahl der Spenden erhöhen.
  •  Ergebnis: Nachdem eine Infobox mit Trust Elementen eingefügt wurde, konnten die Spenden um 11 % gesteigert werden. Ausreichend Information für die User stärkt das Vertrauen in die Organisation.

Mithilfe zusätzlicher Beiträge, Testimonials oder Anwendungsbeispiele können Besucher mehr über das Angebt erfahren. Ein professionelles Layout und eine treffende Formatierung tragen zum Erfolg bei. All das sind Möglichkeiten, die durch einen A/B Test analysiert werden.

Best Practice A/B Test-Element Fotos und Abbildungen

  • Situation: Ein Kaffeemaschinenhersteller bewirbt die angebotenen Geräte auf der Homepage. Sie werden mit hochwertigen Fotos abgebildet.
  • Hypothese: Wenn die Kaffeemaschinen mit Personen abgebildet werden, die die Maschinen verwenden, fühlen sich die potenziellen Kunden eher angesprochen. Sie möchten sich dann genauer informieren.
  • Ergebnis: Fotos von kaffeetrinkenden, positiv gestimmten Testimonials in Verbindung mit den Produkten ließen die Conversion Rate um 15 % steigen.

Die richtige Auswahl der Abbildungen hat eine enorme Auswirkung auf die Erreichung der gesetzten Ziele. Die User bilden sich ihren ersten Eindruck durch diese Elemente. Darum muss alles stimmig sein. Beim A/B Testing kann überprüft werden, wie die Qualität, Größe und Platzierung der Bilder die Conversions beeinflusst. Auch die Einbindung eines Sliders im Gegensatz zu statischen Abbildungen kann verglichen werden.

Die abgebildeten Anwender der Kaffeemaschinen bewirkten möglicherweise, dass sich die Besucher eher mit der Marke identifizieren können. Sie steigerten das Interesse an den Produkten. Ein weiterer A/B Test könnte beispielsweise überprüfen, ob sich weibliche oder männliche Models auf die Conversions auswirken und ob es einen Unterschied macht, welche Handlung gezeigt wird.

Checkliste für einen erfolgreichen A/B Test

A/B Testing ist ein Prozess in kleinen Schritten zur perfekten Webseite!

Kontaktiere uns

Bitte beantworte die folgenden Fragen, damit wir uns besser auf dein Anliegen vorbereiten können.