Volle Power – mit 100% aller User testen?

Die meisten Web Analyse Tools geben die Möglichkeit einzustellen wieviel % aller User bei einem Test teilnehmen sollen. Oft stellt sich nun die Frage wieviel % denn nun tatsächlich genommen werden sollen.

Gerade wenn mit dem Testing erst begonnen wird, sind so manche Online Marketing Manager noch skeptisch und wollen nicht den gesamten Traffic auf einen Test lenken und empfehlen erst einmal mit nur 30% oder 50% aller Besucher zu starten. Hierfür gibt es verschiedene Möglichkeiten den Traffic zu regulieren:

• Es werden beim Kanal SEM nur einzelne Kampagnen auf den Test umgelenkt
• Es wird nur ein einzelner Marketingkanal, z.B. Display, für den Test genommen
• Im Testing-Tool wird eine Einstellung vorgenommen, die nur X% aller User mit in einen Test nimmt. Der Rest sieht ganz normal die Default Version.

Natürlich kann man verstehen, wenn ein Online Marketing Manager nicht sein bestehendes System ändern möchte und Angst hat, dass eine schlechte Performance oder technische Probleme seine Ziele verhindern werden. In der Praxis sollte jedoch immer direkt mit 100% des Traffics getestet werden. Warum ist das so?

 

Geschwindigkeit: Wenn nur mit 30% getestet wird, dauert es einfach 3 Mal so lange bis ein konfidentes Ergebnis zustande kommen wird. Wenn positive Verbesserungen als Testergebnis herauskommen, verliere ich durch die längere Testdauer auch direkt Umsatz.

 

 

Traffic-Quellen: Wenn für den Start nur einzelne SEM-Kampagnen auf den Test geleitet werden und später weitere hinzu geschaltet werden, kann das Testergebnis verfälscht werden. Besonders wenn Brand-Traffic oder der Long-Tail erst später auf den Test geleitet werden, kann es zu anderen Ergebnissen kommen.

 

 

Sicherheit: Jeder Test sollte vor dem Going-Live ausgiebig getestet werden. Wenn etwas schief läuft, ist aber nicht entscheidend, wieviele Tage dieser Test lief, sondern wieviele Besucher auf fehlerhafte oder schlecht performende Landing Pages gekommen sind. Bei 30% aller Besucher merke ich aufgrund von niedrigen Conversion Rates vielleicht erst nach einem Tag, dass etwas nicht stimmt. Bei 100% würde es dagegen schon nach wenigen Stunden auffallen.

 

Es gibt also viele Gründe die dagegen sprechen mit nur einem Teil des Traffics zu testen. Gerade um die oben genannten Bedenken auszuschließen, sollte von Anfang an mit Segmenten gearbeitet werden, um schnell zu erkennen, wenn es Probleme gibt. In vielen Testing-Tools lassen sich für z.B. jede AdWords-Kampagne Segmente einrichten, sodass schlechte Performance oder technische Probleme leicht erkennbar sind.