CRO-Glossar: Typ-1-Fehler

Bei A/B-Tests treten Typ-1-Fehler auf, wenn die Verantwortlichen für ein Experiment fälschlicherweise zu dem Schluss kommen, dass eine Variante eines A/B-Tests oder multivariaten Tests die andere(n) Variante(n) aufgrund von mehr als nur zufälligen Ergebnissen übertrifft. Typ-1-Fehler können sich negativ auf die Conversion-Rate auswirken, wenn Unternehmen auf der Grundlage falscher Informationen Änderungen an ihrer Website vornehmen.

Typ-1-Fehler vs. Typ-2-Fehler

Während ein Typ-1-Fehler ein falsch positives Ergebnis impliziert – also dass eine Version besser ist als die andere –, impliziert ein Typ-2-Fehler ein falsch negatives Ergebnis. Mit anderen Worten: Ein Typ-2-Fehler lässt fälschlicherweise den Schluss zu, dass kein statistisch signifikanter Unterschied zwischen den Conversion-Rates der verschiedenen Varianten besteht, obwohl dem so ist.

Das sieht dann so aus:

Was sind die Ursachen für Typ-1-Fehler?

Typ-1-Fehler können zweierlei Ursachen haben: Zufall und unsachgemäße Forschungsmethodik.

Zufall: Keine Zufallsstichprobe, egal ob es sich um eine Umfrage vor den Wahlen oder einen A/B-Test handelt, repräsentiert die zu beschreibende Population hundertprozentig perfekt. Da Forschende nur einen kleinen Teil der Gesamtbevölkerung befragen, kann es passieren, dass die Ergebnisse die Realität nicht genau vorhersagen oder wiedergeben – dass also die Schlussfolgerungen auf Zufall zurückzuführen sind.

Statistische Signifikanz misst die Wahrscheinlichkeit, mit der die Ergebnisse eines A/B-Tests durch Zufall entstanden sind. Angenommen, du hast einen A/B-Test durchgeführt, bei dem die Version B mit einer statistischen Signifikanz von 95 % besser abschneidet als die Version A. Du kannst die statistische Signifikanz erhöhen, indem du eine größere Stichprobengröße (Samplinggröße) wählst. Dies erfordert jedoch mehr Traffic und nimmt somit auch mehr Zeit in Anspruch. Letztendlich musst du einen geeigneten Kompromiss zwischen dem gewünschten Genauigkeitsgrad und den dir zur Verfügung stehenden Ressourcen finden.

Unsachgemäße Forschungsmethodik: Bei der Durchführung eines A/B-Tests ist es wichtig, genügend Daten zu sammeln, um das gewünschte statistische Signifikanzniveau zu erreichen. Nachlässige Forschende beginnen möglicherweise mit der Durchführung eines Tests und brechen ihn ab, wenn sie das Gefühl haben, dass es einen „klaren Gewinner“ gibt – lange bevor sie genügend Daten gesammelt haben, um die gewünschte statistische Signifikanz zu erreichen. Für einen solchen Typ-1-Fehler gibt es wirklich keine Entschuldigung.

Warum sind Typ-1-Fehler so wichtig?

Typ-1-Fehler können enorme Auswirkungen auf die Conversions haben. Wenn du z. B. einen A/B-Test mit zwei Seitenversionen durchführst und fälschlicherweise zu dem Schluss kommst, dass Version B die bessere ist, kann es zu einem massiven Rückgang der Conversions kommen, wenn du diese Änderung für alle deine Besuchenden live schaltest. Wie bereits erwähnt, könnte dies auf ein unsauber durchgeführtes Experiment zurückzuführen sein, aber vielleicht ist es auch ein rein zufälliges Ergebnis. Typ-1-Fehler können (und werden) auch bei fehlerfrei durchgeführten Experimenten auftreten.

Wenn du auf der Grundlage von A/B-Tests Änderungen an einer Webseite vornimmst, musst du dir darüber im Klaren sein, dass du möglicherweise mit falschen Schlussfolgerungen arbeitest, die durch Typ-1-Fehler verursacht werden.

Typ-1-Fehler zu verstehen ermöglicht es dir:

• zu entscheiden, welches Risiko du eingehen willst (z. B. eine gute Stichprobengröße wählen, um ausreichend statistische Signifikanz zu erreichen)

• Experimente richtig durchzuführen, um das Risiko von menschengemachten Typ-1-Fehlern zu vermeiden

• zu erkennen, wenn Conversions durch einen Typ-1-Fehler zurückgehen, sodass du das Problem beheben kannst.

Es ist unmöglich, eine statistische Signifikanz von 100 % zu erreichen (und in der Regel ist auch eine statistische Signifikanz von 99 % nicht praktikabel, da dies eine unverhältnismäßig große Stichprobengröße im Vergleich zu einer statistischen Signifikanz von 95 % - 97 %%1$s erfordert). Das Ziel der CRO (Conversion-Rate-Optimierung) besteht nicht darin, jedes Mal richtigzuliegen, sondern meistens die richtigen Entscheidungen zu treffen. Und wenn du Typ-1-Fehler verstehst, ist die Wahrscheinlichkeit, alles richtigzumachen, höher.

Wie minimiert man Typ-1-Fehler?

Die einzige Möglichkeit, Typ-1-Fehler so gering wie möglich zu halten, besteht darin, die statistische Signifikanz zu erhöhen (vorausgesetzt, die A/B-Tests werden ordnungsgemäß durchgeführt). Um eine höhere statistische Signifikanz zu erhalten, brauchst du natürlich eine größere Stichprobengröße.

Große Stichproben (Samplings) sind kein Problem, wenn deine Website über einen hohen Besuchertraffic verfügst. Falls dem aber nicht so ist, musst du bei der Auswahl der zu untersuchenden Daten selektiver vorgehen – vor allem, wenn du eine hohe statistische Signifikanz haben möchtest.

Schauen wir uns also an, wie du den Fokus deiner Experimente eingrenzen kannst.

6 Möglichkeiten, um herauszufinden, was unbedingt getestet werden sollte

Damit du weißt, welche Elemente du unbedingt testen solltest, musst du zunächst herausfinden, was für deine Zielgruppe wichtig ist. Hier sind sechs Möglichkeiten, wie du herausfindest, was sich zu testen lohnt.

1. Lies Bewertungen und sprich mit deinem Customer-Support-Team: Finde heraus, was die Leute von deiner Marke und deinen Produkten halten. Sprich mit dem Vertrieb, dem Kundendienst und dem Produktdesign, um ein Gefühl dafür zu bekommen, was die Leute wirklich von dir und deinen Produkten erwarten.

2. Finde heraus, warum Besuchende deine Website ohne Kauf verlassen: traditionelle Analysetools (z. B. Google Analytics) können aufzeigen, warum die Besuchenden deine Website verlassen. Indem du diese Daten mit dem Hotjar Conversion-Funnels-Tool kombinierst, bekommst du ein gutes Gefühl dafür, auf welche Seiten du dich konzentrieren solltest.

3. Entdecke, mit welchen Seitenelementen sich die Besuchenden beschäftigen: Heatmaps zeigen dir, wo die Mehrheit der Nutzenden klickt, scrollt und den Mauszeiger bewegt (oder auf mobilen Geräten und Tablets mit dem Finger tippt). Heatmaps helfen dir, Trends in der Interaktion der Besuchenden mit den wichtigsten Seiten deiner Website zu erkennen. Auf dieser Grundlage kannst du dann entscheiden, welche Elemente beibehalten werden sollen (da sie funktionieren) und welche ignoriert werden und einer weiteren Untersuchung bedürfen.

4. Sammle Feedback von Kund:innen: Onpage-Umfragen, Befragungen und Feedback-Widgets geben deinen Kund:innen die Möglichkeit, dir schnell und einfach Feedback zu ihren Erfahrungen zukommen zu lassen. So wirst du auf Probleme hingewiesen, von denen du bis dato nichts wusstest, und kannst die richtigen Prioritäten setzen, um das Nutzererlebnis zu verbessern.

5. Schaue dir Session-Aufnahmen an: Beobachte, wie sich einzelne (anonymisierte) Nutzende auf deiner Website verhalten. Achte darauf, wo sie Schwierigkeiten haben und wie sie hin- und hernavigieren, wenn sie das Gesuchte nicht finden. Profi-Tipp: Achte besonders darauf, was die Nutzenden tun, kurz bevor sie deine Website verlassen.

6. Führe Usability-Tests durch: Dadurch kannst du besser verstehen, wie Besuchende deine Website sehen und erleben. Erfasse Feedback zu den Problemen, auf die Nutzende stoßen, und finde heraus, wie du ihr Nutzererlebnis verbessern kannst.

Profi-Tipp: Du willst das Erlebnis aller Besuchenden verbessern? Das mag verlockend klingen, aber du wirst viel weiter kommen, wenn du dich auf deine idealen Kund:innen konzentrierst. Wenn du mehr darüber wissen willst, wie du deine idealen Kund:innen ausmachst, lies unseren Blogbeitrag zur Erstellung einfacher User Personas.