Wie man einen moderierten Usability-Test durchführt

Durchführung eines moderierten Usability-Tests

Zuerst solltest du dich entscheiden, welche Usability-Test-Methode für dich am besten geeignet ist. Das hängt ab von:

• deinen Forschungszielen (was du erreichen möchtest);

• deinen Ressourcen (wie viel Zeit und Geld du investieren kannst);

• der Zielgruppe, die du testen möchtest.

Falls du eine kurze Auffrischung brauchst, findest du hier ein eigenes Kapitel über die Usability-Test-Methoden und die Tools, die dir zur Verfügung stehen. 

Eine der gründlichsten und detailliertesten Methoden, um Nutzer-Insights zu gewinnen, sind moderierte Usability-Tests, bei denen ein:e geschulte:r Moderator:in das Verhalten der Teilnehmenden beobachtet und direkt mit ihnen interagiert. Diese Methode ist auch eine der komplexesten, weil viele Variablen eine Rolle spielen – von der Wahl des Ortes bis hin zur Fähigkeit der moderierenden Person, nützliche Antworten von den Teilnehmenden zu erhalten.

Für dieses Kapitel haben wir Hilfe von vier erfahrenen Usability-Tester:innen bekommen, die uns ihren Prozess erklärt haben, um sicherzustellen, dass du ein vollständiges Bild bekommst: Els Aerts (Gründerin des Usability- und Conversion-Unternehmens AGConsult, mit fast 20 Jahren Erfahrung in diesem Bereich), unser Redakteur Fio (der seit 2016 über 200 Usability-Tests durchgeführt hat) und unsere Produktdesigner Craig und Daniel (die bei Hotjar für die Durchführung von Usability-Tests zuständig sind).

Usability-Test-Ablauf in 5 Schritten

Wir verwenden hier eine E-Commerce-Website als Beispiel, aber die folgenden Punkte gelten auch, wenn du einen Prototyp, eine nicht-transaktionale Website oder ein Produkt testen möchtest.

Schritt 1: Sitzung planen

Die Planung der Einzelheiten des Usability-Tests ist in gewisser Weise der wichtigste Teil des gesamten Prozesses. Die Entscheidungen, die du zu Beginn triffst, bestimmen deine Vorgehensweise und die Ergebnisse, die du am Ende erzielst.

Test-Einzelheiten festlegen

• Definiere die Probleme/Bereiche, auf die du dich konzentrieren möchtest: Was ist der Zweck des Tests? Welche Bereiche deiner E-Commerce-Website würden am meisten von Usability-Tests profitieren?

• Bestimme die Art der Nutzenden, die du testen möchtest: In der Regel handelt es sich dabei um deine User Personas, aber vielleicht möchtest du ein bestimmtes Segment genauer unter die Lupe nehmen (z. B. Menschen, die in den letzten 30 Tagen einen Kauf getätigt haben).

• Sammle die Fragen, die du stellen möchtest: Was möchtest du deine Nutzenden konkret zu deiner Website fragen? Was möchtest du herausfinden? (Hinweis: Ausführliche Informationen dazu findest du im Kapitel zu Usability-Test-Fragen).

Logistische Organisation deines Usability-Tests

• Ort: Wirst du die Tests in deinem Büro durchführen? In einem Forschungslabor? Über das Internet?

• Zeitplan: Wann wirst du die Tests durchführen? (Das ist besonders wichtig, wenn du die Teilnehmenden in ein Forschungslabor einlädst, was wiederum bedeutet, dass du wissen musst, wann du das Labor buchen musst.)

• Moderator:innen: Wer leitet die Testsitzungen? Wie wir weiter unten sehen werden, erfordert die Moderation von User-Tests ohne Beeinflussung der Ergebnisse Geschick und Übung. Deshalb solltest du in Erwägung ziehen, entweder geschulte Moderator:innen einzusetzen oder selbst ein Training zu absolvieren.

• Dokumentation: Wenn du die Testsitzungen aufzeichnest, hast du die Möglichkeit, sie später noch einmal anzusehen und alle möglichen Daten zu erfassen, die die moderierende Person vielleicht übersehen hat oder aus Zeitgründen nicht aufzeichnen konnte. Wenn du dich für eine Video- oder Audioaufzeichnung entscheidest, solltest du mit den Geräten und ihrer Installation vertraut sein. Im Idealfall möchtest du die Bildschirme der Teilnehmenden, das Gesagte und auch ihre Körpersprache aufzeichnen. All das ist in einem Testlabor problemlos möglich.

Am besten sammelst du all diese Informationen an einem zentralen Ort (am allerbesten erstellst du eine kurze Vorlage, die du mehrfach verwenden kannst), damit du sie als Leitfaden für die nächsten Schritte verwenden kannst: die Rekrutierung von Teilnehmenden und die Gestaltung der eigentlichen Testsitzung.

Schritt 2: Teilnehmende rekrutieren

Wen und wie du rekrutierst, hängt von deinen Testzielen (z. B. wie viele Informationen du benötigst und wie lange die Sitzungen deshalb dauern sollten) und von deinen Budgetvorgaben ab.

Hier sind einige gängige Methoden, um Teilnehmende für deine Studie zu finden:

• Beauftrage eine Agentur: Wenn du nach einer ganz bestimmten Bevölkerungsgruppe suchst (z. B. nach internetaffinen Onkolog:innen oder alleinerziehenden Müttern unter 35 Jahren), findest du sie am schnellsten über eine spezialisierte Rekrutierungsagentur. Diese Unternehmen verfügen über enorme Ressourcen, um geeignete Testpersonen zu finden, und können dabei sehr effizient sein.

• Nutze deine Website: Wenn du bereits über eine etablierte Nutzer-Basis verfügst, kannst du die Leute dort rekrutieren. Erstelle eine Pop-up-Umfrage (Hotjar kann dir dabei helfen), um Nutzende zu finden, die bereit sind, mitzumachen.

Hinweis: Deshalb solltest du zuerst Schritt 1 machen und planen, wie du den Test durchführst – eine On-Page-Umfrage kann dir zwar helfen, Freiwillige aus der ganzen Welt zu erreichen … aber wenn dein Test in einem Labor stattfindet, wird nur ein sehr kleiner Teil davon in der Lage sein, mitzumachen.

• Nutze Social Media: Wenn du viele Follower hast, sprich potenzielle Teilnehmende auf deinen Social-Media-Kanälen an.

• Rekrutiere deine Kund:innen: Sprich deine Kund:innen direkt an und frag sie, ob sie bereit wären, mitzumachen (vorausgesetzt, sie haben dir ihr Einverständnis gegeben, für diese Initiativen kontaktiert zu werden. Du möchtest sie nicht unnötig zuspammen!).

Profi-Tipp von Fio: „Vielleicht denkst du, dass du deine Kund:innen womöglich ‚nervst‘, und zögerst, sie zu kontaktieren, aber ich habe oft die Erfahrung gemacht, dass das Gegenteil der Fall ist. Die Leute fühlen sich meistens geschmeichelt, wenn du sie um ihre Meinung bittest, und sind wirklich neugierig, wie ihre Ansichten dir helfen können.“

Wie auch immer du deine Teilnehmenden rekrutierst, du solltest sie für ihre Bemühungen entschädigen. Els empfiehlt Gutscheine, wenn du in den USA bist, und Bargeld für die meisten anderen Teile der Welt. Der Betrag, den du zahlst, ist dir überlassen – meist sind zwischen 30 und 50 USD für nicht fachkundige Testpersonen akzeptabel.

Schritt 3: Aufgabe(n) gestalten

Dieser Schritt (die Gestaltung der Aufgaben) und der vorherige (Rekrutierung der Teilnehmenden) finden ungefähr zeitgleich statt. Sobald du das Warum und Wie deiner Studie ausgearbeitet hast und auf die Bestätigung der Teilnehmenden wartest, ist es an der Zeit, den Test selbst zu entwerfen.

Das bedeutet, dass du die einzelnen Szenarien, die du mit deinen Teilnehmenden durchlaufen möchtest, und die Aufgaben, die sie lösen sollen, sorgfältig planst, um klare und nützliche Ergebnisse zu erhalten. Els tut dies, indem sie spezifische Szenarien beschreibt, die den Testaufgaben einen Rahmen geben. Nehmen wir zum Beispiel an, du möchtest einen Online-Shop für Kleidung testen:

Du könntest ein Szenario beschreiben wie: „Du wurdest zu einer Mottoparty eingeladen und das Thema ist rot. Alle müssen ganz in Rot gekleidet sein. Du schaust in deinen Kleiderschrank und findest nichts Passendes. Deshalb musst du dir etwas Rotes kaufen. Wie machst du das?“ Jetzt gehen deine Teilnehmenden auf die Website, und du weißt, dass es einen Produktfilter für „rot“ gibt. Können sie den Filter leicht finden? Wissen sie, dass sie Filter verwenden können? Uns so weiter … Dann kannst du beobachten, ob sie den roten Filter verwenden oder nicht.

Mit diesem Szenario kannst du die Fähigkeit der Teilnehmenden testen, die Filter auf deiner Website zu nutzen, und es ist offen genug, um auf die Vorlieben aller einzugehen. Du möchtest vermeiden, dass die Szenarien zu spezifisch sind (z. B. wenn du die Teilnehmenden bittest, einen Milchaufschäumer auszuwählen, obwohl manche vielleicht gar keine Milch in ihrem Kaffee mögen).

Weiterer Profi-Tipp: Behalte bei der Gestaltung der Szenarien die wichtigsten Funktionen der Website im Hinterkopf. Bei einer E-Commerce-Website steht meist der Kauf an erster Stelle, deshalb möchtest du wahrscheinlich ein Szenario einbauen, das die Nutzenden durch den Kaufprozess führt. Els empfiehlt, den Testpersonen während des User-Tests echtes Geld zur Verfügung zu stellen. „Wenn sie ihr eigenes Geld ausgeben, werden sie viel kritischer“, sagt sie. „Manchmal müssen wir die Leute unterbrechen, weil sie 45 Minuten damit verbringen würden, das richtige Paar Schuhe auszuwählen – so wie sie es auch im echten Leben tun würden.“

Schritt 4: Sitzung durchführen

Wenn es an die Durchführung des Usability-Tests geht, sollten du oder deine Moderator:innen bei allen Teilnehmenden einem bestimmten Protokoll folgen. Dieses Protokoll lässt einen gewissen Spielraum für individuelle Anpassungen, garantiert aber dennoch ein einheitliches Testerlebnis für alle Teilnehmenden.

Nehmen wir an, du führst die Sitzung selbst durch. So gehst du dabei vor:

Vorstellen und Aufwärmen

Wenn du den Test vor Ort durchführst, solltest du sicherstellen, dass die Testperson sich in der Umgebung wohlfühlt (Stuhl, Tischhöhe, Mausposition usw.) und dass sie versteht, wie der Test abläuft; wenn du den Test aus der Ferne durchführst, solltest du sichergehen, dass sie dich gut hören kann.

Wenn du die Sitzung aufzeichnest (z. B. weil du sie später auswerten möchtest), solltest du die Person an dieser Stelle um Erlaubnis bitten. Wenn du den Test vor Ort durchführst, kannst du sogar ein Formular ausdrucken, das du sie unterschreiben lässt.

Um die Stimmung aufzulockern, kannst du ihr ein paar freundliche Fragen stellen, z. B. wie weit sie zum Labor gefahren ist, ob sie schon mal User-Tests gemacht hat usw. Für Craig „ist es wichtig, dass sich die Testperson in der Testumgebung entspannt und wohlfühlt. Ein wichtiges Ziel der ersten Minuten ist es, sich gegenseitig kennenzulernen und eine Beziehung aufzubauen. Das hilft dir, reibungslos in die Testphase überzugehen, wobei die Person hoffentlich gar nicht merkt, dass du einen anderen Gang einlegst, während du anfängst, genauere Informationen von ihr zu sammeln.“

Pretest-Informationen sammeln

Erfasse während deines Gesprächs demografische und psychografische Informationen anhand vorgegebener Fragen. Im Falle eines E-Commerce-Tests möchtest du vielleicht fragen:

• wann sie das letzte Mal online eingekauft hat;

• wie oft sie in den letzten 6 Monaten etwas online gekauft hat;

• wie sie normalerweise vorgeht, um die Produkte zu finden, die sie möchte;

• was ihre Kaufentscheidungen beeinflusst.

Übergang zur ersten Aufgabe

Nutze die Beziehung, die du aufgebaut hast, um die Testperson zur ersten Testaufgabe zu führen. Meist möchtest du drei oder vier Szenarien durchspielen, aber die Reihenfolge hängt von der Stimmung und dem Kenntnisstand der Teilnehmenden ab. Hier zahlt es sich aus, Übung im Moderieren zu haben. Fio merkt an: „Du musst ein Gespür dafür haben, ob deine Teilnehmenden frustriert sind, was darauf hinweisen kann, dass du ihnen eine leichtere Aufgabe geben solltest, um ihr Selbstvertrauen zu stärken. Es kann aber auch sein, dass du eine besonders fähige Testperson hast, die die Aufgabe in kürzester Zeit erledigt. Dann musst du gut nachfragen und herausfinden, warum sie es so gemacht hat.“

Notizen machen

Im Idealfall hast du eine zweite Person, die für dich Notizen macht, damit du dich zu 100 % auf die Beziehung zu deiner Testperson konzentrieren kannst. Wenn Daniel und Craig User-Tests durchführen, nehmen sie die Sitzungen auf und lassen sie transkribieren, damit sie sie später durchgehen und relevante Teile oder Sätze markieren können.

Folgefragen und Abschluss

Reserviere am Ende der Sitzung etwas Zeit, um Folgefragen zu stellen und abschließendes Feedback der Teilnehmenden einzuholen. Bedanke dich bei ihnen für ihre Hilfe.

Dos und Don'ts der Sitzungsmoderation

Die Kunst, einen Test zu moderieren, besteht darin, eine Beziehung zu den Testpersonen aufzubauen und sie ganz natürlich durch die Aufgaben zu führen. Unsere vier erfahrenen Tester:innen haben uns ihre besten Tipps für eine erfolgreiche Moderation verraten:

• Verwende klare, neutrale Anweisungen. Du musst unbedingt darauf achten, dass deine Frage nicht auf verschiedene Weise interpretiert werden kann.

• Schreibe die Aufgaben nicht auf – oder lies sie zumindest nicht wortwörtlich von der Liste ab, denn das kann dem Verfahren zu viel Formalität geben. Die Teilnehmenden werden sich wohler fühlen, wenn du die Aufgaben und deine Formulierungen auf die jeweilige Situation abstimmst.

• Achte auf Hinweise und Körpersprache. Manchmal sagen die Nutzenden nicht ausdrücklich, dass sie verwirrt sind, aber erfahrene Moderator:innen können das an ihrem Verhalten erkennen. Ein Beispiel wäre, wenn eine Person, die vorher geschwiegen hat, „Hmm …“ sagt oder frustriert seufzt.

• Sprich nicht zu viel. Du möchtest dich so wenig wie möglich in die Gedankengänge der Nutzenden einmischen. Stelle die Aufgabe, bitte sie zu sagen, was sie denken und was sie gerade tun, und beobachte in Ruhe, wie sie dabei vorgehen.

• Bewahre einen ruhigen Ton. Stimme der Testperson nicht zu sehr zu oder widersprich ihr nicht, denn das könnte ihre Meinung beeinflussen (z. B. könnte sie versuchen, es dir „recht zu machen“ und dir das sagen, von dem sie glaubt, dass du es hören möchtest). Versuche, mit deiner Sprache und Körpersprache so neutral wie möglich zu sein.

• Übernimm nicht die Kontrolle über die Aufgabe. Sobald der Test beginnt, sollte die Testperson die volle Kontrolle haben. Nimm ihr niemals die Maus aus der Hand oder navigiere einen Schritt für sie.

• Kenne die besten Techniken für Unterbrechungen. Wenn du unterbrechen oder eine Frage beantworten musst, lenke so gut wie möglich ab, indem du die Techniken „Echo“, „Bumerang“ oder „Columbo“ anwendest, die im Kapitel zu den Testfragen erklärt werden.

• Sieh nicht zu oft auf ihren Bildschirm. Wenn du die Testperson zu genau beobachtest, kann das ihr Verhalten beeinflussen. „Ich tue am liebsten so, als würde ich etwas schreiben“, sagt Els.

Schritt 5: Erkenntnisse auswerten

Nachdem du alle Daten gesammelt hast, ist es an der Zeit, die Ergebnisse zu analysieren und Schlussfolgerungen zu ziehen. Versuche, dies so bald wie möglich nach dem Test zu tun, damit du die Beobachtungen noch frisch im Kopf hast.

Wenn du die Daten durchgehst, solltest du die schwerwiegendsten oder häufigsten Probleme, auf die die Nutzenden gestoßen sind, herausfiltern und näher untersuchen. Daniel verwendet ein Farbleitsystem, wenn er seine Aufzeichnungen durchgeht, damit er ähnliche Ergebnisse gruppieren kann. 

Kümmere dich nicht um jede einzelne Sache, die schiefgelaufen ist, sondern konzentriere dich auf die Punkte, die am problematischsten waren und gezielter bearbeitet und gelöst werden müssen.

Weiterlesen: Im Kapitel zur Analyse und Auswertung von Usability-Tests findest du eine unkomplizierte Anleitung in fünf Schritten.