Usability Tests meistern und UX gezielt verbessern

Als erstes muss man sich fragen, was man überhaupt testen möchte. Also welchen Testumfang hat man und möchte man mit einem Prototypen oder dem finalen Produkt testen.

Bei der Frage nach der Methode gibt es 3 wichtige Entscheidungen, die man treffen muss:

1. moderiert oder unmoderiert?

2. Wie viel greift man ein?

3. Labor oder Remote?

Alle Optionen haben natürlich ihre Vor- und Nachteile und sollten gut abgewägt werden.

Bei der Klärung der Termin muss zum einen entschieden werden, wie lange ein Usability Test dauern soll und über welchen Zeitraum man testen möchte.

Die Klärung der Stichprobe ist nicht nur relevant für die Rekrutierungskriterien, sondern entscheidet auch über die Kosten des Tests. Je schwieriger eine Zielgruppe zu rekrutieren ist, desto teuer ist es.

Es ist sehr viel einfacher, wenn man als Usability Test Leiter nicht gleichzeitig auch protokollieren muss. Dafür kann man andere UX Professionals einplanen oder auch Stakeholder protokollieren lassen. In jedem Fall muss man die zeitliche Verfügbarkeit dieser zusätzlichen Ressourcen, so wie evtl. Verfügbarkeiten des Usability Test Labors bei der Planung beachten.

Um bei dem Test Unsicherheiten zu vermeiden, ist es ratsam, sich gut mit dem Testgegenstand auseinander zu setzten. Außerdem kann es manchmal hilfreich sein, sich Einstiegslinks zu den Aufgaben zu speichern.

Möchte man den Usability Test aufzeichnen, muss man vorher aus Datenschutzgründen eine Einwilligungserklärung zur Aufnahme vom Probanden unterschreiben lassen. Besonders wenn man Highlight Videos produzieren will, muss dies auch in der Datenschutzerklärung vermerkt sein.

Die Teilnehmer eines Usability Tests werden in der Regel bezahlt. Zur Vorbereitung gehört auch, dass man das Geld organisieren muss, falls die Probanden Bargeld erhalten.

Um sicherzugehen, dass auch alle Beobachter sich den Usability Test freihalten, ist es wichtig, die Einladungen oder Blocker-Termine so früh wie möglich zu schicken.

Egal ob man einen Remote oder einen Test im Labor macht, ein Pre-Test hilft dabei, die Technik kennen zu lernen, den Ablauf zu proben und zu testen, ob die Zeit ausreicht.

Egal ob im Labor oder Remote, zu der Vorbereitung eines Usability Tests gehört auch die Technik. Das Gesagte der Probanden soll vielleicht aufgenommen oder an Beobachter übertragen oder einfach nur vom Testleiter besser verfolgt werden können. Es gibt einige technische Details, die man beachten muss.

Der Aufbau eines Usability Test Labors ist nicht etwas, was man nur für einen Usability Test tut, wenn man aber eins hat, macht es die Durchführung sehr viel effizienter. In dieser Lektion geht es darum, was alles in einem Usability Test Labor und auch dem dazu gehörigen Beobachtungsraum benötigt wird.

Für die Räume sollte man folgende Dinge vorbereiten:

• Räume buchen

• Für Getränke und Snacks sorgen

• Für Desinfektionsmittel sorgen

• Workshop Materialen bereit legen

Mein Tipp bei der Wahl der Test-Software für einen Usability Test ist, dass zu nehmen, was am bekanntesten und unproblematischsten für die Probanden ist. Versuche jedoch auch einen Plan B zu haben, in dem du bspw. die Möglichkeit hast, die Steuerung auf deinen PC freizugeben, falls der Proband seinen Bildschirm nicht teilen kann.

Eine Einwahlanleitung hilft, Probleme beim Remote Test vorzubeugen und dem Probanden ein sicheres Gefühl zu geben.

Man kann gut auf einem digitalen Whiteboard oder in Excel protokollieren. Beides sollte jedoch für die Tests vorbereitet werden.

Ein Leitfaden bzw. Testskript sollte immer folgende Abschnitte enthalten:

1. Forschungsfragen

2. Leitfadenerklärung

3. Einführung

4. Warm-Up

5. Hauptteil

6. Abschluss

Um einen guten Leitfaden zu schreiben, muss man sich zuerst mit dem Testgegenstand auseinandersetzen. Für unser Beispiel zeige ich einen simplen Figma Prototypen, mit dem man testen könnte.

Eine Leitfaden Vorlage hilft dabei schneller zu Usability Tests vorbereiten zu können. Um gut mit der Vorlage arbeiten zu können, muss man diese kennen.

Für den gezeigten beispielhaften Testgegenstand erstellen wir nun einen Beispielleitfaden, um noch besser nachzuvollziehen, wie man mit der Vorlage arbeitet und was man bei einem Leitfaden alles beachten sollte.

An Hand des Beispielleitfadens bereiten wir nun beispielhaft ein Excelprotokoll auf Basis der bereits gezeigten Vorlage vor.

Alternativ oder zusätzlich zu einem Excelprotokoll kann man auch auf einem digitalen Whiteboard protokollieren, wie in Abschnitt 5 bereits erklärt. In diesem Beispiel wird ein digitales Whiteboard mit dem gezeigten Beispielleitfaden vorbereitet.

Es gibt unterschiedliche Formen der Rekrutierung und damit an Probanden für den Test zu kommen. Alle haben so ihre Vor- und Nachteile und sollten immer je nach Situation abgewägt werden.

Die Anzahl der zu rekrutierenden Probanden hängt nicht nur von der Anzahl der Usability Tests ab. Es gibt eine Daumenregel, dass 1 von 10 Probanden im Schnitt nicht erscheint. Damit muss man rechnen und entsprechende Vorkehrungen in der Rekrutierung treffen.

Bei der Rekutierung von Remote Tests sollte man 3 weitere Dinge beachten:

1. Eine Einwahlanleitung mitschicken (siehe Lektion 5)

2. Die Telefonnummer abfragen

3. Die vorhandene Technik abfragen

Am Tag des Tests ist es wichtig, sich ausreichend Zeit einzuplanen, um noch mal letzte Vorbereitungen treffen zu können. Mein Tipp: Sei im besten Fall 1 Stunde früher vor Ort, um keinen Stress zu haben.

Als Moderator oder Interviewleiter muss man das richtige Mindset, also die richtige Einstellung zu dem Interview entwickeln und sich selbst sehr stark zurücknehmen.

Zwei Dinge sollte man bei Interviewfragen immer beachten:

1. Offen anstatt geschlossen fragen

2. Neutral anstatt suggestiv fragen

Zudem ist wichtig, immer nur eine Frage zur stellen.

Es gibt verschiedene Fragetechniken, die man als Moderator bzw. Interviewleiter einsetzten kann, um mehr Informationen zu erhalten, Informationen klarzustellen oder vielleicht auch Fragen zu umgehen.

Diese 6 Punkte sollten bei der Interviewführung beachtet werden:

1. Neugierig sein

2. Meister-Schüler-Modell beachten

3. Offene und neutrale Fragen stellen

4. Interviewtechniken verwenden

5. Beobachten

6. Üben

In dieser Lektion wird immer erst eine Probandensituation gezeigt und danach der Umgang mit der Situation kommentiert und erklärt.

Der Proband ist durch die Testsituation nervös und dadurch verunsichert.

Der Proband will die Aufgabe richtig machen bzw. was er denkt, was die Erwartung an ihn ist, anstatt sie intuitiv zu bearbeiten.

Der Proband ist abgelenkt, hat Zeitdruck oder telefoniert vielleicht sogar während des Tests.

Der Proband hat aufgrund eines falschen Briefings oder eines Missverständnisses falsche Erwartungen an einen Usability Test und denkt, es handelt sich bspw. um eine Fokusgruppe.

Trotz unterschriebener Einverständniserklärung kann es dazu kommen, dass der Proband nicht aufgezeichnet werden möchte.

Der Proband sagt etwas, was man als Interviewleiter als unangemessen empfindet und fühlt sich daher in der Situation unwohl, wie bspw. anzügliche, diskriminierende oder rassistische Kommentare.

Der Proband erzählt zu ausführlich oder über nicht relevante Dinge und daher kommt man mit den Aufgaben nicht durch.

Der Proband vergisst laut zu denken oder erzählt generell sehr wenig.

Eine häufige Situation ist, dass der Proband die Aufgabe nicht schafft, weil es Usability Probleme gibt.

Es kann vorkommen, dass der Proband zu schnell ist, aufgrund von Erfahrung, schneller Auffassungsgabe oder weil er die Aufgabe nicht ernst genug nimmt.

Es kann immer mal dazu kommen, dass die Technik im Labor versagt oder der Testgegenstand nicht mehr funktioniert.

Manchmal merkt man erst im Usability Test, dass ein Proband falsch rekrutiert wurde.

Es kann vorkommen, dass Probanden bereits krank zu Tests erscheinen oder es ihnen im Verlauf des Tests auf einmal nicht mehr gut geht.

Besonders bei kontextuellen Interviews oder auch einfach Usability Tests am Schreibtisch des Probanden kann er vorkommen, dass der Proband sich unwohl fühlt, dort offen zu sprechen, weil die Kollegen mithören könnten.

Manchmal wollen die Stakeholder mit beim Usability Test im Raum anwesend sein und dann evtl. auch Fragen während des Tests stellen.

Es kann immer mal zu einer unerwarteten Situation wie einem Feueralarm kommen.

Ohne Mikrofon kann ein Remote Usability Test nicht durchgeführt werden. Viele kennen die Situation sicherlich, dass man seinen Gegenüber in einem Videocall nicht hören kann.

Den Bildschirm zu teilen kann manchmal auch ein Problem für die Probanden darstellen, vor allem wenn die es nicht häufig tun.

Wenn man an einem bestimmten Gerät testen möchte, kann es sein, dass die Probanden sich mit einem falschen Gerät einwählen, wie bspw. mit dem Handy anstatt mit dem PC.