Allein in einem kleinen Raum versucht ein Mann, auf dem am Computerbildschirm simulierten Prototyp eines Handys seineTelefonnummer mit Name und Adresse abzuspeichern. Durch einen Einwegspiegel wird er dabei von Mitgliedern des Entwicklungsteams, Usability Ingenieuren und einer Videokamera beobachtet. Dieses Szenario ist wohl der Prototyp des Usability Testens. Viele große Firmen - insbesondere in den USA - haben inzwischen eigene "Usability Labs", die in der oben geschilderten Weise gestaltet sind. Welche Variationen es auf das Thema Usability Tests gibt und welche Aspekte dabei besonderer Beachtung bedürfen, soll dieser Abschnitt zeigen.
Allgemeines
Usability Test ist der Name für ein Vorgehen, während dessen überprüft wird, ob die festgelegten Usability-Ziele erreicht worden sind. "Test" ist dabei ein generischer Name für eine Vielzahl verschiedener Methoden, die dabei zum Einsatz kommen können. Sie reichen von einfachen Fragebogenerhebungen bis hin zu aufwendigen Laboruntersuchungen. Der allgemeine Ablauf des Testens kann grob in folgende Schritte gegliedert werden:
Vorbereitung
Einführung
Test
Abschlussbesprechung
Analyse
Bericht
Diese Schritte sollen kurz beschrieben werden.
1. Vorbereitung
Aufgaben bestimmen
Grundlage für diesen Schritt bilden die relevanten Benutzereigenschaften, sowie die Ergebnisse der Aufgabenanalyse, die beide während der Phase der Zielsetzung festgelegt worden sind.
Testmethoden
Analog den Aufgaben werden auch die zu verwendeten Methoden auf Grundlage der Usability-Zielsetzung bestimmt.
Einige zusätzliche Überlegungen sollten die Auswahl beeinflussen:
Sind die Gedankengänge des Benutzers relevant? Dann sollten Think-Aloud-Protokolle angefertigt werden.
Ist es wichtig, dass die Testumgebung der Arbeitsumgebung des Benutzers entspricht?
Wenn fehler- oder zeitabhängige Messgrößen erhoben werden sollen, ist die Interaktion zwischen Benutzer und Testleiter auf ein Minimum zu beschränken oder zu standardisieren.
Soll die Testphase detailliert analysiert werden, ist es evtl. hilfreich, Videoaufnahmen zu machen.
Videoaufnahmen können auch hilfreich sein, wenn ein Entwicklerteam zu überzeugen ist, das hartnäckig an einem alten Entwurf festhalten will.
Testmaterial und Einrichtung
Es ist eine Selbstverständlichkeit, dass zu Testbeginn alle Unterlagen vorliegen müssen. Nichts ist peinlicher, als zu riskieren Daten zu übersehen, weil ein Testexperiment nicht sorgfältig vorbereitet worden ist. Daher sollte für jeden Test eine Checkliste mit allen nötigen Vorarbeiten, Fragebögen, Formularen usw. angefertigt werden.
Teilnehmer
Die relevanten Charakteristiken der Testteilnehmer sind die Ausgangsposition für deren Auswahl. Probleme, die dabei entstehen können, sind oft logistischer Natur:
Haben die Teilnehmer eine längere Anreise zum Testort?
Sind die Teilnehmer Experten in ihrem Gebiet? Experten haben die negative Eigenschaft, dass sie selten und teuer sind.
Lässt das Budget finanzielle Anreize zur Teilnahme zu?
2. Einführung
Informationen zum Test
Der Testteilnehmer wird hier über Dauer und Zweck des Tests in Kenntnis gesetzt. Er sollte durch die Einführung in der Lage sein, die allgemeine Struktur und den Ablauf des Tests zu verstehen und in etwa vorherzusehen. Ein wichtiger (und entspannender) Hinweis an den Teilnehmer ist, dass sein Verhalten nur hinsichtlich der Produkteigenschaften interpretiert wird und nicht zu Rückschlüssen über seine Fähigkeiten dient.
Grundregel: Dem Teilnehmer sollte es nach dem Test nicht schlechter gehen als zuvor!
Rechtliche Aspekte
Der Testteilnehmer sollte ein Formular unterschreiben, dass er an der Untersuchung aus freien Stücken teilnimmt. Es sollte ihm erklärt werden, in welcher Weise die gesammelten Daten verwendet werden. Falls Video- oder Audioaufzeichnungen gemacht werden, muss eine Berechtigung zur Weiterverwendung unterschrieben werden. Falls Informationen über das zu entwickelnde Produkt aus marktstrategischen Gründen nicht nach außen gelangen dürfen, sollte der Teilnehmer zu Stillschweigen verpflichtet werden.
3. Test
Naturgemäß unterscheiden sich verschiedene Untersuchungen hinsichtlich Zweck, Dauer, finanziellem Aufwand, Methode usw. Der Ablauf ist daher von Test zu Test verschieden. Grundsätzlich sollten aber die aufgestellten Richtlinien während des Tests eingehalten werden. So ist generell die Interaktion Leiter-Teilnehmer auf ein Minimum zu reduzieren; insbesondere sollten Entwickler, die vielleicht dem Test beiwohnen, das Verhalten des Teilnehmers nicht durch Tipps und Hinweise beeinflussen. Diese Regeln können natürlich bei weniger zeit- oder fehlersensiblen Tests gelockert werden. Bei Think-Aloud(Denke laut)-Untersuchungen ist es oft nötig, den Teilnehmer durch kurze Hinweise wie "Können Sie uns sagen, was Sie gerade denken?" oder "Haben Sie dieses Verhalten erwartet?" zum lauten Denken zu animieren. Hier ist noch zu erwähnen, dass durch lautes Denken evtl. die Leistung des Teilnehmers (hinsichtlich Fehler- und Zeitkriterien) künstlich gesteigert werden kann.
4. Abschlussbesprechung
Nach dem Test wird der Teilnehmer evtl. gebeten, Fragebögen hinsichtlich subjektiver Messgrößen (Zufriedenheit, erster Eindruck, etc.) auszufüllen. Es sollte ihm auch immer die Möglichkeit gewährt werden, eigene Kommentare und Verbesserungsvorschläge zu machen. Der Testleiter kann die Besprechung auch dazu nutzen, sich vom Teilnehmer bestimmte Situationen, die während des Tests aufgetreten sind, erklären zu lassen. Nachdem dem Teilnehmer für seine Mitarbeit gedankt worden ist, sollte sich der Testeiter überzeugen, dass die aufgezeichneten Daten vollständig und eindeutig der Testperson zuzuordnen sind. Ein kurzer Bericht über Situationen, die frisch in Erinnerung sind, kann später hilfreich dabei sein, den Abschlußbericht zu verfassen.
5. Analyse
Einfache Analyse
Usability Tests liefern üblicherweise drei Arten von Daten: quantitative Attributsausprägungen, qualitative Problembeschreibungen und subjektive, durch Fragebogen erhobene Daten. Diese Daten zeigen, ob die Usability-Ziele erfüllt worden sind, wo die Probleme bei der Bedienung liegen und für wie schwerwiegend diese Probleme erachtet werden. Eine einfache Analyse besteht im Vergleich der Ist- mit den Soll-Werten der Usability-Attribute. Alternativ oder zusätzlich kann eine Liste von Problemen erstellt werden. Um die Analyse zu verfeinern, können die Probleme nach Ähnlichkeit oder nach Art bzw. Größe ihres Einflusses gruppiert werden.
Videoanalyse
Verschiedene Gründe können dafür sprechen, den Test auf Video aufzuzeichnen. So kann in einer nachträgliche Auswertung die Interaktionssituation detaillierter analysiert werden; Videosequenzen von Bedienproblemen können eine starke Argumentationshilfe für geforderte Designänderungen sein; sie stellen aber auch ein probates Mittel dar, die Akzeptanz (und Attraktivität) des Abschlußberichtes zu steigern. Als Grundlage für detailliertere Analysen kann mit Hilfe von Videoaufzeichnungen gezielt eine Liste von Fehlerhäufigkeiten erstellt werden. Weitere mögliche Untersuchungsziele sind die Zeit, die mit Problemen und deren Behebung zugebracht wird, die Zahl der Benutzer, die ein bestimmtes Problem haben, die Zahl der Schritte, um ein Ziel zu erreichen, etc.
Pareto Diagramme
Während der verschiedenen Durchgänge des Entwicklungszyklus eines Produktes können viele verschiedene Usability Probleme identifiziert werden. Nicht jedes dieser Probleme kann problemlos in einem Redesign gelöst werden. Oft müssen verschiedene Ziele gegeneinander abgewogen werden. Häufig steht einer nötigen Produktänderung ein beschränktes Budget gegenüber. Die Entscheidung, welchen Problemen begegnet werden sollte und welchen nicht, ist dann nicht trivial. Eine große Hilfestellung bei solchen Entscheidungen kann ein so genanntes Paretodiagramm bieten. Hier wird für jedes Usability-Problem der (evtl. über alle Benutzer gemittelte) prozentuale Anteil der Zeit angegeben, die insgesamt für Bedienprobleme verwendet worden ist. Kumuliert (durchgezogene Linie) ergibt das natürlich einen Anteil von 100%. Wenn für die einzelnen Probleme in etwa bekannt ist, welcher Aufwand eine Beseitigung bedeuten würde, kann abgewogen werden, welche Kombination von Problemen am effektivsten wäre.
Eine realistische Schätzung ist eine 30%ige Verbesserung, wenn 70-80% der Fehleranzahl bzw. -zeit angesprochen werden.
6. Bericht
Beim Erstellen des Abschlußberichts ist es entscheidend, dessen Zielgruppe nicht aus den Augen zu verlieren. Wird erwartet, dass der Usability Ingenieur in Zusammenarbeit mit dem Entwicklungsteam das Produkt verbessert, ist es beispielsweise unbedingt erforderlich, technische Details mit in den Bericht aufzunehmen. Diese würden bei einer zusammenfassenden Produktbewertung, die dem höheren Management vorgelegt wird, nur stören. Grundsätzlich sollte der Bericht aus folgenden Abschnitten bestehen: Zusammenfassung, Methoden, Ergebnisse und Empfehlungen. Bei Empfehlungen sollte vermieden werden, Urteile abzugeben, die auf bestimmten Werthaltungen beruhen. So kann beispielsweise das Abwägen zwischen dem Einfluss eines Problems auf die Usability eines Produktes und die durch seine Beseitigung entstehenden Kosten nicht vom Testleiter vorgenommen werden. Allerdings können bestimmte Hinweise gegeben und, wie im vorhergehenden Abschnitt beschrieben, mögliche Szenarien und ihre Konsequenzen beschrieben werden.
