Obwohl quantitative Usability-Analysen viermal so teuer sein können wie qualitative Studien (die oft einen besseren Einblick gewähren), sind Metriken oft ihr Geld wert. Unter anderem können Metriken Projektmanagern helfen, den Fortschritt eines Designs zu überwachen und sie können helfen, die Entscheidung über den Zeitpunkt eines Produkt-Release festzulegen.
Usability kann man messen, aber meist wird dies nicht getan. Der Grund hierfür? Metriken sind teuer und kaum verwertbar in den typisch knapp bemessenen Usability-Ressourcen.
Die meisten Hersteller investieren immer noch zu wenig in die Usability ihrer Produkte. Mit kleinen Budgets ist es sehr zu empfehlen, die Finger von quantitativen Messungen zu lassen, und stattdessen mit qualitativen Methoden zu arbeiten, deren Return of Investment wesentlich höher ist. Im Grundsatz gilt, um ein Design zu verbessern, bringt eine Analyse mehr als eben statistische Messwerte.
Nun, es könnte jedoch so kommen, dass für Usability zukünftig mehr Geld ausgegeben wird. Wenn Unternehmen ihr Usability-Budget erhöhen, ist es ein logischer nächster Schritt, Usability-Messungen durchzuführen die dann auch etwas bringen.
Im allgemeinen erlauben Usability-Metriken:
Fortschrittsüberwachung zwischen zwei Releases. Man kann seine Webseiten nicht optimieren, wenn man nicht weiß, wie ausgereift die Webseiten sind.
Selbstbewertung gegenüber Wettbewerbern. Ist man besser oder schlechter als der Wettbewerb? Wo ist man besser oder schlechter als der Wettbewerb?
Stop/Go-Entscheidungen für einen Abschluss zu treffen. Ist das Design gut genug, um es freizugeben für die Nutzung durch den Kunden?
Bonuspläne für Designverantwortliche und Entwicklungsleiter zu entwickeln. Zum Beispiel kann man Bonusbeträge für Entwicklungsleiter festmachen an der Summe von Hotlineanrufen und Email-Anfragen, die durch ein bestimmtes Produkt im Laufe eines Jahres verursacht wurden.
Wie misst man Usability?
Es ist leicht Usability-Metriken zu spezifizieren, aber umso schwerer sie tatsächlich zu messen. Typisch misst man Benutzbarkeit als Benutzerleistung in Bezug auf eine Zusammenstellung von Testaufgaben. Die einfachsten Messungen sind:
Die Zeit, die benötigt wird, eine Aufgabe zu erledigen
die Fehlerrate hierbei und
die subjektive Zufriedenstellung des Benutzers
Es ist darüber hinaus möglich, spezifischere Metriken zu erfassen, wie zum Beispiel der prozentuale Anteil an Zeit, die Benutzer damit zubringen, einen vorgesehenen Navigationspfad zu durchlaufen, bzw. die Anzahl der "Rückzieher".
Man kann Usability-Metriken sowohl für Anfänger als auch für erfahrene Benutzer erfassen. In Bezug auf Websites gibt es nur selten den "erfahrenen Benutzer", da Nutzer selten auf einer Website solange verweilen, dass sie die Website in aller Tiefe erlernen. Unter dieser Voraussetzung ist es sinnvoller, Usability-Metriken für Anfänger zu erfassen. Ausnahmen sind Websites wie zum Beispiel Yahoo oder Amazon, bei denen man von engagierten und treuen Nutzern ausgehen muss.
Intranet, Extranet und Web-Applikationen sind vergleichbar mit traditionellen Softwarepaketen und werden hoffentlich von erfahrenen Benutzern verwendet; in diesem Fall ist das Verhalten von erfahrenen Nutzern wichtiger in der Analyse als eben das von Anfängern, die überwiegend auf öffentlichen Websites verkehren.
Bei qualitativ angelegten Benutzerbeobachtungen ist es in der Regel ausreichend, mit drei bis fünf Benutzern zu testen. Nach der fünften Benutzerbeobachtung hat man fast vollständig Einblick in das Benutzerverhalten gewonnen und es ist sinnvoller auf dieser Basis ein Redesign zu machen, das man dann wiederum mit Benutzern testet. Das Testen mit mehr als fünf Benutzern ist Ressourcenverschwendung, reduziert die Anzahl von Designwiederholungen, und führt im Endergebnis zu schlechterer Designqualität.
Um jedoch quantitative Daten und somit Usability-Metriken zu erhalten, muss man mit mehr als fünf Benutzern testen. Um zuverlässiges Datenmaterial zu erhalten, empfehlen wir in der Regel mit 20 Benutzern für jedes Design zu testen. Aus diesem Grund sind quantitativ angelegte Benutzerbeobachtungen viermal so teuer wie die Durchführung von qualitativ angelegten Benutzerbeobachtungen. Davon ausgehend, dass man von qualitativ angelegten Benutzerbeobachtungen mehr über die Produktqualität lernt, raten wir in der Regel von Usability-Metriken ab, es sei denn, das Entwicklungsprojekt ist sehr gut finanziert.
Vergleich zweier Designs
Um den Begriff „Quantitative Ergebnisse“ zu illustrieren, können wir auf eine kürzlich von Macromedia durchgeführte Usability-Studie einer Flash-Site zurückgreifen, bei der gezeigt werden soll, das Flash nicht grundsätzlich schlecht ist. Macromedia nahm schlichtweg ein existierendes Design, änderte es unter Anwendung einer Reihe von Usability Guidelines und testete dann beide Versionen mit einer Reihe von Benutzern. Hier sind die Ergebnisse:
Erstes Design | Überarbeitetes Design | |
| Aufgabe 1 | 12 Sek. | 6 Sek. |
| Aufgabe 2 | 75 Sek. | 15 Sek. |
| Aufgabe 3 | 9 Sek. | 8 Sek. |
| Aufgabe 4 | 140 Sek. | 40 Sek. |
| Zufriedenstellung* | 44,75 | 74,5 |
*gemessen auf einer Skala die von 12 (unbefriedigend bei allen Messungen) bis 84 (sehr zufrieden bei allen Messungen) reichte | ||
Es ist sehr selten der Fall, dass man bei Usability-Analysen Aufgaben zugrunde legt, die der Benutzer in wenigen Sekunden erledigen kann. Normalerweise eignen sich Aufgaben, die eine zielorientierte Ausrichtung haben und somit mehrere Minuten in Anspruch nehmen.
Unter der Voraussetzung, dass ein Redesign bessere Werte liefert als sein Vorgänger gibt es keine Zweifel daran, dass das Redesign besser ist als das Originaldesign. In diesem Fall ist der einzig richtige Weg, das neue Design so schnell wie möglich online zu bringen. Jedoch lassen in vielen Fällen die Messwerte kein so klares Ergebnis zu. In diesen Fällen ist es sinnvoller, genau zu analysieren, wie viel besser das Redesign ist.
Messung von Erfolgen
Es gibt zwei Ansätze, die Zeitmessungen im obigen Beispiel zu deuten:
Die Summe der Zeiten für alle vier Aufgaben ergibt eine einfache Zahl, die andeutet, „wie lange Benutzer brauchen, um Dinge zu tun“ mit dem jeweiligen Design. Man kann leicht die Verbesserung errechnen. Mit dem ersten Design brauchten die Benutzer 236 Sekunden. Mit dem überarbeiteten Design brauchten die Benutzer nur noch 69 Sekunden. Somit ist die Verbesserung 242%. Dieser Ansatz ist angemessen, wenn alle vier Aufgaben typisch in ihrer Sequenz abgearbeitet werden. Mit anderen Worten, wenn die 4 Aufgaben Teil einer übergeordneten Aufgabe sind, die im Fokus des Benutzers steht.
Obwohl es simpler ist, die Bearbeitungszeiten einfach aufzuaddieren, kann dies zu Fehleinschätzungen führen, wenn die einzelnen Aufgaben unterschiedlich häufig durchgeführt werden. Wenn Benutzer zum Beispiel Aufgabe 3 oft durchführen, die anderen Aufgaben jedoch sehr selten, dann wäre das überarbeite Design nur geringfügig besser als das erste Design; die Aufgabenerledigung würde weit geringer sein als 242%. Soweit die Aufgaben nicht sequenziell ablaufen, sollte man die Verbesserung für jede einzelne Aufgabe berechnen:
Aufgabe 1: Relatives Ergebnis: 200% (Verbesserung: 100%)
Aufgabe 2: Relatives Ergebnis: 500% (Verbesserung: 400%)
Aufgabe 3: Relatives Ergebnis: 113% (Verbesserung: 13%)
Aufgabe 4: Relatives Ergebnis: 350% (Verbesserung: 250%)
Man kann den geometrischen Mittelwert dieser vier Ergebnisse bilden, was dann eine Gesamtverbesserung von 150% ergibt.
Warum empfehlen wir, den geometrischen Mittelwert zu bilden statt den arithmetischen Mittelwert zugrunde zu legen? Zwei Gründe: Erstens wollen wir verhindern, dass eine einzige große Zahl das Gesamtergebnis dominiert. Zweitens führt der geometrische Mittelwert zu faireren Ergebnissen, wenn zum Teil negative Ergebnisse erzielt wurden (das heißt, dass das überarbeitete Design zum Teil schlechtere Ergebnisse produziert als das erste Design).
Betrachten wir ein einfaches Beispiel mit zwei Metriken: eine Aufgabe, bei dem das neue Design doppelt so schnell genutzt wird wie das alte und eine Aufgabe, bei dem das neue Design halb so schnell genutzt wird wie das alte. Nimmt man den arithmetischen Mittelwert der beiden Ergebnisse als Grundlage (200% und 50%), so ergibt sich ein Mittelwert von 125%. Mit anderen Worten wäre das neue Design 25% besser als das alte. Nun, dies ist offensichtlich keine angemessene Interpretation.
Der geometrische Mittelwert führt zu einer angemesseneren Interpretation. Grundsätzlich ist der geometrische Mittelwert die n’te Wurzel des Produktes der n Werte. In unserem Beispiel würde man also 2,0 mit 0,5 multiplizieren, daraus die Wurzel ziehen und den Wert 1,0 (oder 100%) erhalten, was bedeuten würde, dass das neue Design die gleiche Usability hat, wie das alte.
Obwohl es möglich ist, den einzelnen Aufgaben unterschiedliche Gewichtungen zuzuordnen bei der Berechnung des geometrischen mittelwertes, haben wir uns gegen eine Gewichtung entschieden, da wir keinerlei Informationen über die relative Häufigkeit der einzelnen Aufgaben haben.
Zusammenfassung der Ergebnisse
Soweit man alle Metriken erfasst hat, kann man mit diesen Zahlen eine zusammenfassende Schlussfolgerung über die Usability eines Designs ziehen. Jedoch sollte man immer die relative Wichtigkeit von Geschwindigkeit und Zufriedenstellung untersuchen. Im Macromedia-Beispiel war die subjektive Zufriedenstellung mit dem neuen Design 66% höher als mit dem alten Design. Für eine business-orientierte Website, die für hochfrequente Nutzung vorgesehen ist (zum Beispiel Abruf von Börsenkursen) ist die Geschwindigkeit der Benutzer höher zu gewichten, als deren Zufriedenstellung. Bei einer Unterhaltungs-Onlineangebot oder einer Site die typisch nur einmal genutzt wird, kann die Zufriedenstellung höher gewichtet werden. Um eine wirklich angemessene Schlussfolgerung zu ziehen, würden wir immer Fehlerraten und einige weitere Usability-Attribute hinzuziehen, aber, unter der Voraussetzung dass alle anderen Variablen gleich gewichtet sind, gewichten wir die einzelnen Usability-Attribute auch gleich. Somit kommen wir im Macromedia-Beispiel zu folgender Schlussfolgerung: sqrt (2,5 * 1,66)=2,04. Mit anderen Worten erreicht das neue Design einen Wert von 204% auf der Basis des ersten Designs (100% ).
Das neue Design erreicht somit eine 104% höhere Usability als das alte Design.
Dieses Ergebnis überrascht uns nicht: Es ist bekannt, dass ein Redesign die Usability verdoppelt. Es lässt sich sogar zeigen, dass beim Redesign einer Website, die ohne systematischen Usability-Engineering-Prozess entwickelt wurde, noch höhere Zahlen erzielt werden. Nun, die Zahlen die zunächst im Vordergrund stehen, sind die des Budgets. Nur, wenn diese Zahlen ausreichend groß sind, sollte man Metriken als Bestandteil der Usability-Verbesserungsstrategie vorsehen.
