Usability Engineering – Evaluation

Usability-Evaluation

Die Usability-Evaluation ist ein Themengebiet, das Verfahren beschreibt, welche die Usability nachweisbar und messbar machen. Sie bietet Möglichkeiten, technische Systeme hinsichtlich ihrer Gebrauchstauglichkeit zu bewerten. Einschränkungen der Gebrauchstauglichkeit technischer Systeme können so schon frühzeitig erkannt werden, da die Usability-Evaluation schon bei Prototypen angewandt werden kann. Mögliches Evaluationsziel kann die Ermittlung konkreter Maße für die Effizienz oder einfach das Aufdecken von Usability-Problemen sein.

072513_1019_usabilityen1
Abb. 2.1: Übersicht der Evaluationsmethoden

Evaluationsmethoden

Grundsätzlich kann man zwischen zwei Methodengruppen unterscheiden:

  1. Empirische Methoden
  2. Analytische Methoden

Bei den empirischen Methoden werden die Informationen durch Befragung oder Beobachtung der Nutzer gewonnen. Die wichtigsten empirischen Methoden sind die Usability-Tests und das Fragebogenverfahren. Bei den Usability-Tests wird das System von Nutzern anhand realistischer Aufgaben erprobt. Dabei werden die Nutzer von Usability-Experten beobachtet, anschließend befragt und Zeitmessungen vorgenommen. Aus den erworbenen Informationen werden Schwachstellen identifiziert und Verbesserungen erarbeitet. Das Fragebogenverfahren lässt sich entweder ergänzend zu den Usability-Tests oder als eigenständige Methode anwenden. Hierbei können die Daten kategorisiert und statistisch analysiert werden. Die erhobenen Daten sind subjektive Daten, d. h. von der Erfahrung und Kenntnisstand des Befragten abhängig. Bei den analytischen Methoden erfolgt die Beurteilung durch einen Usability-Experten, der sich dabei an Richtlinien oder Erfahrungswerten hält. Sie unterteilen sich in die formal-analytischen Verfahren und die Inspektionsmethoden. Bei den formal-analytischen Verfahren unterscheidet man die aufgabenanalytischen Verfahren und die Expertenleitfäden. Bei den aufgabenanalytischen Verfahren werden Aufgaben in einzelne Handlungen zerlegt und beschrieben. Die Handlungsschritte werden hinsichtlich verschiedener Kriterien bewertet. Handlungsschritte können getrennt oder zusammen bewertet werden. Ein bekanntes aufgabenanalytisches Verfahren ist das GOMS-Modell (englisch: goals, operators, methods and selection rules; deutsch: Ziele, Operatoren, Methoden und Selektionsregeln), das davon ausgeht, dass Nutzer Aufgaben ausführen, indem sie diese in Unteraufgaben aufteilen, die unabhängig voneinander zu erreichen sind. Im Unterschied zu den aufgabenanalytischen Verfahren, die sich bei der Bewertung des Systems die Eignung zur Aufgabenerfüllung stützen, steht bei den Expertenleitfäden die Software-Ergonomie im Mittelpunkt. Die Prüflisten stellen eine Sammlung an Leitsätzen hinsichtlich der Gestaltung von Benutzerschnittstellen dar. Der Vorteil dieser Verfahren liegt in der schnellen Durchführbarkeit und dass zur Durchführung kaum methodische Kenntnisse notwendig sind. [8] Expertenleitfäden können meist schon in der Entwurfsphase des Systems angewendet werden und zielen auf einen Prozess der Selbstkontrolle durch die Systementwickler über den gesamten Entwicklungsprozess. Ein Beispiel für einen Expertenleitfaden ist EVADIS II (Oppermann et al., 1992). Neben den formal-analytischen Verfahren gibt es noch die Inspektionsmethoden, deren Fokus darauf liegt, potentielle Usability-Probleme durch wenige Usability-Experten ohne Beteiligung einer Testperson vorauszusagen. Die Bewertung erfolgt anhand einer Checkliste. Der Einsatz ist schwerpunktmäßig in der formativen Evaluation zu sehen. Schon Prototypen können mit verschiedenartigen methodischen Ansätzen evaluiert werden, woraus sich Gestaltungshinweise für die weitere Programmentwicklung ergeben. Die wichtigsten Inspektionsmethoden sind der Cognitive Walkthrough und die Heuristische Evaluation. Beim Cognitive Walkthrough versetzt sich ein Usability-Experte in die Situation eines hypothetischen Nutzers und versucht den Handlungsablauf zu rekonstruieren. Dabei geht er davon aus, dass der Nutzer den möglichst geringsten kognitiv anspruchsvollen Weg nehmen wird, was wiederum fokussiert, wie gut ein System erlernbar ist. Die Heuristische Evaluation wurde von Jakob Nielsen und anderen Usability-Experten beschrieben wobei eine kleine Gruppe von Usability-Experten anhand einer Liste von Usability-Prinzipien (Heuristiken), die bestimmte Problemkategorien bei der Gestaltung von Dialogsystemen beinhalten, versucht, Verstöße gegen diese Prinzipien zu ermitteln. [7] [4]

Expertenleitfaden EVADIS

Ziel des Verfahrens ist die software-ergonomische Bewertung der Mensch-Computer-Schnittstelle für den Bürobereich. EVADIS ist ein Bewertungsverfahren anhand softwareergonomischer Gütekriterien und wurde von der Forschungsgruppe Mensch-Maschine-Kommunikation der Gesellschaft für Mathematik und Datenverarbeitung (GMD) entworfen und in einer erweiterten Fassung (EVADIS II) in 1992 vorgestellt. [12] Bei EVADIS werden Prüfungsfragen zur softwareergonomischen Güte der Benutzeroberfläche bearbeitet. Es werden dabei Aspekte der Funktionalität und Organisation betrachtet und wie sie zueinander passen. Die Methode wurde zur Anwendung durch Software-Experten entworfen, die über Wissen um die Gestaltung von ergonomischen Softwaresystemen und über das zu bewertende System verfügen. [4] Die EVADIS-Kriterien zur Evaluation von Software basieren hauptsächlich auf der DIN EN ISO 9241-10, die zwischenzeitlich ergänzt und umstrukturiert wurde, und weiterer Prüffragen. Die weiteren Prüffragen reflektieren den Kenntnisstand aus dem Jahre 1991, wobei hier die Schwäche dieses Verfahrens liegt. Das Verfahren wurde nicht fortlaufend den veränderten Anforderungen angepasst und kann daher nur eingeschränkt empfohlen werden. Weiterhin sind die Evaluationsergebnisse sehr subjektiv geprägt und lassen sich schlecht vergleichen.

Evaluationsschwerpunkt Methode Ziel
Benutzer Benutzerbefragung Erfassen von Benutzereigenschaften
Aufgabe (Organisation) vereinfachte Arbeitsanalyse Bewertung und Erstellung von Prüfaufgaben gemäß einem Leitfaden
Software methodengeleitetes Expertenurteil (Methodenschwerpunkt) Bewertung der ergonomischen Qualität gemäß der Prüffragensammlung

Tabelle 2.1: EVADIS II – Methodenkombination (nach [Oppermann 92] S. 53)

Inspektionsmethode Heuristische Evaluation

Die heuristische Evaluation gehört zu den Inspektionsmethoden und wurde von Rolf Molich und Jakob Nielsen (1990) gemeinsam entwickelt. Hierbei untersuchen einige wenige Usability-Experten unabhängig voneinander dieselbe Anwendung unter Zuhilfenahme von allgemein anerkannten Prinzipien – den Heuristiken. Molich und Nielsen stellten eine Liste von neun Heuristiken zusammen, die Nielsen (1994b) später noch um einen zehnten Punkt ergänzte: Die zehn generellen Usability-Heuristiken nach Molich und Nielsen (1994):

  1. Sichtbarkeit des Systemstatus: Das System sollte dem Nutzer durch eine angemessene Rückmeldung über den aktuellen Systemstatus informieren.
  2. Übereinstimmung zwischen dem System und der realen Welt: Das System sollte systemorientierte Terminologien vermeiden und Worte, Phrasen und Konzepte benutzen die den Benutzern vertraut sind. Dabei soll eine natürliche und logische Reihenfolge eingehalten werden.
  3. Benutzerkontrolle und -freiheit: Nach der Funktionsauswahl sollte immer eine Möglichkeit vorgesehen werden, mit der der Nutzer die Funktion wieder verlassen kann und den Zustand vor der Funktionsauswahl wieder erhält. Ein System sollte Benutzer nie in Situationen geraten lassen, aus denen sie nicht wieder zurückfinden.
  4. Konsistenz und Standards: Für immer wiederkehrende Situationen sollten Konventionen gelten, so dass sich der Nutzer sich nicht mit unterschiedlicher Wortwahl für gleiche Situationen auseinandersetzen muss.
  5. Fehlervermeidung: Besser als gute Fehlermeldungen ist ein Design, welches das Eintreten von Fehlern erst gar nicht zulässt.
  6. Wiedererkennen statt sich erinnern: Objekte, Optionen und Aktionen sollten einen Wiedererkennungswert haben. Die Nutzer sollten sich nicht an Informationen aus einem früheren Teil des Dialogs mit dem System erinnern müssen.
  7. Flexibilität und Effizienz der Benutzung: Häufig auftretende Aktionen sollten vom Benutzer angepasst werden können, um Fortgeschrittenen eine schnellere Bedienung zu erlauben.
  8. Ästhetik und minimalistisches Design: Dialoge sollten keine überflüssigen Informationen enthalten, da die Informationen um die Aufmerksamkeit des Benutzers konkurrieren. Jegliche Information sollte in einer natürlichen und logischen Ordnung erscheinen.
  9. Hilfe beim Erkennen, Diagnostizieren und Beheben von Fehlern: Fehlermeldungen sollten in natürlicher Sprache ausgedrückt werden (keine Fehlercodes), präzise das Problem beschreiben und konstruktiv eine Lösung vorschlagen.
  10. Hilfe und Dokumentation: Jeder Information der Hilfe oder Dokumentation sollte leicht zu finden sein, auf die Aufgabe abgestimmt sein und die konkreten Schritte zur Lösung auflisten. Außerdem sollte sie nicht zu lang sein. (Schweibenz & Thissen, 2003, S. 101)

Die Ergebnisse der Usability-Experten werden zusammengefasst und von Überschneidungen bereinigt. Anschließend werden die identifizierten Probleme bewertet und eine Prioritätenliste für die Behebung der Probleme erstellt. Zu jedem Problem wird außerdem ein Lösungsvorschlag erarbeitet. Nielsen (1994a) fand in einer Untersuchung heraus, dass ein einzelner Experte durchschnittlich nur 35 Prozent der vorhandenen Probleme identifiziert. Drei bis fünf Gutachter entdecken dagegen etwa 75 Prozent der Schwachstellen (Nielsen, 1992). Werden mehr Experten eingesetzt nimmt die Anzahl der zusätzlich entdeckten Probleme (s. Abbildung) rapide ab. Usability- versus Domänen-Expertise: “Dem ersten Entwurf der heuristischen Evaluation nach ist der geschärfte Blick des Evaluators für potenzielle Problembereiche im Design einer Systemoberfläche entscheidend für die effektive Aufdeckung von Usability-Problemen, weniger sein Wissen um technische Hintergründe oder die Domäne der Anwendung. Doch Nielsen (1992) weist bereits darauf hin, dass Evaluatoren, die sowohl über Usability- als auch Domänenexpertise verfügen (60 % Fehleraufdeckung), Evaluatoren weit überlegen sind, die nur Domänenexpertise (22 % Fehleraufdeckung) oder ausschließlich Usability-Expertise (41 % Fehleraufdeckung) in die Evaluation einbringen. Kantner und Rosenbaum (1997) bestätigen, dass diejenigen Heuristischen Evaluationen am erfolgreichsten verlaufen, bei denen die beteiligten Evaluatoren, ihre Usability-Expertise, ihre Vorerfahrungen aus vorangegangenen Evaluationen, ihr Domänenwissen und ihre Fähigkeit, sich in die Rolle des Nutzers zu versetzen, erfolgreich miteinander zu verbinden wissen.” [4]

072513_1019_usabilityen2

Abb. 2.2: Anzahl der durch die heuristische Evaluation gefundenen Usability-Probleme in Bezug zur Anzahl der Experten (nach Nielsen, 1994a, S. 33).

Die Heuristische Evaluation ist eine einfache, schnelle und kostengünstige Evaluationsmethode. Sie ist schnell zu erlernen, erfordert nur wenig Aufwand und ist mit geringem personellen Einsatz durchzuführen. Nachteilig ist, dass die Bewertung nicht von Endnutzern vorgenommen wird. Die Heuristische Evaluation bietet je nach den verwendeten Heuristiken umfangreiche Informationen über die Usability eines Produkts und liefert darüber hinaus auch Anregungen zur möglichen Fehlerbehebung. Sie wird in der Usability von Experten “übereinstimmend als schnelle, einfach zu erlernende und kostengünstige Methode beurteilt”.
[4] Florian Sarodnick, Henning Brau: Methoden der Usability Evaluation 2006, Verlag Hans Huber Bern

[7] Wikipedia http://de.wikipedia.org/wiki/Heuristische_Evaluation

[8] Hüttner, Wandke & Rätz, 1995

[12] Roland Gabriel, Ane-Kristin Reif-Mosel, Holger Taday, Friedrich Knittel: Computergestützte Informations- und Kommunikationssysteme in der Unternehmung, Springer-Verlag Berlin 2001

  

Leave a Reply