Qualitatives und Quantitatives Usability Testing – ein Hybrider Testansatz

Mensch & Computer 2004, Paderborn

Tim Bosenick, SirValUse Consulting
Matthias Müller-Prove, Sun Microsystems

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

StarOffice / OpenOffice.org

Marktführer unter Linux / Solaris / Unix

Der bedeutendste Konkurent zu Microsoft Office unter Windows

Standardisiertes XML-Dateiformat

Gute Unterstützung der Microsoft Office Dateiformate

OpenOffice.org ist das Open Source Pendant zu StarOffice.

Die Ausgangslage

StarOffice

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Sun Product Life Cycle (PLC)

Etwa 18 Monate für Konzept-, Planungs- und Implementationsphase

Competitive Engineering / Evolutionary Design
(Tom Gilb)

Messbare Ziele begleiten die Entwicklungsphasen.

User Experience

Eine gute Benutzbarkeit ist zentrales Ziel für StarOffice.

Usability Tests unter Laborbedingungen sind eine wichtige Komponente, um dieses Ziel zu erreichen.

Die Ausgangslage

Prozesse

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Qualitative Usability Tests

...sind unschätzbar wichtig für die Verbesserung des Produkts;

aber sie liefern in der Regel keine soliden Daten für quantitative Maße.

Ein qualitativer Ansatz interferiert mit einem rein quantitativen Ansatz, da der Beobachter den Probanden beeinflußt und damit die Messergebnisse verfälscht. Objektive und wiederholbare Messungen sind so nicht möglich.

Das Problem

Wer

misst

misst

Mist

Die Ausgangslage

StarOffice 8
Entwicklungsphase

StarOffice 7 Release

StarOffice 8 Konzeptphase

Dokumentation der Optimierungen
in einer Usability-Datenbank

StarOffice 8 Release

Qualitative Tests in der
Entwicklungsphase

StarOffice 8 Early Access

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Der Hybride Testansatz

StarOffice 8
Entwicklungsphase

StarOffice 7 Release

StarOffice 8 Konzeptphase

Kritische Würdigung von Konzepten

Nullmessung der Anwendung
mittels des Hybriden Testansatzes

Dokumentation der Optimierungen
in einer Usability-Datenbank

StarOffice 8 Release

Qualitative Tests in der
Entwicklungsphase

Weitere Messung der Anwendung
mittels des Hybriden Testansatzes

StarOffice 8 Early Access

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Der von SirValUse und Sun gemeinsam entwickelte hybride Ansatz erlaubt es, qualitative und quantitative Ergebnisse für die Verbesserung von StarOffice / OpenOffice.org innerhalb einer Studie zu ermitteln.

Der Hybride Testansatz

Ansatz

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Der Hybride Testansatz

Setting

Qualitatives und Quantitatives Usability Testing – ein Hybrider Testansatz

Einleitung, Datenschutz

Proband löst Aufgaben allein und denkt dabei laut.

Es ist ein Zeitlimit festgelegt.

Messungen werden vorgenommen.

Testleiter betritt das Labor:

Falls die Aufgabe innerhalb des Zeitlimits nicht gelöst wurde, unterstützt er bei der Vollendung.

Die beobachteten Probleme werden exploriert.

Die Anwendung wird mittels eines standardisierten Fragebogens subjektiv bewertet.

Der Hybride Testansatz

Ablauf

Quantitativ
und
Qualitativ

Qualitativ

Quantitativ

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Objektiv

Software auf dem Testrechner zeichnet relevante Daten auf (Zeit, Klicks etc.).

Intersubjektiv

Ein Usability-Experte beobachtet Usability-Probleme und erfasst diese in einer Datenbank.

Die Probleme werden so erfasst, dass sie ebenfalls quantifiziert werden können.

Subjektiv

Probanden bewerten die Anwendung (den Teil der Anwendung) über einen standardisierten Fragebogen.

Der Hybride Testansatz

Messungen

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Innerhalb eines Tests können quantitative und qualitative Daten gewonnen werden.

Quantitativ: Controlling-Daten

Qualitativ: Daten zur Entwicklung von Empfehlungen für die Anwendung

Die Vorteile

Kosten
und Zeit

Reich-haltigkeit
der Ergebnisse

Durch den kompakten Ansatz werden Kosten und Zeit gespart.

Kosten: Einmalige Rekrutierung, zweigleisige Erhebung und Auswertung von Daten

Zeit: Durchführung eines statt zweier Tests mit demselben Team

Qualitatives und Quantitatives Usability Testing –
ein Hybrider Testansatz

Die Referenten

Tim Bosenick
Diplom-Soziologe
Geschäftsführer
SirValUse Consulting

Matthias Müller-Prove
Diplom-Informatiker
User Experience Engineer
Sun Microsystems

Screenshot of US version of StarOffice on GNOME.

OpenOffice.org is an office suite for Windows, Unix/Linux, and MacOS X

StarOffice is Sun’s commercial version of OpenOffice.org.

Open-sourced by Sun in October 2000

Qualitatives und Quantitatives Usability Testing – ein Hybrider Testansatz

Tim Bosenick

2001-01-16T14:12:52

Matthias Müller-Prove