Evaluering fortsat Inspektioner, Analytics, Modeller

Transkript

1 Evaluering fortsat Inspektioner, Analytics, Modeller Marianne Graves Petersen Associate Professor Computer Science Dept, University of Aarhus Center for Interactive Spaces,

2 Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

3 Evaluering Tre tilgange til evaluering (Eksperimenter) usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Analytics Prediktive modeller Kombinationer af disse

4 Analytisk Evaluering Inspektioner Heuristisk evaluering Cognitive Walkthrough

5 Heuristikker: fordele bred evaluering Let at gå til Flexibel Ikke mange etiske issues Discount usability metode

6 Heuristisk Evaluering - praktisk udførelse Briefing af eksperter Individuelt arbejde med evaluering 1-2 timer, 2 gennemløb) De-briefing Diskussion af resultater, prioritering

7 2 minutter: Udfør vha Nielsen s heuristikker en evaluering af jeres mobiltelefon Visibility of system status feedback Match between system and the real world Familiar language User control and freedom Consistency and standards Help users recognize, diagnose, and recover from errors Helpful errormessages Error prevention Recognition rather than recall Objects and actions should be visible Flexibility and efficiency of use Shortcuts Aesthetic and minimalist design Help and documentation

8 Analytisk Evaluering Inspektioner Heuristisk evaluering Cognitive Walkthrough

9 Walkthroughs Med udgangspunkt i en opgave gennemgås systemet for at diagnosticere eventuelle brugbarhedsproblemer

10 Cognitive Walkthrough Bygger på læringsteori Learning by exploration (Wharton 1994) Vurdering af hvor let det er at lære at bruge et system

11 Procedure Repræsentativ opgave(r)/brugsscenarie udvælges Prototype/mock up Evaluator indlever sig i bruger, og brugskontekst Den korrekte serie handlinger, der skal til for at løse opgaven identificeres Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)

12 eksempel: skift af ringetone på mobiltelefon Korrekt handlinger menu værktøj indstillinger generelt tilpasning toner vælg -> skift osv.

13 Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)

14 Cognitive Walkthrough resultat Problemer afrapporteres inkl. årsagen til problemer Forslag til design ændringer

15 Cognitive Walkthrough: trade-offs Teoretisk funderet Fokuserer på læring smal, dyb evaluering Simulering af brugere vs. Rigtige brugere Kedelig i længden Kræver velspecificeret design

16 Variationer Cognitive Walkthrough Pluralistic Walkthrough Brugere, udviklere og brugbarhedseksperter Activity based walkthrough

17 2 minutter Tænk på en specifik opgave ift. brug af jeres mobiltelefon. Eksempelvis skift af ringetone. Eller tilsvarende. Start på at udføre en cognitive walkthrough ift. jeres egen mobiltelefon Skridt for skridt evalueres om Er den korrekte handling oplagt for brugeren Vil brugeren opdage tilstedeværelsen af handlingsmuligheden Vil brugeren fortolke resultatet af handlingen korrekt (vide hvad der skal gøres, se hvordan det skal gøres, forstå hvad der skete)

18 Kan I se forskellen? Heuristisk Evaluering Cognitive Walkthrough

19 Analytics

20 Prediktive modeller Modeller, der gør det muligt at forudsige aspekter af brugbarhed uden direkte involvering af brugere GOMS og keystroke level analyse Fitts lov

21 GOMS model Modellerer hvorledes brugeres viden og kognitive processer kommer i spil når et menneske interagerer med en computer

22 The Model Human Processor

23 GOMS Goals: den opgave/task der skal udføres Operators: adfærds atomer Methods: en bestemt sekvens af operatorer (kan være på mange niveauer) Selection rules: valg mellem metoder Eksempel: slet et ord i en tekst Goal slet et ord i en tekst Operators klick og drag med mus, tryk på delete tast Methods marker m mus og slet med delete eller slet karakter for karakter med delete Selection rules brug af mus vs. Brug af piletaster

24 Keystroke level model Forudsigelse af den tid, det tager en ekspert, fejlfrit at udføre en kendt opgave Gennemsnitstider baseret på stort empirisk materiale Sammenligning mellem alternative muligheder Antagelser om brug: additiv, sekventiel Modellerer udelukkende interaktion vha mus og tastatur

25 Task analyse Metode Keystroke-level analyse Tidsforudsigelser for fejlfri ekspert udførsel

26 Keystroke-level analyse Operatorer: 4 slags - Keystroking, Pointing, Homing, Drawing M (den mentale operator) og R systemets svar. T execute =T K + T P + T H +T D + T M + T R

27 Operator Description Time (sec) K Pressing a single key or button Average skilled typist (55 wpm) Average non-skilled typist (40 wpm) Pressing shift or control key Typist unfamiliar with the keyboard P P1 Pointing with a mouse or other device on a display to select an object. This value is derived from Fitts Law which is discussed below. Clicking the mouse or similar device H Bring home hands on the keyboard or other 0.40 device M Mentally prepare/respond 1.35 R(t) The response time is counted only if it causes the user to wait. t

28 Keystroke level modellen Find tastesekvens (metode) Indsæt M-operator Læg tallene sammen Sammenlign fx. brugen af menu med tastaturshortcuts

29

30 Syntagm designing for usability

31 GOMS, keystroke level trade-offs Forudsigelser Sammenligninger Pre-implementering evaluering ikke nødvendigt at se på faktisk brug Ikke nødvendigt med specialiseret viden Fejlfri ekspertbetjening modelleret Vel-specificeret design nødvendigt Ignorerer betydningen af kontekst, andre brugere mv Ignorere læring, udvikling i brug Fokuserer på lav-niveau handlinger

32 Motivation The Prospects for Psychological Science in Human-Computer Interaction (Newell & Card 1985) Hard sciences drive out softer sciences, even if softer sciences have important contributions to make. Hardening the applicable psychological science Critique: too low level, too limited in scope, too late to effect computer technology, too difficult to apply

33 Regneeksempel

34 Fitts lov T = k log(d/s + 0.5) k~200 msec T tid det tager at flytte hånd til target D afstand mellem hånd og target S størrelsen af target

35 Reflektion Hvilke mål (usability / user experience) er vigtige ift. vores projekt Hvilket tidspunkt i processen Hvilke aspekter kan metode afdække Hvor troværdige er resultaterne Forankring af metode i teori Hvilke antagelser bygger metoden på Hvor tids-effektiv er metoden Hvilken metode er nyttig til at afdække et givet problem

36 Hvor færdige skal design / implementation være før evaluering kan gennemføres?

37 1 minut med sidemanden Hvilke(n) analytisk evaluering vil være mest relevant at gennemføre i jeres projekt?

38 3 Tilgange Karakteristika Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert

39 Evaluering Tre tilgange til evaluering usability testing test og omgivelser kontrolleret af evaluator felt studier naturlige omgivelser og handlinger analytisk evaluering Inspektioner Prediktive modeller Kombinationer af disse

40 Du udvikler et system hvor det er et krav at systemet skal være let at lære at bruge. Du vælger derfor en relevant kombination af interaktionstype og evalueringsteknik (vælg den mest oplagte mulighed): Manipulation og Cognitive walkthrough Instruktion og heuristisk evaluering Exploration og usability test

41 Følgende par af teknikker vil det typisk ikke være relevante at benytte ved det samme system (vælg det par som sjældent benyttes i kombination): Keystroke level analyse og cognitive walkthrough Observation og Storyboards Spørgeskemaer og Interviews

42 Følgende par af teknikker bruges i forskellige faser af interaktionsdesign processen Interviews og observation Cognitive walkthrough og Storyboards Keystroke level analyse og heuristisk evaluering

43 Interaktionsdesign processen Identificer brugernes behov og etabler krav til brugsoplevelsen Udvikl en række designs, der opfylder disse krav Byg/revider interaktive versioner af design, så de kan kommunikeres og vurderes Evaluer

44