Utvärderingsmetoder inom MDI

Utvärderingsuppgift

I denna kurs ska ni genomföra en användbarhetsutvärdering av en teknisk artefakt.

Uppgiftsbeskrivning

Under kursens gång ska ni i grupper om två personer genomföra en utvärdering av en teknisk artefakt.

Arbetsgången är följande:

1. Bilda grupper och bestäm er för en artefakt (mjukvara, apparat, ...) att utvärdera användbarheten hos. För de flesta realistiska fall är det rimligt att begränsa sig till ett delsystem eller en delmängd av funktioner.

Det ingår i uppgiften att kritiskt granska det gränssnitt och den frågeställning som ni har valt innan ni sätter i gång med utvärderingen. Vilka problem kan ni förutse. Kommer ni att kunna värva personer från den målgrupp ni valt? Är det möjligt att utvärdera det delsystem/de funktioner som ni har valt att utvärdera med fokus på något av följande?:

• jämför olika versioner av samma delsystem/funktion,
• jämför olika interaktionssätt i samma delsystem/funktion,
• jämför olika presentationssätt i samma delsystem/funktion,
• jämför olika målgrupper som använder samma delsystem/funktion,
• jämför olika kontexter där samma delsystem/funktion används,
• utvärdera ett antal funktioner för att se om de uppfyller användbarhetsmål.

2. Bestäm vilka användbarhetskriterier som är intressanta i ert fall. Vad motsvarar de för mätbara variabler? Bestäm er för en utvärderingsmetod att använda. Läs in er på hur den fungerar, utgå från kurslitteraturen och komplettera med ytterligare material från biblioteket, minst en relevant vetenskaplig artikel eller en bok.

Skicka en beskrivning av den artefakt ni valt, er utvärderingsmetod och vilka som ingår i gruppen till Ola Knutsson senast 2010-01-29 för att få detta godkänt samt för att få återkoppling.

3. Planera genomförandet av er utvärdering. Detta bör omfatta uppskattning av nödvändigt antal försökspersoner, hur värvningen av försökspersoner som matchar målgruppen ska gå till (urval), vilka utvärderingshjälpmedel som behövs inklusive intervjuplan o.s.v., proceduren vid genomförandet samt dokumentation och loggning av data. En första version av de olika dokument ni behöver för att genomföra utvärderingen (J.R. sid.142) bör bifogas för att ni ska kunna få återkoppling på dessa.

Användbarhetslabbet på plan 6 i D-huset med kameror och mikrofoner och en PC finns tillgängligt men måste bokas. Behöver ni ytterligare utrustning eller andra lokaler kan vi inte garantera att det finns, men får gärna användas om ni kan ordna det själva. Glöm inte bort att planera in och boka tid för att genomföra er pilotstudie och att ni ska ha tillräckligt med tid för att justera era planer enligt resultaten från pilotstudien.

Skicka er plan för genomförandet och era önskemål om utrustning och tidbokningar till Ola Knutsson senast 2010-02-05. Planen ska också bli godkänd för att ni ska kunna gå vidare med projektet.

4. Genomför undersökningen. Tänk på att inte bara notera vad era försökspersoner gör utan också vad ni själva gör, vad som fungerar bra och vad som fungerar mindre bra. Kursboken är i detta skede mycket användbar. Tänk på att varje projekt ska innefatta en kvantitativ jämförelse men också en kvalitativ användbarhetsutvärdering. Var också noggrann med fokus: är det en jämförelse av gränssnitt ni gör, eller handlar det om att ni varierar kontext, målgrupp, eller uppgift?

5. Analysera era resultat. Det här tar längre tid än ni tror, så se till att avsätta rejält med tid för detta. Er analys bör inte bara omfatta de uppmätta/insamlade resultaten från undersökningen utan också handlingsrekommendationer till utvecklingsgruppen.

6. Skicka en progressrapport på 1 A4 till Ola Knutsson senast 2010-02-16 vilken sedan utgör underlag vid diskussionsseminariet. Progressrapporten ska omfatta det ni hunnit göra fram till detta datum. Rimligen har ni hunnit läsa bakgrundslitteratur, utforma metoddelen, gjort ett pilottest och ev. några utvärderingssessioner samt har samlat in några data som pekar i en viss riktning. Ni har troligen redan börjat analysera materialet eller har en plan för hur detta ska gå till och har frågor som handlar om detta.

Ni ska diskutera era pågående utvärderingsprojekt vid seminariet 2010-02-18 för att få hjälp att lösa ev. problem samt få återkoppling som kan hjälpa er att göra förbättringar inför slutredovisningen.

7. Skriv en slutrapport som sammanfattar alla momenten ovan och där ni dessutom reflekterar över ert eget genomförande av uppgiften - fungerade ert val av metod, vad hände som ni inte förväntat er, vilka problem fanns med utvärderingen, etc? Denna rapport ska ska redovisas vid övningen 2010-03-02, ni har sedan en dryg vecka på er att skicka in en slutversion till Ola 2010-03-10. Ni har 15 minuter på er för att presentera inklusive 5 minuter frågestund.

Det tar tid att göra en bra studie, så börja planera så snart som möjligt.