Accepterat bidrag till 4:e Utvecklingskonferensen för Sveriges ingenjörsutbildningar 27-28 november 2013 Titel: Ett representativt urval av exjobb? Författare: Viggo Kann, KTH Tema: Kvalitetsarbete, kvalitetsbedömning av examensarbeten Typ: Rundabordsdiskussion Sammanfattning: Vid mätning av kvalitet görs ofta stickprov. Det är då väsentligt att stickprovet som görs är så representativt som möjligt för den variabel man vill mäta. Universitetskanslersämbetet, tidigare Högskoleverket, utvärderar kvaliteten vid landets högskoleutbildningar huvudsakligen med hjälp av stickprovsmätning av examensarbeten. Urvalet påstås göras slumpmässigt, men metoden som används för urvalet gör att stickprovet kan bli långt ifrån representativt. När civilingenjörsutbildningarna skulle utvärderas hösten 2012 ombads varje program att ta fram en så kallad bruttolista med examensarbeten, varur ett slumpurval skulle göras. Den utvärderade civilingenjörsexamens första studentkull startade 2007, men även studenter antagna till gamla civilingenjörsprogrammet kan, om de uppfyller examenskraven, få den nya examen. KTH införde år 2008 en ny examensarbetskurs med graderad betygsskala och centrala bedömningskriterier avsedd för nya examen, men man kunde inte hindra någon antagen före 2007 att ta ut examen med gamla exjobbet. Eftersom detta varit möjligt (om än ovanligt) var både gamla och nya exjobb med på bruttolistan vid utvärderingen, oavsett vilken examen studenten senare tog ut. För Datateknikcivilingenjörsprogrammet på KTH bestod bruttolistan av 29 gamla datalogiexjobb, 19 nya datalogiexjobb och 18 exjobb från andra ämnen. HSV slumpade från bruttolistan fram 19 exjobb, varav 14 gamla datalogiexjobb, 1 (!) nytt datalogiexjobb och 4 exjobb i andra ämnen. Givet bruttofördelningen är sannolikheten att få ett sådant snedfördelat urval minimal (en hundradels procent). Eftersom i princip alla som tar ut nya examen från programmet i framtiden kommer ha gjort det nya exjobbet är urvalet direkt missvisande. Vi har uppmärksammat liknande icke-representativa urval vid utvärderingen av kandidatexamen och masterexamen vid KTH, så den metod som använts vid urvalen tycks fungera mycket dåligt. Vid detta rundabordsseminarium kommer vi att diskutera följande frågor: Är andra lärosätens erfarenheter av urvalen av exjobb liknande? Hur kan skeva urval påverka utvärderingens resultat? Hur skulle ett system för representativa urval kunna se ut?