EIT-D kvalitetsgrupp - första delrapport
Stefan Arnborg, DUG
Douglas Busch, DSV
Gerd Eriksson, NADA
Jenny Forss, D-Teknolog
Viggo Kann, NADA
Inger Larsson, Kansli EIT
Frank Reichert, Teleinformatik
Sammanfattning
Vi föreslår i denna första etapp följande åtgärder för att höja
kvaliteten i utbildningen:
- Fakulteten måste i alla sammanhang verka för att KTH får
en ändamålsenlig organisation där ansvar, resurser och befogenheter följs åt
på ett för verksamheten välgörande sätt.
- Fakulteten måste verka för ett fungerande och förtroendebaserat samarbete
mellan högskolans beslutsnivåer, institutioner och fakulteter, och
för en fungerande intern informationsförsörjning.
-
En skriftlig arbetsordning för utveckling av utbildningsprogrammet fastställs.
-
Periodvisa lärarmöten för tidsplanering och pedagogisk samordning ordnas ca
fyra veckor före start av läsperioder. Efter perioden utvärderas hur
planeringen fungerat.
-
Vid D-konferenser belyses pedagogisk samordning,
utbildningsmål, kurser och utvecklingsbehov
genom tematiskt organiserade diskussioner.
Varje utbildningsmoment måste (på sikt) ha en gentemot studenterna och
utbildningsmålen övertygande motivering.
-
Dokumentation om utbildningen läggs upp på Internet.
-
Lärare dokumenterar på ett likformigt sätt vad som uppnåtts varje
gång en kurs ges.
-
En populär beskrivning görs av varje kurs som
komplettering till den formella studiehandbokstexten.
-
Principer för teknisk samordning av kursutvärderingar från
studienämnd, lärare, institution och fakultet definieras.
-
Rutiner för studienämndens kursvärderingar ses över så att nya
kursvärderingar kan
presenteras på Internet (på svenska).
-
I andra etappen kommer gruppen att föreslå utbildningsmål och
procedurer för förbättrad rekrytering.
Bakgrund
Fakultetsnämnden EIT har tillsatt en arbetsgrupp med uppgift att
föreslå ett handlingsprogram i kvalitetsfrågor för D-programmet.
Detta är den första
delrapporten, och den ska presenteras i fakultetsnämnden 21/3 1995.
Gruppen har haft ett preliminärt möte den 12/11 och reguljära
sammanträden 5/12 1994, 16/1 1995 och 17/2 med utdelade arbetsuppgifter som
genomförts mellan mötena. Erfarenheter från andra utbildningar av hög
klass har tagits in och bedömts. Som föredöme på KTH har
MMT-fakulteten tagits. I övrigt har personliga kontakter och
Internettjänster från huvudsakligen amerikanska elituniversitet
utnyttjats. Detta innebär ingen nivåsättning av D-programmet. I
stället bör man se det så att de amerikanska elituniversiteten tidigt
har tvingats att se rekrytering, utbildning och industrikontakter som
väsentliga delar i ett marknadsstyrt utbildningssystem, och Europa
följer strax efter.
Bilaga:
Kvalitet
Vid gruppens första möte diskuterades en uppdelning av
kvalitetsbegreppet i olika delar. Man kan grovt dela upp analysen i
följande faser:
-
Styrning av ingångsmaterial till utbildningssystemet innefattar
rekrytering i vid mening. Urvalet av studenter beror av många faktorer
förutom antagningspoäng. Urvalet av lärare beror av de villkor lärare
erbjuds och de urvalskriterier som tillämpas vid rekrytering. Väl
inne i utbildningssystemet utsätts både studenter och lärare för olika
typer av uppfostran av själva systemet. Rekrytering kan alltid ses
både ur utbildningssystemets och den rekryterades synvinkel.
-
Systemets produkt är civilingenjörer, och deras
kvalitet kan mätas genom den karriär de genomgår - dock först efter
lång tid. Även här kan kvaliteten mätas från olika perspektiv:
Näringslivet kännetecknas av stor variation och de karriärvägar våra
civilingenjörer finner behöver inte vara de som
utbildningsadministratörer och näringslivsrepresentanter tänkt sig.
Även om en minoritet ägnar sig åt forskarkarriären är det vanligt och rimligt
att
utbildningar bedöms efter deras utbildades forskarkarriär. Att en tillräcklig
del av civilingenjörerna fortsätter med framgångsrika forskarstudier
är ett viktigt kvalitetsmått på utbildningen.
-
Inom utbildningssystemet genomgår studenterna ett stort antal
utbildningsmoment, huvudsakligen i form av kurser som i sin tur består
av föreläsningar, övningar, inläsning, praktiskt arbete, projekt,
presentation, skrivande och examination i olika former. Kvalitetsmått
kan och bör åsättas varje moment i utbildningen, alltifrån den
enskilda föreläsningen till hela kursplanen.
Fakultetens centrala uppgift är att definiera utbildningsmål med
hänsyn tagen till inkommande studenters kompetens och de kompetenskrav
som ges av civilingenjörens ambitioner på karriär, och därefter skapa
en utbildning där målen kan uppfyllas med god användning av
resurser. Med resurser ska förstås de ekonomiska och andra resurser
som KTH disponerar för utbildningen, men också de resurser av tid
eller skatte- och lånefinansierat studiestöd som studenterna sätter
in. Med god användning menar vi att användningen av resurser ska kunna
kopplas till uppfyllelse av karriärmål för civilingenjörer.
Fakultetens andra uppgift är att interagera med skola och
näringsliv på ett sådant sätt att rätt studenter kommer in i
systemet och så att avnämarna uppfattar D-civilingenjörerna som
väl lämpade att att lösa kvalificerade arbetsuppgifter i samband
med skapande, anpassning och införande av ny teknik och nya
tekniska system. Dessa uppgifter är långsiktiga och förutsätter ett
uthålligt intresse för olika informations- och nätverksaktiviteter.
Fakulteten har i sin utvecklingsplan betonat vikten av rekrytering av studenter.
Vad som karakteriserar kvalitetsarbete i tjänsteverksamhet till
skillnad från i tillverkning är att motivation kommer i
fokus. Studenterna är inte tvingade att stanna i systemet: om de
saknar känslan (berättigad eller inte) att utbildningen betalar sig
bättre än alternativa aktiviteter kommer de att försvinna ur systemet
(dropout). Dropout accepteras ibland som en oundviklig ingrediens i
ett utbildningssystem, men ett sådant synsätt klarar inte enkla
ekonomiska kalkyler: i en utbildning som inte genomförs har stora
ekonomiska resurser förbrukats utan att ge tillräcklig avkastning, och
dropout i civilingenjörsutbildningen kostar avsevärda belopp. Det
finns alltså ingen väg till god kvalitet som inte förutsätter aktivt
intresse från studenterna. Detta enkla konstaterande bör inte ses som
ett krav på strömlinjeformad eller lättsmält undervisning: i hela
utbildningen kan man i stället eftersträva variation i
kursuppläggningar och lärarstilar, så länge acceptans från alla
studenter uppnås.
En grundläggande princip i kvalitetsarbete är att inget spill
accepteras. Genom omsorgsfull rekrytering, kontinuerlig uppföljning
och snabba korrektiv ska man komma dithän att alla som antas
också tar sin examen efter stipulerad tid, och på sådant sätt att
intressenter som utbildningsutvärderare och personalansvariga i
näringslivet anser att varje examinerad D-civilingenjör är lämplig
för en civilingenjörskarriär på företaget. Vi har en bit kvar dit...
Nuläge
D-programmet har byggts upp och utvecklats på olika sätt sedan
1982. Studenterna har deltagit aktivt i
utvecklingen och avsevärda förbättringar och anpassningar har
genomförts.
Under de första åren fanns inga egentliga tvivel om inriktning
och relevans från arbetsmarknadssynpunkt. Civilingenjörer på D fick
utan svårighet goda anställningar, och det fanns ett brett spektrum av
arbetserbjudanden. Man kunde välja ett välbetalt arbete med eller utan
intressanta utvecklingsmöjligheter. Under dessa förutsättningar fanns ingen
påtaglig anledning att oroas av att
många studenter drev ut i arbetslivet utan att först ta
sin examen.
Situationen har idag förändrats på ett antal sätt. Ett internationellt
fenomen är att utbildningssystemen har kommit i skottgluggen.
Intressenter som studenter, föräldrar (i USA) och
utbildningsdepartement (i Europa) ifrågasätter målsättningar,
kompetens och inriktningar. På KTH genomfördes stora förändringar i
utbildningssystemen. De studieresultat man kan mäta har knappast
förbättrats. Det kan finnas olika uppfattningar om vad detta beror på.
En möjlighet är att förändringar genomförts som bygger på olika former
av önsketänkande snarare än en seriös analys av systemets funktion.
En följd av de organisationsförändringar som skett är att arbetsklimatet
försämrats avsevärt, resultaten och kvaliteten i verksamheten har drastiskt
försämrats och grundläggande strukturfel har införts som gör att ansvar,
resurser och befogenheter inte längre följs åt.
Ett positivt inslag de senaste åren är en serie utvärderingar som i
tur och ordning utförts av D, DV, F och E-programmen. Utan tvekan har
utvärderingsmetodiken förbättrats under processens gång. Den senaste
tillgängliga gäller F-programmet, och den kanske säger lika mycket om
D som om F i dess allmänna, icke teknikanknutna slutsatser. Medan
D-utvärderingen gjordes innan följderna av reformerna i grundutbildningen
var kända har de senare utvärderingarna i hög grad fokuserats på de
problem omläggningen lett till. Det måste under alla förhållanden vara
förkastligt att stora förändringar genomförs som inte syftar till att
lösa ett upplevt problem och utan föregående planering och förankring.
Den positiva bedömning som gjordes av
D-programmet är därför kanske inte längre giltig.
Vi ställer
oss emellertid bakom den bedömning som D-utvärderingen gjort, åtminstone
i denna
vår tolkning:
D-programmets status
Alltför många studenter blir inte klara. Studenterna är enligt
utvärderarna entusiastiska, motiverade och flitiga. Ändå finns brister
i rekryteringen till D-programmet. Förebilden i detta avseende bör
vara amerikanska elitskolor där mycket stora ansträngningar görs för
att studenterna ska få största valuta för de utomordentligt betungande
terminsavgifterna genom att de tas in på ett sätt så att examen
uppnås med stor säkerhet. För att överhuvud taget bli rankade måste
amerikanska universitet och liberal arts colleges ha en examination på
minst 80%, och de har ingen möjlighet att använda sänkta krav som
medel att höja examinationen.
En blick på D-statistiken visar tydligt att utbildningen inte passar
för många av våra studenter. Utvärderingen ger inget entydigt svar på
hur detta kan åtgärdas, men sannolikt måste både utbildning och
rekrytering förbättras. Förbättrad rekrytering är ett långsiktigt
medel att höja kvaliteten. På kortare sikt måste vi förbättra
utbildningen så att den passar de studenter vi faktiskt har, andra
möjligheter gives inte.
De D-elever som fortsatt att doktorera anses av utvärderarna mycket
bra i teori- och programvaruämnen. Mera praktiskt orienterad
verksamhet efterlyses.
Utvärderarna anser att fakultetens bas i aktuell forskningsverksamhet
är utmårkt, och att utbildningsnivån är tillräckligt hög för
MSc-examen, efter mindre justeringar. Denna nivå måste givetvis
bevakas och uppföljas, men forskningsnivån kan varken förbättras eller
försämras i snabb takt. Eleverna lär sig i stort sett vad
D-utvärderarna anser att de ska lära sig, och det finns goda
möjligheter till fördjupningar i fakultetens olika forskningsprogram.
Förbättringar i de datatekniska ämnena bör kunna ske kontinuerligt utan
stora 'språng'. I detta sammanhang finns dock skäl att påminna om de stora
inkörningsproblem varje större förändring i D-programmet medfört. Problemen
har gett oss en påtaglig skepsis mot större förändringar. Samtidigt måste
programmet utvecklas för att inte stagnera. Om vi kunde lära oss att göra
rätt första
gången (typiskt slagord i Total Quality Management-sammanhang)
vore mycket vunnet.
Eleverna får inte tillräcklig inblick i fakultetens
forskningsverksamhet och professorerna bör undervisa mer och engagera
sig mer för att höja intresset för forskningsverksamheten.
Eleverna har inte fått veta vad vissa utbildningsmoment är till för,
och ställer sig framför allt frågande till obligatoriska kurser i annat
än datateknik. I fysik, elteknik och mekanik finns problem att
förklara vilken roll kurserna har, både för lärare och studenter.
Utvärderarna anser att samarbetet mellan de tre dataorienterade
institutionerna i programmet inte är effektivt. Det kan visa sig i
dålig samordning mellan kurser som går parallellt eller som bygger
på varandra.
Gruppens prioritering
Vi anser att ett kvalitetsprogram för D måste omfatta rekrytering,
uppföljningssystem för processer i utbildningen och stärkning av
relevanta kanaler med näringsliv och samhälle. Samtidigt är det klart
att de mest akuta problemen rör de interna processerna på KTH. Vi
fokuserar alltså denna delrapport på åtgärder för utbildning och
kurser som vi bedömer kunna ge omedelbar, varaktig och väsentlig
förbättring av utbildningen. En väsentlig och ny del av utbildningen
är kompetensinriktningar och fördjupningsblock. Utvärderingsmetoder
för dessa kommer att definieras i andra etappen av gruppens arbete.
Vi avser att i slutrapporten också föreslå åtgärder ägnade att
säkerställa en god utveckling av utbildningsutbud, rekrytering,
industrirelationer och utbildningsmål.
Rekommendationer
Gruppen har funnit att kvalitetsarbetet på D-programmet inte är tillräckligt
styrt av skriftliga anvisningar och inarbetade rutiner. Det bör gå
att tämligen omgående införa en bättre samordning mellan de
kurser som ges, genom att man rutinmässigt anordnar lärarmöten med
inplanerade arbetsuppgifter. Dessutom kan man införa rutiner som
ger en snabbare återkoppling till utbildnings- och kursansvariga och
möjliggör ett större mått av korrektion under pågående kurs.
Efter förebild från MMT föreslår vi att fakulteten ordnar lärarmöten
dels för att samordna de kurser som går samtidigt (vertikala,
belastningsmässiga länkar), dels för att säkerställa att lärare har en
god uppfattning av vad eleverna kan före kursen och ska kunna efter
den (horisontella, tematiska länkar). Som ett komplement till
lärarträffar bör nödvändig information lagras på fakultetens
Internetvärdar. Detta är speciellt viktigt för samband som sträcker
sig över flera årskurser, exempelvis mängdlära i D1, statistik i D2,
signalteori i D3 och tillförlitlighet i D4.
För att möjliggöra en effektivare och snabbare uppföljning och
anpassning av undervisningen föreslår vi att man gör vissa ändringar
och preciseringar i rutinerna för kursvärderingar.
En nödvändig förutsättning för att utbildningen ska uppfattas som
ett harmoniskt system är att utbildningsmålen preciseras och bryts
ner i större detaljeringsgrad än nu. Utbildningsmålen styr också
sambanden till rekrytering av studenter och industrins bild av
utbildningens relevans.
Åtgärder i första etappen
Vertikal länk
Efter orientering om fakultetens kvalitetsarbete sker årskursvisa
kurspresentationer och diskussioner om kursernas målsättningar och
tidigare utvärderingar, varefter en grov tidsplanering av studenternas
arbetstid genomförs. Resultatet ska dokumenteras och följas upp mot
enkäter som genomförs efter perioden. Fakulteten ordnar dessa
lärarmöten för varje period tills D-programmet är genomlyst. Man bör
kunna ta ställning till fortsättningen varje år i samband med
LoT-arbetet.
Lärarmöten har avhållits 02-09 (D1, D2) och 02-10 (D3). Erfarenheterna
är preliminärt goda, och lärarmöten är sannolikt en bestående del av
D-programmet i fortsättningen.
Bilagor:
Horisontell länk
Många kurser bygger på tidigare kurser. Identifiering av allmänna
principer och återkommande begrepp är centrala för all pedagogik
på universitetsnivå. Detta innebär att eleverna kommer att få se
samma stoff i flera olika perspektiv. Det är väsentligt att lärare
känner till dessa begrepps införande och vidare användning, bl a så
att eleverna inser att repetitioner är avsiktliga och inte sker av
misstag. Vi anser oss kunna identifiera några av dessa
återkommande moment, men även här är elevernas medverkan
önskvärd. Under våren avser vi att kartlägga dessa samband mellan
kurser och att i några få väsentliga fall ordna planerade lärarmöten
för att definiera nödvändiga samordningar. Dessa kommer att ske
med början under våren. I samma kategori ingår lärar- och
studentmöte för de naturvetenskapliga och icke-tekniska ämnena
där sambandet med tänkta utbildningsmål är problematiskt.
Referenser:
-
IEEE CS Curriculum.
-
Wiping the slate clean, CMU EE&CE.
Bilaga:
-
Teman för särskilda lärarmöten.
Kursstatus och utvärdering
Dokumentation av status efter kurs är väsentligt för studenterna.
De sista årens tämligen kaotiska kursmodifieringar ger
D-utbildningen ganska oklara konturer. I de alltmer vanliga
Internetpresentationerna av utbildningar, särskilt vid amerikanska
elituniversitet, dokumenteras kurser i fyra perspektiv:
-
Målsättning och plats i kursplaneringen - motsvarar LoT-texten.
-
Lärarens information - en individuell och entusiasmerande
presentation av nästa kursinstans, huvudsakligen riktad mot presumtiva
kursdeltagare, men också mot intresserade utanför KTH (t ex
gymnasieelever och företag som anställer D-civilingenjörer).
-
Lärarens dokumentation av vad kursen faktiskt innehåller.
Denna växer ofta fram parallellt med kursen, vilket ger märkliga
nya möjligheter i pedagogik och samordning; I ett fall har en
doktorandkurs på KTH gått parallellt med motsvarande kurser
på MIT och CMU, vilket utan tvekan innebar en utmaning för
kursledaren.
-
Studenternas utvärdering av kursen. Det är inte ovanligt att
utvärderingar presenteras på Internet. Vid MIT ligger flera års
utvärderingar tillgängliga för flertalet kurser.
Vår bedömning är att fakulteten har intresse för
kursinformation av alla dessa slag eftersom informationen är
relaterad till fakultetens ansvar i utbildningen. Vi avser att snabbt
införa tillgång till perspektiven 3 och 4, senare 2 på Internet.
Studiehandboken (1) har just lagts upp på Internet.
Kursvärdering är en grannlaga uppgift som rätt utförd kan medföra
dramatiska förbättringar av utbildningen. I dag genomförs
kursvärderingar av studentkåren, lärare, institution, några
fakulteter, och externa utvärderare. Den dominerande tekniken är
enkäter till studenterna. Det är tydligt att institutioners och
fakulteters intresse för utvärdering ökar, och detta kan medföra
problem att få genomtänkta svar, om t ex samma fråga för samma kurs
återkommer i flera enkäter. Av dessa skäl är det rimligt att
fakultetens utvärdering till att börja med inskränker sig till
måluppfyllelse i utbildningsprogrammet och samband och samordning
mellan kurser. Det är viktigt att inse att kursvärdering har ett enda
syfte, nämligen att förbättra utbildningen. Om syftet inte uppnås
måste metoden förbättras. Det är naturligtvis viktigt att
utvärderingar inte missbrukas och används i andra syften än
huvudsyftet, eftersom det skulle kunna göra dem mindre effektiva.
Detta gäller naturligtvis i särskilt hög grad när värderingarna ges
större offentlighet via Internet.
Referenser:
-
Från sammankallandes WWW-hemsida
http://www.nada.kth.se/~stefan
kan ett antal exempel på universitetens kurs- och kursplaneinformation
nås.
-
Exempel på kursenkät
genomförd i WWW för kursen Programmeringsteknik vid NADA.
-
P. Siklosi: Handledning för RES, NADA, november 1994.
-
THS (THS-D?) riktlinjer för kursvärdering.
-
Institutionens för teleinformatik
riktlinjer
för kursvärdering och
råd
för utformning av kursenkät.
Bilagor:
-
Riktlinjer
för lärares dokumentation av genomförd kurs.
Nyckeltal
Ett kvalitetsprogram måste följas upp med prestationsmått, nyckeltal
och operativa mål. EIT-fakulteten kommer att avkrävas vissa nyckeltal
och själv definiera andra. När väl talen definierats bör man också
definiera tröskelvärden som ska generera omedelbar respons. Förra
årets situation, då stora delar av första årskursen misslyckades med
studierna utan att någon reagerade, får naturligtvis inte
upprepas. Bland nyckeltal som är användbara kan nämnas:
-
Årskursvis poängresultat (histogram).
-
Redovisade delresultat per kurs och årskurs.
-
Andel godkända per kurs och årskurs.
-
Andel examinerade.
-
Andel som gått upp på tentorna.
-
Andel som gått upp på och som godkänts på ordinarietentan.
-
Andel som klarat labbkursen i tid/före tentan.
-
Antal D-elever som börjat forskarstudier per årskurs.
En automatisk och genomtänkt presentation kopplad till
institutionernas registreringssystem är önskvärd. För att ingripa
under pågående period behöver man mycket snabb och korrekt information.
Utbildningsmål
En diskussion om utbildningsmål har pågått sedan D-utvärderingen påpekat
vikten av att ha sådana som instrument för utveckling av programmet.
Huvudarbetet måste komma i andra etappen av
gruppens arbete. Ett utkast som på ett koncist sätt definierar de
övergripande målen har diskuterats i gruppen.
Bilaga:
<stefan@nada.kth.se>
Bearbetning: <viggo@nada.kth.se>