Kursanalys för DH2418, Språkteknologi, hösten 2007

Kursdata

Tid: period 1 läsåret 2007/2008 dvs sept-okt 2007.
Poängantal: 6 högskolepoäng (varav 1,5 poäng på labbar, 1,5 poäng för inlämningsuppgift och 3 poäng på tenta).
Tenta: ordinarietenta den 26 oktober 2007, muntlig omtenta i januari 2008. .
För att få skriva tentan måste man presentera inlämningsuppgiften muntligt före tentan.
Föreläsningar: 40 timmar.
Labbar: 12 timmar.
Inga övningar.
Kursledare: Ola Knutsson
Huvudföreläsare: Ola Knutsson, Viggo Kann, Martin Hassel, Magnus Rosell
Gästföreläsare: Anders Green (CSC), Hercules Dalianis (Euroling), Sumithra Vellupilai (DSV), Peter Svanberg (TNC, Terminologicentrum) och Joakim Gustafsson (TMH).
Antal studenter: 27 som har redovisat åtminstone ett helt moment (27 totalt i res).

Kurslitteratur:

Jurafsky & Martin: Speech and Language Processing, Prentice Hall 2000 + diverse artiklar, se kurshemsidan

Avklarade moment en månad efter kursens slut:

Ordinarietentamen: 25 av 25 (100 % godkända)

Betygsfördelning: 9 x A, 10 x B, 4 x C, 1 x D och 1 x E
Labbkurs: 24 (89 %)
Inlämningsuppgiften: 26 (96 %)
Prestationsgrad: 94 % (153/162 poäng, förra året 87 %) antal presterade poäng av antalet möjliga poäng för de registrerade studenterna.
Examinationsgrad: 85 % (23/27 helt klara studenter, förra året 78 %) antal studenter som klarat alla kurskrav av alla registrerade studenter.
Omtentamen: 1 x A

Mål

Kursens mål är att ge:
kännedom om lingvistiska och statistiska metoder
för språkanalys och språkgenerering,
baskunskaper för lingvistisk och statistisk analys
av texter t.ex. för indexering av texter på Internet
samt exempel på ett antal verkliga tillämpningar.
för att studenterna ska:
kunna implementera, analysera och utvärdera enkla språkteknologiska system
inse språkteknologins möjligheter och begränsningar. Mer specifika lärandemål finns på kurssidan

Förändringar inför denna kursomgång

Detta var elfte året kursen gick.
Vi gjorde inga stora förändringar av själva innehållet i kursen, däremot utvecklas lärandemålen och examinationen i linje med Bologna-processen, se vidare egen rubrik nedan. Rent innehållsmässigt tog vi bort en timme "terminologi" och en timme "statistiska metoder". Istället las en timme om "Text mining" till och också en av studenterna länge efterfrågad föreläsning från industrin. Text mining är ett område på stark frammarsch, och det känns viktigt att krydda kursen med den senaste forskningen och utveckling inom språkteknologin som sprider sig till allt fler domäner i takt med teknikens mognad. Sumithra Velupillai gav studenterna en översiktföreläsning i ämnet. Från industrin, närmare bestämt Euroling, kom Hercules Dalianis och berättade om sina erfarenheter av kommersiell sökmotorsteknologi.

Nya betygsättningen

Kraven på målrelaterade betyg och en ny betygsskala medförde en del arbete men också stora förbättringar av examinationen. En utförlig rättningsmall användes för inlämningsuppgiften. De olika kriterierna i denna offentliggjordes. Tentan utformades så att den innehöll två delar, en del som man måste nå en viss nivå på för att bli godkänd på hela tentan (15 av 20 poäng krävdes). Denna del var mer teoretisk, och vi har under åren funnit ett allt större behov av teoretiska kunskaper inom kursen för att på ett mer avancerat sätt diskutera ämnet. Detta är viktigt inte minst om studenten tänker sig att göra exjobb inom språkteknologi. Det var enklare att använda den nya betygsskalan på tentan än på inlämningsuppgiften eftersom alla studenter löser samma problem på tentan. Bedömningen av inlämningsuppgifterna är svårare, och möjligen skulle en ännu mer utvecklad rättningsmall kunna förenkla arbetet för den som rättar. Det kräver också ett noggrannt förarbete genom bättre designade inlämningsuppgifter. Risken är att inlämningsuppgifterna blir för likartade för att de skall kunna bedömas efter samma mall.

Sammanfattning

Ola Knutsson var kursledare för fjärde gången. Kursen är väl inkörd och har ett bra skelett, de små förändringar som gjordes inför denna kursomgång har från lärarnas synvinkel fungerat väl.

Det gick bättre detta år med avseende på prestations- och examinationsgrad i år jämfört med förra året. Alla som skrev ordinarietentan denna gång klarade den. Det märktes att många hade läst ordentligt för att resultatet var gott på den teoretiska delen av tentan.

Faktiskt innehåll på kursen

Kursen följde det ursprungliga upplägget enligt kursplanschemat. En föreläsning utgick på grund av sjukdom.

På kursens hemsida finns mer information om kursen.

Elevernas synpunkter och kursledarens kommentarer

En enkät (12 svar, 44 % av totalt deltagande 27 personer på kursen, förra året svarade 54 % på enkäten) gjordes med ACE.
Här följer en sammanfattning av enkätsvaren.
Studenternas kommentarer är kursiverade.
Några utdrag:

Om innehållet

Vad tycker du om kursens innehåll? (lingvistiska och statistiska metoder, tillämpningar)

42% (5 st) Mycket bra.
58% (7 st) Bra.
0% (0 st) Hyfsat.
0% (0 st) Mindre bra.
0% (0 st) Dåligt.

Ev. allmänna kommentarer om kursinnehållet:

Det var bra att det var fokus mer på tillämpningar än bara teori.
---
Området är lite stort, men det är fortfarande en väldigt bra kurs.
---
Gärna förklara bättre vad verb/adjektiv/pronoment/etc betyder, då iaf jag saknade den grundläggande kunskapen och det kunde vara svårt att hänga med på de inledande föreläsningarna.
---
Bra att man fick lära sig lagom mycket av flera olika områden istället för att gå för djupt in på några få.
---
Bra med en så pass bred kurs, då ett problem ofta går att lösa på många olika sätt.

Om kursens form

Vad tycker du om kursens form? (föreläsningar av experter på varje område, såväl teori som tillämpning och labb varje vecka)

58% (7 st) Mycket bra.
42% (5 st) Bra.
0% (0 st) Hyfsad.
0% (0 st) Mindre bra.
0% (0 st) Dålig.

Ev. allmänna kommentarer om formen:

Bra med gästförl., kul att se andra personers redovisning av inl.uppg., intressanta och tydligt specificerade labbar.
---
Jag uppfattade ärligt talat inte att det var teori- och tillämpningsföreläsningar..
---
Väldigt bra med labb varje vecka.
---
Bra med labbarna så att man fick se hur man kan använda teorin. Bra med experter som har gjort riktiga tillämpningar och kan sitt område.

Kursboken

Vad tycker du om kursboken av Jurafsky & Martin?

0% (0 st) Mycket bra.
42% (5 st) Bra.
0% (0 st) Hyfsad.
8% (1 st) Mindre bra.
0% (0 st) Dålig.
50% (6 st) Har inte läst den.

Ev. kommentar om boken:

På tok för dyr/stor bok. Hade inte råd så jag satsade på att klara kursen utan bok.
---
Boken är väldigt dyr och ganska komplicerad innehållsmässigt, speciellt med tanke på att man klarar sig utan den.
---
Kanske inte världens mest lättsmälta bok, men den är bra.

Om kursbunten

Vad tycker du om artiklarna i kursbunten?

8% (1 st) Mycket bra.
8% (1 st) Bra.
17% (2 st) Hyfsade.
0% (0 st) Mindre bra.
0% (0 st) Dåliga.
67% (8 st) Har inte läst dem.

Ev. kommentar om kursbunten:

Väldigt intressant läsning, jag uppskattade dem mycket.

Om examinationsformerna

Vad tycker du om kursens examinationsform? (mindre labbar, avslutande uppgift, tenta)

50% (6 st) Mycket bra.
42% (5 st) Bra.
8% (1 st) Hyfsat.
0% (0 st) Mindre bra.
0% (0 st) Dåligt.

Ev. kommentarer om examinationsformen:

Bra balans mellan examinationsformerna.
---
Kanske något mycket med både ett projekt med rejäl rapport och tentamen för en så pass liten kurs.
---
Tveksam till iden med tenta, vore intressantare att göra ett större arbete. Tentan känns flytande och svårgrepplig.
---
Jättebra labbar eftersom dom fick en att verkligen prova på de olika områdena och då fick bättre förståelse, dessutom var det roliga labbar! Sen var de alldeles lagomt stora och man hann oftast göra allt på labbtillfället vilket jag aldrig varit med om i andra kurser med datalabbar.
---
Labbarna var väldigt bra och gjorde att man hängde med, även om vissa var upprepande och därför var mer irriterande än givande. Den avslutande uppgiften var bra då man fick fördjupa sig i något område och börja förstå det bättre.

Om tentan

Hur tycker du att tentan speglade kursinnehållet?

50% (6 st) Mycket bra.
42% (5 st) Bra.
8% (1 st) Hyfsat.
0% (0 st) Mindre bra.
0% (0 st) Dåligt.
0% (0 st) Tentade inte.

Ev. kommentarer om tentan:

Bra summering av de delar som togs upp.

Om det egna lärandet

Tycker du att du har lärt dig något på kursen?

42% (5 st) Mycket.
42% (5 st) En hel del.
17% (2 st) Ganska mycket.
0% (0 st) Lite grann.
0% (0 st) Nästan inget - kunde ha läst materialet på egen hand.
0% (0 st) Svårt att svara på.

Ev. kommentarer om lärandet och kursen:

Kursen har gett mig en bra översikt och insikt i många olika områden inom ämnet. Ett ämne som jag verkligen hade noll koll på innan. Det får anses som lyckat.
---
Jag är väldigt positiv till att eventuellt lära mig mer och kanske till och med jobba med språkteknologi.

Vilken del av kursen tycker du har gett dig mest/lärt dig mest?

42% (5 st) Föreläsningarna.
33% (4 st) Laborationerna.
0% (0 st) Inlämningsuppgiften.
0% (0 st) Tentan.
0% (0 st) Självstudierna.
8% (1 st) Ingen speciell del.
17% (2 st) Svårt att svara på.

Ev. kommentarer om kursens lärmoment:

Tycker att det varit en bra mix och jag känner verkligen att jag har lärt mig något.
---
Svårt att säga exakt vad som gett mest, men inlämningsuppgiften och labbarna var väldigt bra i den mer praktiska bemärkelsen.
---
Föreläsningarna var jättebra!
---
själva helheten har gjort att man fått en bra bild av de flesta delarna. Först Teori sen lite praktik gav en bra förståelse

Om inlämningsuppgiften

Vad tyckte du om inlämningsuppgiften som redovisades sist i kursen?

42% (5 st) Mycket intressant
42% (5 st) Intressant.
8% (1 st) Okej.
0% (0 st) Ointressant.
0% (0 st) Tog för mycket tid.
0% (0 st) Borde få ta mera tid.

Synpunkter på extrauppgiften/uppsatsen, t.ex. redovisningsformen:

Något oklart hur mycket som förväntas i projektet och vilka målen är.
---
De färdiga resultaten skiljde sig mycket i nivå och omfattning. I och för sig är det bra att uppgifterna kan göras på så olika sätt då alla som läser kursen kommer från olika program och har olika erfarenhet av programmering etc., men det var ändå lite svårt att veta vilken nivå man skulle hålla sig på.
---
Var det bästa med kursen!
---
Bra redovisningsform, kul att visa upp för andra (och se vad andra åstakommit).
---
Visst tog det mycket tid, men det var värt det. Kul att se vad de andra gjort vid redovisningen.

Ytterligare kommentarer om kursen

I början var det mycket grammatik. För någon som hade grammatik för många år sedan i gymnasiet och knappt minns skillnaden mellan ett verb och substantiv var det lite kryptiskt att hänga med i början.

Då kursen är villkorligt obligatorisk (i praktiken nästan helt obligatorisk pga schema och andra valbara kurser som inte går 07/08) för datateknik med inriktning programsystemteknik måste det förutsättas att många studenter som går kursen kanske saknar ett intresse för området och gör det mer för obligatoriet.

För att bättre hantera de studenterna är det nog viktigt att fortsätta ha fokus på tillämpningar snarare än teori. Man skulle också kunna underlätta genom att lägga upp en liten pdf med lite grammatiska förkunskaper eller kanske en liten referens som kan användas under kursen för att slå upp alla kryptiska grammatiska ord.

Det har varit den största nackdelen med kursen, att föreläsarna förutsätter att man känner till alla grammatisk terminologi vilket gör att många viktiga detaljer inte når fram alls till dem som saknar det.
---
Höstens bästa kurs helt klart. Tack för bra föreläsningar!
---
Jag se en nytta i att kunna sakerna som man lärde sig, kursen kändes meningsfull!
---
Frågorna på tentan kändes för odefinierade. Jag uppfattade det som att man bara skulle svara på *vad* man kan göra inom språkteknologin, medan man egentligen skulle motivera *varför*.
---
Intressant och bra kurs som täcker många områden.

Kursledarens kommentarer om studenternas svar i enkäten samt egna tankar om kursen

Svaren från studenterna är rolig läsning, och det känns som om de trivs på kursen. Det var dubbelt så många studenter detta år. Många är mycket entusiastiska över ämnet. Jag tycker fortfarande att boken är bra, speciellt i avsaknad av en på svenska. På de större konferenserna förekommer det ibland workshops om undervisning i språkteknologi.I dessa workshops diskuteras ibland det här med lämplig kursbok. Vad jag läst hittills så verkar det svårt att hitta någon bok som är väsentligt bättre än Jurafsky och Martin.I kursenkäten klagar flera på att det är för många grammatiska begrepp att lära sig. Det är säkert sant, men hur skall man kunna tala om ett ämne utan använda termer för de olika koncepten. Vi är ju trots allt på ett universitet. Ett förslag som kommer fram från flera personer som deltog i kursenkäten är att ge ut ett litet material som beskriver de olika språkteknologiska termerna. Det är ett bra förslag, men samtidigt finns kursboken där samtliga för kursen nödvändiga termer finns med. Ett problem är att dessa är på engelska och det finns vissa skillnader mot de svenska. Kursledaren för 2008 bör fundera över hur studenterna kan få hjälp med att lära sig kursens diskurs. Angående studenternas lärande är det en svår fråga att svara på som jag dock tycker är mycket relevant. Tentan och labbarna verkar i viss mån fungera som en hjälp att bedöma det egna lärandet. Frågan är hur vi hittar andra sätt att få studenterna att känna att de behärskar området.En tänkbar effekt av att kursen nu har tydligare lärandemål och bedömningsmall för t.ex. inlämningsuppgiften gör eventuellt att studenterna också börjar fundera över detta. Nytt för i år var ju att inlämningsuppgiften skulle vara antingen ett rent "utvecklingsprojekt" eller också ett utvärderingsprojekt. Det var de mer utförliga och mer genomtänkta lärandemålen som ledde fram till detta. När jag läser kursenkäten ser jag att detta upplägg fortfarande inte är helt optimalt. Det är stor skillnad, inte minst i risktagandet, att försöka sig på ett tidigare olöst problem mot att utvärdera något redan färdigt program. För språkteknologin som ämne är dock båda spåren viktiga, och eftersom studenterna som går kursen kommer från olika håll så känns det bra att fortsätta att två huvudalternativ för inlämningsuppgiften. Att ge tydligare riktlinjer för hur mycket språkligt material som skall användas vid utvärderingarna bör utvecklas. Det är dock svårt på ett generellt plan, och blir uppgiftsspecifikt. Om studenterna dessutom vill veta hur mycket de måste utvärdera för specifika betyg blir det ett än mer omfattande arbete för den som designar de olika utvärderingsuppgifterna.

Planerade förändringar

Revision av ämnen för inlämningsuppgifter bör alltid göras, och det är en rekommendation till nästa kursomgång. Vi lyckades detta år få flera att hålla sig inom ramarna för både den övre och den nedre ambitionsnivån. En del inlämningsuppgifter var dock så bra att jag gärna sett en utveckling av dessa. Kursledaren anno 2008 bör tillsammans med andra lärare utveckla detta spår. En del inlämningsuppgifter är så pass bra att de säkert skulle gå att publicera på olika "Student tracks" på de större konferenserna inom språkteknologin. Uppgiften med talsyntes tror jag att studenterna lär sig mycket av men den har dels "lösts" av många nu, dels drar den lite väl mycket åt det talteknologiska. Min rekommendation till framtida kursledare att denna nu har spelat ut sin roll som uppgift. Balansen mellan programmering och språkligt innehåll var god i år bland inlämningsuppgifterna. Det är en rekommendation att även fortsättningsvis trycka på detta.